💻 computer science

Reasoning Jury: Multi-Model Consensus for Evaluating Reasoning Traces

Het artikel introduceert "Reasoning Jury", een kosteneffectief systeem dat een gemodereerd consensusmechanisme tussen meerdere open-weight LLM's gebruikt om frontier-modellen aanzienlijk te overtreffen in het nauwkeurig identificeren en evalueren van redeneerfouten binnen lange redeneersporen.

Oorspronkelijke auteurs: Congchao Wang, Diwakar Singh, Qiaozi Gao, Spyros Matsoukas, Yang Liu, Mahdi Namazifar

Gepubliceerd 2026-08-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Congchao Wang, Diwakar Singh, Qiaozi Gao, Spyros Matsoukas, Yang Liu, Mahdi Namazifar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Dilemma van de Detective: Waarom één brein niet genoeg is

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een mysterie moet oplossen. Je wilt niet alleen dat de robot het uiteindelijke antwoord roept; je wilt zijn hele denkproces zien, stap voor stap, zoals een detective die elke aanwijzing, theorie en doodlopende weg in een notitieblok opschrijft. Dit is wat onderzoekers een "redeneringsspoor" (reasoning trace) noemen. In de wereld van Kunstmatige Intelligentie zijn deze sporen de levensader van het leren. Als de robot een fout maakt, moeten we precies weten waar in zijn lange keten van gedachten hij van het pad is afgeweken, zodat we het kunnen herstellen.

Maar hier is de crux: deze redeneringssporen kunnen ongelooflijk lang zijn, soms wel honderden stappen strekkend. Het is alsof je één persoon vraagt om een mysterie-roman van 500 pagina's te lezen en elke enkele logische fout in het plot aan te wijzen. Zelfs de slimste mens (of de meest geavanceerde AI) kan een subtiele fout missen omdat ze moe worden, afgeleid raken of gewoon vastlopen op één interpretatie. Dit is het probleem dat het paper aanpakt: hoe vinden we betrouwbaar fouten in deze massieve, complexe denkprocessen? De auteurs stellen een oplossing voor die afstapt van het vertrouwen op een enkele "superrechter" en in plaats daarvan een heel panel van rechters gebruikt om tot een consensus te komen, net zoals een jury in een rechtszaal.

De Redeneringsjury: Een Panel van Geesten versus de Eenzame Wolf

In dit paper introduceren de auteurs een systeem genaamd Reasoning Jury. Denk aan het als een spannend spelprogramma waarbij een lang, ingewikkeld redeneringsspoor de deelnemer is. Normaal gesproken zouden we één superintelligente AI (een "frontier model") vragen om naar de show te kijken en te zeggen: "Geslaagd" of "Gezakt". Maar de auteurs ontdekten dat zelfs de slimste enkele AI vaak de subtiele fouten mist die verborgen zitten in die honderden stappen. Het is alsof je één persoon vraagt om een naald in een hooiberg te vinden; ze kunnen hem vinden, maar ze kunnen hem ook missen als ze op het verkeerde moment knipperen.

De auteurs besloten daarom iets anders te proberen: De Jury.

In plaats van één rechter, stelden ze een panel samen van verschillende AI-modellen. Deze modellen fungeren als "jurors". Zo verloopt het spel:

Fase 1: De Onafhankelijke Vonnissen
Eerst leest elke juror het probleem en het lange redeneringsspoor zelfstandig. Ze praten nog niet met elkaar. Elke een heeft een lijst met gebreken opgeschreven die zij hebben gevonden, waarbij ze precies aangeven bij welke stap de fout plaatsvond (zoals: "In Stap 14 ging de berekening mis omdat..."). Ze labelen ook hoe ernstig de fout is: is het een klein typefoutje (minor), een grote logische fout (major), of een fatale fout die het hele antwoord ruïneert (fatal)?

Fase 2: De Beraadslaging
Dit is waar de magie gebeurt. De jurors komen samen in een virtuele kamer met een Moderator. De Moderator is als een strenge scheidsrechter die het antwoord op het probleem zelf niet kent; hij luistert alleen naar de jurors die hun zaken verdedigen.

Het Debat: De jurors debatteren met elkaar. De een kan zeggen: "Ik denk dat Stap 14 fout is," en de ander kan zeggen: "Nee, Stap 14 is prima, maar Stap 15 is de echte schuldige!" Ze debatteren totdat ze tot een consensus komen.
De Consolidatie: Alternatief kan de Moderator alle lijsten uit Fase 1 nemen en deze samenvoegen tot één definitief, schoon rapport, waarbij duplicaten worden verwijderd en de beste verklaringen worden behouden.

Wat ze vonden: De Kracht van de Massa

De resultaten waren verrassend en opwindend. Wanneer de auteurs dit systeem testten op een benchmark genaamd Hard2Verify (die zeer moeilijke wiskundige problemen met lange redeneringssporen bevat), ontdekten ze dat een jury van open-weight modellen (modellen die gratis te gebruiken zijn en niet achter een betaalmuur zitten) daadwerkelijk de meest dure, "frontier" AI-modellen kon overtreffen.

Hier is de uitsplitsing van hun ontdekking:

Betere Nauwkeurigheid: Een enkele top-tier AI-model (zoals Opus-4.6) behaalde een score van ongeveer 73,7 (op een schaal van 0 tot 100) bij het vinden van deze redeneringsfouten. Maar een jury bestaande uit drie goedkopere, open modellen (specifiek gpt-oss-120b) die samen debatteerden, bereikte een score van 82,3. Dat is een enorme sprong! Zelfs een jury van slechts drie open modellen versloeg het beste enkele model met een aanzienlijke marge.
Het "Lift"-effect: Het paper laat zien dat de jury de scores niet alleen gemiddeld heeft, maar ze daadwerkelijk heeft verbeterd. Wanneer de jurors debatteerden, vonden ze fouten die elke individuele juror over het hoofd had gezien. Het is als een groep vrienden die een puzzel oplost: één persoon ziet een stukje, een ander ziet hoe het past, en samen voltooien ze het beeld sneller en nauwkeuriger dan zij alleen hadden gekund.
Goedkoper en Sneller: Misschien wel de meest praktische bevinding is de kosten. Het draaien van een enkele "super-model" om deze sporen te beoordelen is duur. De auteurs berekenden dat het gebruik van hun jurysysteem 6,4 keer goedkoper was dan het gebruik van een enkel frontier model voor dezelfde taak. Sterker nog, de jury kostte slechts ongeveer 8% tot 16% van wat het kost om de dure modellen te draaien. Het is alsof je een team van expert-detectives krijgt voor de prijs van een enkele stagiair.

Waarom dit ertoe doet: Het Brein van de Robot Repareren

Het paper testte ook of dit systeem daadwerkelijk de AI kon helpen leren. Ze namen een model dat fouten had gemaakt, toonden het de gedetailleerde feedback van de jury (niet alleen waar de fout zat, maar ook waarom het fout was) en vroegen het om het opnieuw te proberen.

Het Resultaat: Wanneer het model de rijke feedback van de jury ontving, steeg de nauwkeurigheid bij het opnieuw proberen van de problemen van 71,2% naar 76,2%.
De Les: Dit suggereert dat een gedetailleerde, stapsgewijze diagnose van fouten veel nuttiger is voor een AI dan alleen te horen "je hebt het fout gedaan". Het is het verschil tussen een docent die zegt "Dit is fout" en een docent die zegt "Je hebt deze twee getallen in Stap 14 onjuist opgeteld; dit is de juiste manier om het te doen."

Wat het Paper Uitsluit

De auteurs waren voorzichtig om te testen of hun resultaten niet slechts een toevalstreffer waren. Ze sloten expliciet een aantal ideeën uit:

Het gaat niet alleen om het hebben van meer modellen: Ze testten een "meerderheidsstemming" (waarbij het antwoord simpelweg is wat de meeste jurors zeiden). Dit werkte niet goed omdat de jurors zelden over exact dezelfde stappen eens waren. Het debat (het discussiëren en debatteren) was de cruciale factor die het verschil maakte.
Het gaat niet alleen om diversiteit: Ze testten een jury bestaande uit drie kopieën van hetzelfde model. Zelfs zonder verschillende soorten modellen verbeterde de jury de score nog steeds aanzienlijk. Dit suggelt dat de handeling van onafhankelijk denken en vervolgens debatteren helpt, zelfs als de "hersenen" identiek zijn.
Het is geen wondermiddel voor alles: Het paper geeft toe dat hoewel de jury uitstekend is in het vinden van waar de fout zit, ze niet volledig hebben bewezen dat elke verklaring die de jury geeft 100% feitelijk perfect is. Echter, het systeem is robuust genoeg om nuttig te zijn voor training en debugging.

De Kernboodschap

De Reasoning Jury bewijst dat het, wanneer het aankomt op het controleren van de complexe, langdradige gedachten van AI, een groep geesten beter is dan één. Door meerdere modellen te laten debatteren en hun bevindingen te verfijnen, kunnen we fouten vinden die zelfs de slimste enkele AI mist, terwijl we tegelijkertijd enorme hoeveelheden geld besparen. Het transformeert de evaluatie van AI-redenering van een eenzame, dure taak naar een collaboratief, kosteneffectief proces, wat de weg vrijmaakt voor slimmere en betrouwbaardere AI-systemen in de toekomst.

Technisch Resumé: Reasoning Jury

Probleemstelling

De evaluatie van Large Language Models (LLM's) die in staat zijn tot complexe redeneringen, staat voor een kritieke flessenhals: het onvermogen van enkele modellen om als enige rechter betrouwbaar defecten in lange redeneersporen te identificeren. In tegenstelling tot niet-redenerende modellen, waarbij de evaluatie zich richt op korte, zelfstandige antwoorden, genereren redenerende LLM's ketens van gedachten (chains of thought) die bestaan uit tientallen tot honderden onderling afhankelijke stappen. Een enkele fout in een vroege stap kan doorwerken, waardoor de gehele trace ongeldig wordt.

Huidige "LLM-as-a-judge"-paradigma's, die vertrouwen op een enkel frontier model (bijv. GPT-5, Opus, Sonnet), worstelen met deze complexiteit. Ze missen vaak defecten of slagen er niet in om exact aan te wijzen waar de redenering misgaat. Bovendien is het gebruik van frontier modellen voor online training of reinforcement learning (RL) vaak verboden vanwege beperkingen in het gebruik en kostenbeperkingen. Er is behoefte aan een systeem dat hoogwaardige, op stappen gebaseerde defectdetectie kan bieden tegen lagere kosten en met een grotere betrouwbaarheid dan enkele model-rechters.

Methodologie: Reasoning Jury

De auteurs introduceren Reasoning Jury, een framework dat de enkele rechter vervangt door een panel (jury) van LLM's en een gemodereerd consensusmechanisme. Het systeem werkt in twee afzonderlijke fasen:

1. Trace Segmentatie

Om precieze gronding mogelijk te maken, worden lange redeneersporen gesegmenteerd in stappen. Terwijl veel eerdere werken dubbele nieuwe regels (\n\n) gebruiken, hanteren de auteurs een robuuster regex-patroon ((?<=[.!?])\s*\n\s*\n+) dat zinsgrenzen respecteert. Dit zorgt ervoor dat stappen niet midden in code of een algebraïsche afleiding worden gesplitst. Elk segment wordt gemarkeerd met een [STEP-x] identifier.

2. Fase 1: Onafhankelijk Oordeel

Een panel van jurors (LLM's) analyseert onafhankelijk het probleem, de met stappen gesegmenteerde trace en de uiteindelijke oplossing. Elke juror geeft een gestructureerd JSON-vonnis af voor elk gevonden defect, bevattende:

what_went_wrong: Een zelfstandige beschrijving van het defect.
statement_refs: Een lijst met specifieke [STEP-x] markers waar het defect optreedt.
impact: Een ernstlabel (neutraal, klein, groot, fataal).
evidence: Directe citaten uit de trace die de claim ondersteunen.
** Constraints**: De prompt dwingt een "genericness test" af (het verwerpen van opmerkingen die op elk probleem van toepassing zijn) en een "specificity self-check" (score 1–5, behoud alleen $\ge$ 4) om te garanderen dat defecten gegrond en actiegericht zijn.

3. Fase 2: Consensus

De onafhankelijke vonnissen worden geaggregeerd naar een definitieve consensus via één van de twee modi:

Consolidatie: Een moderator (rechter) beoordeelt de originele trace en alle Fase 1-vonnissen. Deze verifieert, voegt samen en vult hiaten aan, wat resulteert in één gestructureerde output. De moderator heeft volledige toegang tot de trace.
Deliberatie: Een gemodereerd multi-turn debat vindt plaats tussen de jurors. Cruciaal is dat de moderator blind is voor het originele probleem en de trace; deze ziet alleen het transcript van de argumenten van de jurors. De moderator beheert de beurtverdeling, identificeert onenigheid en detecteert convergentie. Jurors lezen de trace opnieuw wanneer zij spreken om punten te verdedigen of toe te geven. Het definitieve vonnis wordt gesynthetiseerd uit het volledige transcript.

Belangrijkste Bijdragen

Architectuur voor Defectdetectie: Een twee-fasen systeem (Onafhankelijk Oordeel + Consensus) dat specifiek is ontworpen voor stapsgewijze defectlokalisatie in lange redeneersporen.
Superioriteit van Open-Weight Modellen: Demonstratie dat een jury van open-weight modellen (bijv. gpt-oss-120b) aanzienlijk beter kan presteren dan frontier proprietary modellen (bijv. opus-4.6, sonnet-4.6, gemini-3.1-pro) in het identificeren van redeneerdefecten. Wanneer een enkel frontier model (zoals gpt-5.4) een jury domineert, verzadigt de consensusprestatie nabij het niveau van dat enkele dominante model; echter, bij de afwezigheid van een dergelijk dominant model, levert het aggregeren van onafhankelijke oordelen van open-weight modellen aanzienlijke winst op ten opzichte van hun individuele capaciteiten en andere frontier modellen.
Kostenefficiëntie: Het systeem bereikt een hogere nauwkeurigheid dan frontier modellen tegen een fractie van de kosten. Een delibererende jury van open modellen kost ongeveer 8–16% van de kosten van het draaien van een enkele frontier model als rechter.
Actiegerichte Feedback voor Training: De gestructureerde output (locatie defect, beschrijving, ernst) biedt rijke signalen voor datacuratie, Reinforcement Learning (RL) en correctie tijdens de inferentie, waarmee verder wordt gegaan dan eenvoudige scalaire scores.

Experimentele Resultaten

Het systeem werd geëvalueerd op Hard2Verify (200 records, geavanceerde wiskunde) en DeltaBench (1.236 records, STEM/coding/algemeen redeneren).

Nauwkeurigheid:
- Op Hard2Verify behaalde een enkele gpt-5.4 een Balanced F1 van 83.9. Een Frontier jury (inclusief gpt-5.4) bereikte 84.4, wat aantoont dat de jury bijna verzadigd is door het enkele dominante model, met een winst van slechts ~0.5 punten.
- Bij het verwijderen van gpt-5.4 behaalde een jury van open-weight modellen (gpt-oss-120b x3) 82.3 (Deliberatie) en 80.3 (Consolidatie), wat opus-4.6 (73.7) met een aanzienlijke marge verslaat.
- Homogene jury's (3 samples van hetzelfde model) lieten ook significante winsten zien ten opzichte van enkele samples (bijv. gpt-oss-120b jury: 82.3 vs. solo: 65.4–69.3), wat aangeeft dat onafhankelijke sampling bijdraagt aan prestaties zelfs zonder modeldiversiteit.
Kostenanalyse:
- Het draaien van een 3x gpt-oss-120b jury in deliberatiemodus op 200 records kostte $12.35, vergeleken met $79.13 voor een enkele opus-4.6 pass.
- De consolidatiemodus kostte $6.50 (12x goedkoper dan opus-4.6).
- Ondanks het gebruik van ~7.6x meer tokens en ~10.9x meer API-aanroepen, resulteerde de lagere per-token kosten van open modellen in enorme besparingen.
Bruikbaarheid voor Downstream Taken (Defect-Gestuurde Retry):
- In een experiment met nemotron-3-super op AIME2026, zorgde het verstrekken van rijke feedback (defectbeschrijving + ernst) tijdens een retry voor een verhoging van de nauwkeurigheid van 71.2% (alleen staplocaties) naar 76.2%.
- Dit bevestigt dat de "wat ging er mis" diagnose en de ernstlabels actiegerichte waarde bieden die verder gaat dan loutere staplokalisatie.

Betekenis en Claims

De auteurs positioneren Reasoning Jury als een praktische oplossing voor offline redeneringsevaluatie en datacuratie waar enkele rechters ontoereikend zijn. De primaire betekenis ligt in:

Democratisering van High-Fidelity Evaluatie: Het mogelijk maken van het gebruik van open-weight modellen om een evaluatiekwaliteit te bereiken die voorheen werd geacht frontier modellen te vereisen, met name wanneer geen enkel model in de jury de taak domineert.
Facilitering van RL en Training: Het leveren van de rijke, op stappen gebaseerde signalen die nodig zijn voor geavanceerde RL-benaderingen (bijv. NuRL, scaf-GRPO) die vertrouwen op defectdetectie in plaats van enkel op uitkomstscores.
Schaalbare Correctie tijdens Inferentie: Het bieden van een mechanisme om specifieke redeneerfouten terug te koppelen aan modellen tijdens runtime om fouten te corrigeren.

De auteurs blijven bescheiden over de validatie van de feitelijke juistheid van de defectbeschrijvingen zelf, waarbij zij opmerken dat hoewel het systeem de lokalisatie en downstream retry-prestaties verbetert, de specifieke correctheid van elke gegenereerde uitleg verdere menselijke validatie vereist. Het systeem wordt gepresenteerd als een framework dat de redeneringsevaluatie verschuift van een scalaire score naar een inspecteerbaar, geaggregeerd en actiegericht vonnis.