🤖 machine learning

LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning

Dit artikel introduceert "LLM-jury", een parameter-vrije test-tijd schaalingsmethode die cross-model consensus tussen onafhankelijk getrainde modellen benut om zelfconsistentie en getrainde beloningsmodellen te overtreffen bij het selecteren van correcte redeneerketens door gebruik te maken van foutdecorrelatie, terwijl het een gesloten wetmatigheid biedt om de nauwkeurigheid ervan te voorspellen en de foutplafond te identificeren.

Oorspronkelijke auteurs: Ning Liu

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ning Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een echt lastig wiskundig probleem of een wetenschappelijk raadsel op te lossen. Je vraagt een super-slimme AI om het antwoord. Maar soms raakt zelfs de slimste AI verstrikt in zijn eigen gedachten en maakt hij steeds dezelfde fout omdat hij te zelfverzekerd is in zijn eigen onjuiste logica.

Dit artikel introduceert een nieuwe manier om het antwoord te controleren: de LLM-Jury.

Het Problem: De "Echokamer"-valstrik

Normaal gesproken, wanneer we zeker willen weten of een AI het bij het juiste eind heeft, vragen we hem dezelfde vraag vele malen en nemen we het meest voorkomende antwoord. Dit wordt Self-Consistency genoemd.

Denk hierbij aan het vragen om advies aan je beste vriend, maar je vraagt het je vriend 12 keer achter elkaar. Als je vriend een slechte dag heeft en het antwoord fout heeft, zal hij het waarschijnlijk 12 keer achter elkaar fout hebben. Hij zal met veel zelfvertrouwen stemmen voor het foute antwoord, en omdat hij de enige is die je hebt gevraagd, zal de "meerderheid" er ook naast zitten.

Een andere manier waarop mensen proberen dit op te lossen, is door een speciale "Judge AI" te trainen om de antwoorden te beoordelen. Maar deze rechter heeft veel huiswerk nodig (gelabelde data) om te leren hoe hij moet beoordelen, en als je hem een vraag stelt over een onderwerp waar hij niet voor heeft gestudeerd, faalt hij vaak.

De Oplossing: De "LLM-Jury"

De auteurs stellen een ander idee voor: Cross-Model Consensus. In plaats van één vriend 12 keer te vragen, vraag je vier verschillende vrienden die in verschillende huizen zijn opgegroeid, naar verschillende scholen zijn gegaan en op totaal verschillende manieren denken.

De Opstelling: Je hebt een "Generator" AI die een lijst met mogelijke antwoorden creëert. Vervolgens heb je een "Jury" van drie andere AI's (zoals Qwen, DeepSeek en Claude) die elk het probleem één keer onafhankelijk oplossen. Ze zien elkaars werk nooit.
Het Vonnis: Als drie van de vier juryleden het eens zijn over een antwoord, dan is dat het antwoord dat je kiest.

Waarom het werkt: Het "Scatter"-effect

Het artikel legt dit uit met een slimme metafoor over fouten.

Foutieve antwoorden van hetzelfde model zijn als een groep vrienden die allemaal over dezelfde steen struikelen. Ze vallen allemaal op dezelfde plek.
Foutieve antwoorden van verschillende modellen zijn als een groep vrienden die over verschillende dingen struikelen. De een struikelt over een bananenschil, de ander over een losse steen, een derde over een plas water. Hun fouten "verstrooien" (scatter) overal.

Omdat de foute antwoorden van verschillende modellen verspreid zijn, heffen ze elkaar op. Het juiste antwoord is echter het enige dat voor iedereen logisch is, waardoor het alle stemmen naar zich toe trekt. Het artikel heeft dit gemeten en vond dat deze jury-methode 100% van de mogelijke verbetering vangt ten opzichte van de oude methode ("vraag één vriend vele malen"), terwijl een enkel model dat zijn eigen werk probeert te beoordelen bijna 0% vangt.

De "Magische Wet" en het "Plafond"

De onderzoekers hebben niet alleen gegokt dat dit zou werken; ze hebben een wiskundige wet geschreven (een formule zonder verborgen instellingen) die precies voorspelt hoe goed de jury zal presteren. Ze hebben deze wet getest op zeven verschillende benchmarks, van basisschoolwiskunde tot wetenschap op universitair niveau, en het voorspelde de resultaten met een gemiddelde fout van slechts 0,03 (dat is ongelooflijk dichtbij!).

Echter, het artikel vond ook een hard plafond (een limiet) aan hoe goed dit kan worden.

De Gedeelde-Fout-Vloer: Soms kunnen alle vier de juryleden dezelfde misconceptie delen. Bijvoorbeeld, als ze allemaal een specifiek wetenschappelijk feit verkeerd hebben geleerd tijdens hun training, kunnen ze dan unaniem instemmen met het foute antwoord.
Het artikel heeft deze "vloer" gemeten. Bij wiskundeproblemen is die bijna 0 (ze maken zelden dezelfde wiskundige fout). Maar bij wetenschappelijke vragen (zoals de GPQA-benchmark) ligt de vloer rond de 0,03, wat betekent dat er een kleine kans is dat ze allemaal vol zelfvertrouwen met een fout antwoord komen omdat ze een gemeenschappelijk blinde vlek hebben.

De Resultaten: De Experts Verslaan

Het artikel vergeleek deze gratis, training-vrije Jury met vier verschillende soorten "getrainde rechters" (speciale AI-modellen die specifiek zijn gebouwd om antwoorden te beoordelen).

Binnen hun trainingszone: Op wiskundeproblemen kwam de Jury gelijk te staan met of versloeg zij de beste getrainde rechters.
Buiten hun trainingszone: Op wetenschapsvragen waar de getrainde rechters nog nooit data van hadden gezien, was de Jury de beste performer, terwijl de getrainde rechters moeite hadden.

De Jury doet dit zonder extra training of gelabelde data nodig te hebben. Het gebruikt simpelweg de modellen die we al hebben.

De "Agreement Cascade": Geld Besparen

Het artikel suggereert ook een slimme manier om computerkracht te besparen. Je hoeft niet altijd alle vier de juryleden te vragen.

Vraag eerst slechts twee juryleden. Als ze het eens zijn, ben je klaar (goedkoop!).
Als ze het niet eens zijn, vraag dan pas de andere twee om mee te doen (duurder, maar alleen voor de moeilijke problemen).
Deze "cascade"-methode bespaart veel rekenkracht terwijl het nog steeds dezelfde hoge nauwkeurigheid oplevert als het elke keer vragen aan alle vier de leden.

Wat het NIET is

Het artikel is zeer duidelijk over wat deze methode niet is:

Het is geen toverstaf die alles oplost. Als alle modellen een specifieke verkeerde idee delen (zoals een specifieke chemische eenheidsconversie), zal de Jury vol zelfvertrouwen het fout hebben, en zal geen enkele stemming het rechtzetten.
Het is niet simpelweg "meer modellen zijn beter". Het artikel bewees dat één model 32 keer vragen vragen slechter is dan vier verschillende modellen slechts één keer vragen. De magie komt van het verschil tussen de modellen, niet alleen van het aantal stemmen.
Het is geen vervanging voor het slimste enkele model als dat model al perfect is. Maar aangezien geen enkel model perfect is, is de Jury het beste hulpmiddel dat we hebben om het juiste antwoord te kiezen uit een stapel vermoedens.

Kortom, het artikel laat zien dat als je wilt weten of een AI het bij het rechte eind heeft, de AI dan niet zichzelf moet laten beoordelen. Laat een panel van verschillende AI's stemmen. Als ze het eens zijn, kun je ze vertrouwen. Als ze het niet eens zijn, weet je dat je dieper moet graven. En het beste van alles: je kunt precies voorspellen hoeveel je ze kunt vertrouwen voordat je überhaupt begint.

Technische Samenvatting: LLM's als een Jury

Probleemstelling

Moderne redeneersystemen vertrouwen steeds vaker op test-time scaling, waarbij rekenkracht wordt besteed aan het bemonsteren van vele kandidaat-oplossingen en het selecteren van de beste. Naarmate het aantal monsters groeit, verschijnt er bijna altijd een correct antwoord in de pool, waardoor de bottleneck verschuift van generatie naar selectie. Het onderzoek identificeert dat bestaande selectieverifiers lijden aan structurele beperkingen:

Zelfconsistentie (meerderheidsstemmen over herhaalde monsters van een enkel model) erft de systematische fouten van dat specifieke model. Een zelfverzekerd foutief model zal herhaaldelijk dezelfde fout genereren, waardoor het zijn eigen fout in de meerderheid stemt.
Getrainde beloningsmodellen (Outcome Reward Models en Process Reward Models) vereisen geannoteerde trainingsdata en vertalen slecht buiten hun specifieke trainingsdistributie.
Single-model LLM-verifiers (waarbij een model zijn eigen kandidaten scoort) zijn zwak, omdat een model niet in staat is zijn eigen blinde vlekken te beoordelen.

Het onderzoek zoekt naar een label-vrije, algemene en training-vrije verifier die fouten kan detecteren waar een enkel model blind voor is.

Methodologie: De LLM-jury

De auteurs stellen Cross-Model Consensus voor, geconceptualiseerd als een LLM-jury.

Mechanisme: Een panel van $M$ onafhankelijk getrainde modellen (de "jurors") lost elk een probleem één keer op. Zij zien de door een aparte generator gegenereerde kandidaten nooit, noch zien zij elkaars werk.
Selectiesignaal: De selectie is gebaseerd op de structuur van overeenstemming. Het antwoord dat overeenkomt met de modale klasse (de meest voorkomende antwoordvorm) wordt geselecteerd. De fractie modellen die het eens zijn ( $g$ ) dient als een betrouwbaarheidssignaal.
Kernhypothese: Het mechanisme rust op fout-decorrelatie. Onafhankelijk getrainde modellen maken verschillende fouten. Wanneer zij fouten maken, verspreiden hun foutieve antwoorden zich; wanneer zij correct zijn, convergeren zij. In tegen tegenstelling hiertoe herhaalt het herbemonsteren van een enkel model (zelfconsistentie) gecorreleerde fouten, wat een zelfverzekerde maar foutieve meerderheid creëert.

Theoretisch Kader: Een Parameter-vrije Wet

Het artikel leidt een gesloten vorm, parameter-vrije wet af om het gedrag van de jury te voorspellen op basis van drie meetbare paneelstatistieken:

$a$ : Gemiddelde lidmaatschapsnauwkeurigheid.
$\rho$ : Gemiddelde paarwijze foutcorrelatie.
$s$ : De gedeelde misconceptieratio (de waarschijnlijkheid dat, wanneer een model fout is, het landt op een specifiek "attractor" fout antwoord dat gedeeld wordt door andere foutmakende modellen).

Belangrijke theoretische inzichten:

Consensus-nauwkeurigheid: Wordt voorspeld door de wet en stijgt naarmate de foutcorrelatie ( $\rho$ ) daalt.
Gedeelde-fout-vloer: De wet definieert een onherroepelijke foutenbodem: de waarschijnlijkheid dat het gehele panel unaniem eens is over één fout antwoord. Dit gebeurt wanneer modellen een misconceptie delen. De wet voorspelt dat deze vloer nabij nul ligt voor wiskunde (waar fouten uiteenwaaieren) maar niet verwaarloosbaar is voor wetenschap (waar modellen specifieke misconcepties delen).
Voorspellende kracht: De wet voorspelt de consensus-nauwkeurigheid en de volledige selectieve-voorspellingscurve (nauwkeurigheid versus dekking) met een Mean Absolute Error (MAE) van 0,03, zonder parameters aan te passen aan de voorspelling.

Belangrijkste Bijdragen

Overeenstemming als Verifier: De LLM-jury selecteert correcte antwoorden beter dan zelfconsistentie en single-model LLM-verifiers over zeven benchmarks. Bij competitieve wiskunde (AIME) vangt het 100% van de haalbare selectiewinst op over zelfconsistentie, terwijl een model dat zijn eigen kandidaten scoort slechts ~0% vangt.
Voorspellende Wet en Plafond: Een gesloten vorm wet voorspelt de consensus-gedragingen en de faalmodus (de gedeelde-fout-vloer) op basis van paneelstatistieken. Het kwantificeert dat het plafond van de methode wordt bepaald door hoe gelijk de fouten van de modellen zijn, en niet door de methode zelf.
Prestaties ten opzichte van Getrainde Verifiers: De gratis LLM-jury komt overeen met of overtreft state-of-the-art getrainde verifiers (discriminatieve PRM's, outcome RM's en generatieve verifiers), zowel binnen als buiten hun trainingsdomeinen, zonder trainingskosten.
Isolatie van het Mechanisme: Door experimenten met gelijke grootte en gelijke nauwkeurigheid isoleert het artikel fout-decorrelatie als de werkende oorzaak van de winst, in plaats van louter multi-model combinatie. Een panel van vier gedecorreleerde modellen presteert beter dan een enkel model dat 32 keer opnieuw is bemonsterd.

Experimentele Resultaten

De studie evalueert de LLM-jury tegenover zelfconsistentie, single-model verifiers en vier getrainde verifiers over zeven benchmarks (AIME-2024/2025, MATH-500, OlympiadBench, GSM8K, GPQA, MMLU-Pro en HumanEval+).

Selectienauwkeurigheid: Op een vaste pool van $N=12$ $N = 12$ kandidaten is de LLM-jury de sterkste non-oracle selector op elke onverzadigde benchmark.
- AIME-2024: De jury bereikt 56,7% nauwkeurigheid, waarmee de volledige kloof naar de oracle (56,7%) wordt gedicht. Zelfconsistentie bereikt 36,7%. De single-model verifier bereikt 30,0%.
- GPQA (Wetenschap): De jury (35,9%) presteert significant beter dan de single-model verifier (26,3%) en getrainde PRM's, hoewel de winst ten opzichte van zelfconsistentie kleiner is vanwege de hogere gedeelde-fout-vloer in de wetenschap.
Generalisatie: De jury presteert beter dan getrainde verifiers in out-of-domain settings (bijv. GPQA), waar getrainde reward modellen degraderen.
Code Domein: Op HumanEval+, voorspelt gedragsconsensus (overeenstemming over executie-outputs) juistheid met een AUROC van 0,748, wat aantoont dat het signaal toepasbaar is buiten tekstmatching.
Kostenefficiëntie: Een "agreement-gated cascade" (het eerst draaien van een goedkoop 2-model panel, escalerend naar 4 alleen bij onenigheid) bereikt de nauwkeurigheid van het volledige panel tegen bijna de kosten van een goedkoop model (bijv. 2,2 calls/probleem op MATH-500), wat aanzienlijk beter presteert dan zelfconsistentie bij hetzelfde budget.

Betekenis en Claims

Het artikel claimt dat Cross-Model Consensus een fundamentele, voorspelbare verificatie-primitive is die geen trainingsdata of labels vereist.

Voorspelbaarheid: De methode wordt gekenmerkt door een wet die gebruikers vertelt wanneer ze er vertrouwen op kunnen stellen (gebaseerd op gemeten paneelstatistieken) en waar het faalt (de gedeelde-fout-vloer).
Domein-agnostisch: In tegen tegenstelling tot getrainde reward modellen die domeinspecifiek zijn, generaliseert de jury omdat het signaal (gedecorreleerde fouten) inherent is aan onafhankelijke training, niet aan een specifieke dataset.
Efficiëntie: Het biedt een sterke standaard voor test-time scaling met gebruik van enkel de modellen die een gebruiker al heeft, waardoor de kosten voor het trainen van aparte reward modellen worden vermeden.
Beperkingen: De methode heeft een hard plafond bepaald door de gedeelde-fout-vloer. Als onafhankelijk getrainde modellen een misconceptie delen (veelvoorkomend in wetenschappelijke domeinen), zal de jury unaniem instemmen met het foutieve antwoord, en kan geen enkel overeenstemmingssignaal dit detecteren. Het artikel merkt op dat deze vloer nabij nul is voor wiskunde maar niet verwaarloosbaar voor wetenschap.

De auteurs concluderen dat naarmate het selectieproces (in plaats van generatie) de end-to-end nauwkeurigheid steeds meer begrenst, een gedecorreleerd panel een robuuste, label-vrije oplossing is die getrainde verifiers evenaart en vaak overtreft.