Technische Samenvatting: Bewijs-vergrendelde, Niet-Compensatoire Selectiegrenzen voor het Falen van LLM-Judges in Redeneerpipelines

1. Probleemstelling

Het artikel behandelt een kritiek defect in de implementatie van Large Language Model (LLM) judges binnen redeneerpipelines. Hoewel judges steeds vaker worden ingezet om kandidaat-antwoorden te filteren, voorkeursdata te filteren en beloningen te leveren voor reinforcement learning (RL), wordt hun output vaak behandeld als een direct besluit in plaats van een meting. De auteurs stellen dat de kosten van een besluit van een judge minder afhangen van de intrinsieke nauwkeurigheid van de judge en meer van de beslisregel die zijn autoriteit bepaalt.

Een scalaire judge, die een enkele "kwaliteitsscore" output, lijdt aan conflatie (samensmelting): het reduceert verschillende dimensies van redeneren (bijv. logische geldigheid versus feitelijke onderbouwing) tot één getal. Dit maakt het mogelijk dat een vloeiende maar feitelijk onjuiste keten van redenering (bijv. het correct identificeren van een gastland maar het onjuist vermelden van de hoofdstad) een hoge score krijgt omdat de logische structuur solide is, terwijl de feitelijke fout onvermeld blijft. Het artikel stelt dat zonder beperkingen, een judge een correcte consensus eenzijdig kan overschrijven met een incorrect maar hoog scorend alternatief, wat leidt tot significante degradatie van de nauwkeurigheid.

2. Methodologie

De studie evalueert beslisregels op bevroren kandidaat-pools gegenereerd door vier GRPO-policies. Door de kandidaten, prompts en rekenbudget vast te houden, isoleren de auteurs de impact van de selectieregel zelf.

2.1 Diagnostische Decompositie (RA-MSD)

De auteurs hebben eerst een Retrieval-Augmented Multi-Signal Decision (RA-MSD) beloningsmodel geïmplementeerd. Dit deelt de evaluatie van de judge op in zeven expliciete kanalen die op stapniveau worden berekend:

1. Logische Geldigheid ($R_{logic}$): Controleert de inferentiële verbinding met voorgaande stappen.
2. Feitelijke Onderbouwing ($R_{fact}$): Controleert de ondersteuning tegenover opgehaalde bewijslast.
3. Epistemische Kalibratie ($R_{epist}$): Meet vertrouwen versus de sterkte van het bewijs.
4. Informatiewinst ($R_{info}$): Bestraft verbositeit/stilstaan.
5. Bron-triangulatie ($R_{triang}$): Vereist meerdere bevestigende bronnen.
6. Adversariële Robuustheid ($R_{adv}$): Test gevoeligheid voor lexicale versus semantische veranderingen.
7. Minimale Toereikendheid ($R_{min}$): Bestraft het opvullen met onverifieerbare claims.

Stap-niveau Gating (Gefaalde Variant): Aanvankelijk werden deze kanalen gecombineerd in een gewogen som waarbij logica en feitelijkheid fungeerden als haalbaarheidsrestricties (drempelwaarde $\tau=0.5$). Dit werd gebruikt als trainingsbeloning voor GRPO. Echter, deze aanpak faalde in het verbeteren van de held-out nauwkeurigheid ten opzichte van gewone GRPO, wat suggereert dat het sommeren van de kanalen terug naar een scalaire waarde voor de optimizer het probleem van conflatie opnieuw introduceert.

2.2 Evidence-Locked Derive–Gate–Repair (EL-DGR)

De succesvolle aanpak past de decompositie niet toe als een trainingssignaal, maar als een post-training selectieregel die de judge ondergeschikt maakt aan bewijs-certificaten. EL-DGR verdeelt kandidaten in haalbaarheidsstrata:

1. Certificaat Definitie:

   • Retrieval QA: Een strikt extractief certificaat $c(a, E)$ wordt alleen op 1 gesteld als het antwoord $a$ letterlijk voorkomt in het opgehaalde bewijs $E$.
   • Arithmetica: Een afgeleid numeriek antwoord moet onafhankelijk worden gecontroleerd op consistentie.

2. Beslislogica (Niet-Compensatoir):
   De selector kiest het uiteindelijke antwoord $a_{EL-DGR}$ op basis van een strikte hiërarchie:

   • Default: Het meerderheidsstem-antwoord ($m$) wordt geretourneerd, tenzij vervangen.
   • Override: Het geprefereerde antwoord van de judge ($s$) wordt alleen geaccepteerd als het gecertificeerd is ($c(s, E)=1$) EN de meerderheid niet gecertificeerd is.
   • Repair: Een geverifieerde reparatie ($r$) wordt alleen geaccepteerd als noch $m$, noch $s$ gecertificeerd is, maar $r$ dat wel is.

Cruciaal is dat de scalaire voorkeur van de judge nooit een ongecertificeerde kandidaat over een stratum kan tillen. Het kan kandidaten alleen rangschikken binnen een stratum. Dit beperkt de "blast radius" van de judge, waardoor voorkomt dat de judge een correcte consensus omzet in een incorrect antwoord, tenzij het bewijs zelf de fout bevat.

3. Belangrijkste Bijdragen

1. Meting van Judge Autoriteit: Het artikel demonstreert dat een onbeperkte scalaire judge op bevroren pools nauwelijks verbetering biedt ten opzichte van meerderheidsstemming (+1,0 pp op GSM8K, +0,34 EM op HotpotQA) en aanzienlijk slechter presteert (−10,0 pp) op een frozen-rule confirmation split vergeleken met meerderheidsstemming.
2. EL-DGR Regel: De introductie van een taakadaptieve, niet-compensatoire beslisregel die de judge ondergeschikt maakt aan bewijs-certificaten. Deze regel verbetert de prestaties ten opzichte van alle gematchte selectors (eerste kandidaat, meerderheidsstemming, scalaire judge) zonder nieuwe kandidaten te genereren of het budget significant te verhogen.
3. Beslisaudit & Negatieve Resultaten:
   • Audit: Op een pilot van 30 vragen draaide EL-DGR de consensus om op slechts 8 vragen en veranderde nooit een correcte consensus in een incorrect antwoord.
   • Negatief Resultaat: Dezelfde zeven-kanaals decompositie gebruikt als trainingsbeloning (gesommeerd in een scalaire waarde) leverde nulresultaten op, wat bevestigt dat het voordeel komt van de partitionering-logica, en niet van de granulariteit van de scoring zelf.

4. Resultaten

Experimenten werden uitgevoerd op GSM8K (500 vragen) en HotpotQA (300 vragen) met een bevroren pool van kandidaten van een Qwen2.5-3B policy.

• GSM8K (Arithmetica):

  • Eerste Kandidaat: 55,4%
  • Meerderheidsstemming: 55,8%
  • Scalaire Judge: 56,8%
  • EL-DGR: 58,2% (+2,8 pp over eerste kandidaat, $p=0,0026$).
  • Opmerking: De winst hier wordt gedreven door de uitvoerbare "derive-repair" tak, aangezien GSM8K geen externe feiten heeft voor extractie.

• HotpotQA (Retrieval):

  • Eerste Kandidaat: 15,33 EM / 22,97 F1
  • Meerderheidsstemming: 15,33 EM / 23,19 F1
  • Scalaire Judge: 15,67 EM / 23,49 F1
  • EL-DGR: 17,33 EM / 25,46 F1 (+2,00 EM over eerste kandidaat, $p=0,0703$; +1,67 EM over meerderheid, $p=0,0625$).
  • Opmerking: De verbetering wordt gedreven door de bewijs-vergrendelde restrictie die voorkomt dat de judge een ondersteunde consensus overrulet.

• Frozen-Rule Confirmation (HotpotQA, n=30):

  • De onbeperkte scalaire judge scoorde 10,0 EM, wat 10 punten onder de meerderheidsstemming (20,0) lag en 3,3 punten onder de eerste kandidaat (13,3).
  • Onder EL-DGR bereikte dezelfde judge 26,7 EM, waarmee hij alle andere selectors versloeg op deze split.

5. Betekenis en Claims

De primaire claim van het artikel is om de autoriteit van de judge te begrenzen in plaats van te proberen de judge accuraat te maken.

• Toelaatbaarheid boven Nauwkeurigheid: De studie suggereert dat in operationele loops de beslisregel (toelaatbaarheidsrestricties) belangrijker is voor systeembetrouwbaarheid dan de pairwise agreement rate van de judge. Een judge met een overeenkomstpercentage van 60% is onschadelijk als hij alleen een beslissing kan nemen tussen toelaatbare antwoorden, maar gevaarlijk als hij een correcte consensus eenzijdig kan overschrijven.
• De "Null" Decompositie: Het artikel stelt expliciet dat het decomponeren van redeneren in meerdere signalen niet helpt als die signalen worden gecombineerd in een enkele scalaire waarde voor training. De decompositie is alleen effectief wanneer het wordt gebruikt als een structurele restrictie (een partitie) die voorkomt dat dimensies met elkaar compenseren.
• Praktijkrichtlijn: De auteurs adviseren beoefenaars om de "default" te definiëren die een judge moet verslaan, het "certificaat" dat vereist is om die default te overruelen, en om de override-rate te meten. Ze betogen dat het beperken van wat een judge mag overrulen een goedkopere en effectievere veiligheidsmaatregel is dan het finetunen van de judge zelf.

Beperkingen: De auteurs erkennen dat hun resultaten gebaseerd zijn op een enkele trainingsseed, een 3B policy en een 7B judge. Absolute scores zijn niet vergelijkbaar met state-of-the-art modellen vanwege het beperkte budget en de legacy-artefacten in de kandidaat-pool. De statistische kracht voor sommige vergelijkingen (bijv. de contrast met de eerste kandidaat bij HotpotQA) is marginaal.