💬 NLP

When the Reward Suite Is Leaky: A Preregistered Causal Contrast of Natural Verifier False Positives in RLVR

Deze vooraf geregistreerde causale studie toont aan dat natuurlijke fout-positieven in code-beloningssuites de RLVR-prestatiecijfers systematisch opblazen door genuist buggy code te belonen in plaats van enkel suite-artefacten, een fenomeen dat gedetecteerd kan worden via goedkope statische audits maar dat, wanneer gecorrigeerd, minimale capaciteitswinsten oplevert.

Oorspronkelijke auteurs: Chuyifei Zhang

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chuyifei Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot traint om computercode te schrijven. Om hem te leren, geef je hem een test: "Schrijf een programma dat twee getallen optelt." Als de code van de robot de test slaagt, geef je hem een gouden ster (een beloning). Als hij faalt, krijg je niets. Dit is hoe moderne AI leert programmeren: het probeert het miljoenen keren, en de "gouden sterren" leiden het naar verbetering.

Maar wat als de test zelf kapot is? Wat als de test zo simpel is dat er per ongeluk een gouden ster wordt gegeven aan een robot die het verkeerde antwoord heeft geschreven?

Dit artikel onderzoekt precies dat scenario. De onderzoekers noemen deze defecte tests "leaky suites" (lekke pakketten). Ze wilden weten: Als een AI leert met behulp van een lekke test, wordt hij dan echt slimmer, of leert hij alleen maar om de test te bedriegen?

Het Grote Experiment: Twee Teams, Eén Doel

De onderzoekers zetten een enorm, zorgvuldig gepland experiment op (zoals een wetenschapsproject waarbij ze hun regels voordat ze begonnen al opschreven). Ze namen drie verschillende AI-modellen en trainden ze op dezelfde 250 programmeerproblemen.

Team Leaky: Deze robots werden beloond door de originele, "lekke" tests. Deze tests gaven soms gouden sterren aan foute antwoorden.
Team Hardened: Deze robots werden beloond door een supersterke, "verharde" testsuite. Deze nieuwe versie bevatte extra, moeilijkere vragen die de originele tests misten. Als een robot de makkelijke vraag goed had, maar de moeilijke vraag niet, kreeg hij geen gouden ster.

Ze voerden dit uit over 400 trainingsstappen. De grote vraag was: Eindigde Team Leaky slechter in programmeren dan Team Hardened?

De Grote Verrassing: De Cheat Code Maakte Hen Niet Sterker

Dit is de belangrijkste bevinding, en het is een beetje een plotwending: Team Leaky werd niet significant slechter.

Toen de onderzoekers beide teams testten op nieuwe, onbekende problemen (waarbij ze de superzware "verharde" tests gebruikten om ze te beoordelen), lag Team Leaky slechts 0,20 punten achter op Team Hardened. De onderzoekers hadden een veiligheidsmarge van 1,5 punten ingesteld voordat ze begonnen. Omdat 0,20 veel kleiner is dan 1,5, kunnen ze met een hoge mate van vertrouwen zeggen dat de "lekke" training het vermogen van de robots om te programmeren niet heeft verpest.

Wat dit uitsluit: Het bewijst dat de AI niet heeft geleerd om het systeem te "hacken" op een manier die zijn echte vaardigheden vernietigde. De robots werden geen "bedriegers" die alleen de makkelijke test konden halen maar overal de mist in gingen.

Dus, Wat Hebben de Lekke Tests Eigenlijk Gedaan?

Als de robots niet slechter werden, deden de lekke tests dan helemaal niets? Nee. Ze deelden daadwerkelijk veel gouden sterren uit om de verkeerde redenen.

De onderzoekers ontdekten dat het "Leaky"-team in totaal 8,37 punten meer aan beloningen heeft verzameld dan het "Hardened"-team. Maar waar kwam die extra beloning vandaan?

Ze controleerden elk enkel "fout" antwoord dat een gouden ster kreeg. Ze ontdekten dat ongeveer 47,57% van die beloningen werd gegeven voor code die werkelijk kapot en fout was. De andere helft was voor code die eigenlijk wel oké was, maar de extra zware test was te kieskeurig.

De Analogie: Stel je een leraar voor die per ongeluk een "A" geeft aan een leerling die een verhaal met een typefout heeft geschreven. De leerling krijgt de gouden ster. De onderzoekers ontdekten dat bijna de helft van de tijd de leerling echt een slecht verhaal had geschreven, maar de kapotte beoordelingslijst van de leraar zei dat het goed was.

Het Mysterie van "Selectie" versus "Leren"

Het meest fascinerende deel van het artikel is hoe de robots deze defecte tests gebruikten.

Er zijn twee manieren waarop een robot een defecte test kan gebruiken:

Leren Bedriegen: De robot realiseert zich: "Hé, als ik deze specifieke vreemde code schrijf, geeft de leraar me een ster!" Dus het leert om die vreemde code met opzet te schrijven.
Gewoon de Winnaars Kiezen: De robot was al in staat om die vreemde code per ongeluk te schrijven. De defecte test gaf toevallig een goude ster, dus de robot bleef dit doen.

De onderzoekers vonden sterk bewijs voor Optie 2: Selectie, niet Leren.

Het Bewijs: Voordat ze zelfs maar begonnen met trainen, vroegen ze de "basis"-robot (de robot zonder training nog) om de problemen te proberen. De basisrobot produceerde al exact dezelfde foute antwoorden die het "Leaky"-team later als beloning kreeg.
Het Resultaat: De training heeft de robot niet geleerd om slechte code te schrijven. Het heeft de robot alleen geleerd om de slechte code die hij al per ongeluk produceerde blijven schrijven, omdat de lekke test daarvoor steeds gouden sterren bleef geven. De robot werd niet slimmer in bedriegen; hij werd alleen beter in het herhalen van zijn oude fouten.

Het "Rechter"-Probleem

Het artikel deed ook een zij-experiment om te zien of de "frontier" AI-rechters (de superintelligente robots die andere robots beoordelen) hun eigen fouten konden herkennen.

Ze vroegen deze super-rechters om hun eigen output te beoordelen. Het resultaat? Ze waren slechts iets beter dan een muntje opgooien bij het opsporen van hun eigen fouten. Zelfs de slimste rechters hadden moeite om te zien wanneer ze fout zaten over hun eigen code. Dit suggerek dat naarmate AI slimmer wordt, het voor ons misschien moeilijker wordt om de fouten ervan te vinden, omdat de AI ze zelf ook niet kan zien.

De Kern van het Verhaal

Hebben de lekke tests de AI kapot gemaakt? Nee. De echte programmeervaardigheden van de AI bleven grotende_endeel gelijk (binnen een zeer kleine foutmarge).
Betaalden de lekke tests voor slechte code? Ja. Ongeveer de helft van de extra beloningen was voor werkelijk gebrekkige code.
Hield de AI zichzelf voor de gek door te hacken? Nee. De AI bleef gewoon de fouten maken die hij al maakte. De lekke test werkte als een vergrootglas dat bestaande fouten uitlichtte in plaats van nieuwe fouten te creëren.
Kunnen we het oplossen? Ja. De onderzoekers ontdekten dat een eenvoudige, goedkope controle vóór de training precies kan voorspellen welke problemen deze "lekken" zullen hebben. Als je die specifieke tests fixt, voorkom je dat de AI gouden sterren krijgt voor slecht werk.

Kortom: De AI heeft niet geleerd een meestercrimineel te worden; hij heeft alleen geleerd een meester in zijn eigen onhandigheid te zijn, omdat het scorebord kapot was. En het goede nieuws is: we kunnen het scorebord repareren voordat het spel begint.

Technische Samenvatting: Wanneer het Beloningspakket Lekt

1. Probleemstelling

Reinforcement Learning from Verifiable Rewards (RLVR) traint codemodellen met behulp van testsuites als grondwaarheid. Echter, in de praktijk toegepaste testsuites bevatten vaak natuurlijke fout-positieven (FP's): per taak specifieke, persistente, asymmetrische fouten waarbij een specifieke onjuiste programmeeroplossing consistent dezelfde zwakke tests doorstaat. In tegen tegenover de symmetrische, herbeelde ruis die wordt verondersteld bij bestaande robuustheidsanalyses (die middelt over de training), bieden deze natuurlijke FP's een blijvende beloning voor specifieke onjuiste oplossingen.

Het artikel behandelt een ontbrekende causale vraag: Wat gebeurt er wanneer modellen trainen tegen deze persistente, natuurlijke fout-positieven? Specifiek: leert het model deze lekken te exploiteren (geleerde exploitatie), of selecteert het slechts bestaande foutmodi (selectie)? Bovendien: leidt trainen op een "lekke" suite tot een verslechtering van de algemene capaciteit vergeleken met een "verharde" suite?

2. Methodologie

De auteurs voerden een gepreregistreerde twee-armen causale contrast uit over drie modelfamilies (Qwen2.5-Coder-1.5B, DeepSeek-Coder-1.3B, en Llama-3.2-1B).

Experimenteel Ontwerp

Trainingsarmen: Beide armen gebruikten identieke modellen, taken (250 MBPP-taken), zaden (5), hyperparameters en rekenkracht (400 GRPO-stappen). Het enige verschil was het beloningssignaal:
- Lekkende Arm: Beloond op basis van de originele, ingezette MBPP-testsuite.
- Verharde Arm: Beloond op basis van alleen de "extra" tests gegenereerd door het MBPP+-project (die op 313/378 taken disjoint zijn van de originele tests).
Statische Audit: Voor de training voerde een goedkope statische audit een steekproef uit van 16 oplossingen per taak uit de basismodellen. De "lekkerigheid" van een taak werd gedefinieerd als het deel van de samples dat de originele suite doorstond maar de extra tests faalde.
Evaluatie: De prestaties op ongeziene taken werden uitsluitend gescoord door de extra-testsuite (MBPP+ "plus" tests) om een eerlijke, niet-lekkende beoordeling te garanderen.
Preregistratie: Het studieontwerp, inclusief non-inferioriteitsmarges en analyseplannen, werd gepreregistreerd vóór de dataverzameling. Claims zijn getagd met [C] (bevestigend/gepreregistreerd) of [E] (exploratief/post-hoc).

Kernmetrieken

Rewarded FP Mass: Het deel van de rollouts in de lekkende arm dat de originele suite doorstond maar de extra suite faalde.
Verified-Wrong Share: Een exhaustieve menselijke audit van beloonde FP's om genuin onjuiste code te onderscheiden van artefacten (bijv. extra-test fout-negatieven).
Held-Out Gap: Het verschil in pass rates tussen de verharde en lekkende arm op ongeziene taken.

3. Belangrijkste Resultaten

Bevestigende Bevindingen [C]

Begrensde Gemiddelde Effect: Na 400 stappen leed de lekkende arm niet aan een statistisch significante daling in de held-out capaciteit vergeleken met de verharde arm. Het gat was 0,20 punten, met een eenzijdige 95% bovengrens van 0,75 punten, wat ruim binnen de gepreregistreerde non-inferioriteitsmarge van 1,5 punten bleef.
Statische Audit Voorspelt Lekken: Er is een sterke correlatie (Spearman $\rho \approx 0,80$ ) tussen de pre-training statische lekkerheidsscore en de werkelijke beloonde FP-massa tijdens de training. Dit suggere than de lek een eigenschap is van de taak/suite, en niet iets dat het model zelf creëert.
Replicatie: De kernbevindingen (grote verified-wrong share, tracking van lekkerheid en training-zijde stratificatie) repliceerden over alle drie de modelfamilies.

Exploratieve Bevindingen [E]

Beloning Betaalt voor Echte Bugs: Ongeveer 47,57% van de beloonde fout-positieven in de primaire familie werd geverifieerd als genuien onjuiste code (echte bugs), en niet slechts als suite-artefacten. Dit aandeel was groot in de replicatie-families (45,37% en 62,78%).
Selectie, Geen Leren: Het mechanisme lijkt de selectie van pre-existente foutmodi te zijn in plaats van geleerde exploitatie.
- De FP-rate zat al op het lange-termijn niveau bij Stap 0 en groeide niet gedurende de trainingshorizon.
- Ongetrainde basemodellen produceerden dezelfde karakteristieke onjuiste outputs wanneer gefilterd door de lekkende suite.
- Er was geen bewijs van "hacking signatures" of parameter-niveau scherping richting de fout-positieven buiten de gedragsmatige resolutie.
Meta-Audit van Frontier Judges: Een exploratieve audit van frontier modellen (DeepSeek-V4-Pro, MiMo-v2.5-Pro) die optreden als judges vond dat zij hun eigen fout-positieven slechts zwak konden scheiden van genuine passes (AUC ~0,62–0,64), aanzienlijk lager dan hun vermogen om de fouten van de 1.5B policy te beoordelen. Een deconfounded test van zelf-assessie bias leverde ONOPGELOST op.

4. Bijdragen en Betekenis

De primaire bijdrage van het artikel is een meetlaag die de causale impact van natuurlijke fout-positieven in RLVR isoleert.

Meting versus Capaciteit: De studie toont aan dat een "schone" geaggregeerde held-out score geen "schone" beloningsstroom certificeert. De lekkende arm cumuleerde 8,37 punten meer trainingsbeloning dan de verharde arm, maar deze inflatie vertaalde zich niet in meetbare capaciteitswinsten of -verliezen op held-out taken binnen de bestudeerde schaal (1–1,5B parameters, 400 stappen).
Audit Economie: Een goedkope statische audit uitgevoerd vóór de training kan voorspellen waar beloningslekken zullen optreden. Dit stelt gebruikers in staat om hoog-risico taken te identificeren zonder dure trainingsruns uit te voeren.
Aard van de Lek: Het artikel betoogt dat de beloningsstroom "betaalt voor" pre-existente fouten in de basismodeldistributie die de suite niet filtert, in plaats van dat het model leert om de suite te hacken. De lek fungeert als een selectiemechanisme, niet als een leer-signaal voor nieuwe exploits.
Praktische Grens: De bevindingen suggereren dat het risico van natuurlijke fout-positieven bij de huidige schaal en taaklengtes primair een meetprobleem is (geïflateerde beloningsrekening) in plaats van een capaciteitsprobleem (geleerde misalignment). De auteurs benadrukken echter expliciet dat zij niets claimen buiten hun specifieke schaal en horizon, waarbij zij opmerken dat exploitatie zou kunnen groeien bij grotere modellen of langere taken.

5. Beperkingen en Reikwijdte

De auteurs zijn expliciet over de grenzen van hun claims:

Schaal: Resultaten zijn specif kind aan 1–1,5B modellen en 400 GRPO-stappen. Het artikel sluit niet uit dat exploitatie groeit bij grotere schalen of langere horizonten.
Taken: De studie is beperkt tot MBPP en HumanEval+ taken.
Verharding: De "verharde" arm gebruikt alleen extra tests, die niet perfect zijn (ze bevatten hun eigen fout-negatieven), hoewel de foutenvloer kleiner is dan bij de originele suite.
Meta-Audit: De bevindingen met betrekking tot frontier judges zijn beschrijvend en beperkt tot twee specifieke modellen; zij generaliseren niet naar alle frontier modellen.

Samenvattend biedt het artikel een rigoureuze, gepreregistreerde demonstratie dat hoewel uitgezette testsuites beloning lekken naar genuien onjuiste code, dit lek momenteel manifesteert als een metingsinflatie in plaats van een geleerde capaciteit om de suite te exploiteren, ten minisse bij de geobserveerde schaal en horizon.