🤖 machine learning

Self-Trained Verification for Training- and Test-Time Self-Improvement

Dit artikel introduceert Zelf-getrainde Verificatie (STV), een methode die gebruikmaakt van de asymmetrie tussen het vermogen van een model om fouten te detecteren met en zonder referentieoplossingen om een superieure verificateur te trainen, wat op zijn beurt zowel de verfijningssluizen tijdens het testen als de zelfverbetering tijdens het trainen voor complexe redeneertaken aanzienlijk verbetert.

Oorspronkelijke auteurs: Chen Henry Wu, Aditi Raghunathan

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chen Henry Wu, Aditi Raghunathan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer moeilijk raadsel op te lossen, zoals een complex wiskundeprobleem of een lastige wetenschapsvraag. Je hebt een slimme assistent (de Generator) die het probeert op te lossen, maar die blijft subtiele fouten maken. Ze kunnen per ongeluk het juiste antwoord vinden, of ze kunnen een oplossing schrijven die er perfect uitziet, maar een verborgen gebrek heeft.

Om hen te helpen, heb je een Verifier. Denk aan de Verifier als een proeflezer of een coach. Hun taak is om naar de oplossing te kijken, te zeggen "Goed gedaan" of "Probeer het opnieuw", en uit te leggen waarom.

Het Grote Probleem: De Coach Kan De Fouten Niet Zien

Het paper identificeert een grote knelpunt: De coach is niet goed genoeg.

De Valstrik: Wanneer de assistent probeert een probleem op te lossen dat ze niet begrijpen, produceren ze vaak een "plausibel maar fout" antwoord. Het overtuigt.
Het Falen: Als je de coach vraagt om de fout van scratch te vinden, kunnen ze dat vaak niet. Ze kunnen zeggen: "Dit ziet er prima uit," of vaag advies geven zoals "Controleer je logica." Omdat de coach de specifieke fout niet kan signaleren, blijft de assistent dezelfde fouten maken, ongeacht hoe vaak ze het proberen.
Het Resultaat: Of je de assistent nu laat proberen aan het einde van de dag (Testtijd) of hen traint om beter te worden (Tijdstip van Training), ze lopen tegen een muur aan omdat de feedback te zwak is.

De Oplossing: Zelfgetrainde Verificatie (STV)

De auteurs stellen een slimme truc voor genaamd Self-Trained Verification (STV). Hier is de kernidee, uitgelegd met een analogie:

De "Antwoorden" Analogie:
Stel je voor dat je een student bent die een moeilijk toets maakt.

De Moeilijke Weg: Je schrijft een antwoord, en probeer dan je eigen fout te vinden zonder naar het juiste antwoord te kijken. Dit is erg moeilijk. Je kunt de fout volledig missen.
De Makkelijke Weg: Je schrijft een antwoord, en vervolgens wordt je het juiste antwoord direct naast je werk getoond. Nu is het vinden van het verschil makkelijk! Je kunt direct zien: "Oh, ik heb hier een stap overgeslagen," of "Ik heb het verkeerde formule gebruikt."

Hoe STV Werkt:
De onderzoekers beseften dat terwijl het model (de coach) fouten niet zelfstandig kan vinden, het dat wel kan als het eerst de juiste oplossing ziet.

Ze creëren een "Leraar Coach" die mag kijken naar het juiste antwoord tijdens het beoordelen van het werk van de student.
Deze Leraar Coach geeft zeer specifieke, nuttige feedback.
Vervolgens trainen ze een "Student Coach" om de feedbackstijl van de Leraar na te bootsen.
De Magie: Zodra de Student Coach heeft geleerd om zo goed te zijn, hoeven ze het antwoord niet meer te zien. Ze hebben de vaardigheid om fouten op te sporen, geleerd. Nu, wanneer ze een nieuw probleem beoordelen zonder het antwoord, zijn ze veel beter in het vinden van de gebreken dan daarvoor.

De Twee Wins

Het paper toont aan dat deze methode op twee verschillende manieren werkt:

1. Tijdens de Test (De "Refinement Loop")

Stel je voor dat de student de toets maakt.

Oude Weg: De student schrijft een antwoord, de zwakke coach zegt "Misschien", en de student probeert het opnieuw. Ze blijven vastzitten in een lus van slechte gissingen.
STV Weg: De student schrijft een antwoord, de getrainde coach zegt: "Je hebt een minteken over het hoofd gezien in stap 3," en de student corrigeert het.
Het Resultaat: De student wordt veel beter in het oplossen van de moeilijkste problemen. Bij sommige wetenschappelijke taken steeg het succespercentage van 1,5% naar 21%. Zelfs een kleiner model met deze getrainde coach sloeg een veel groter model zonder zo'n coach.

2. Tijdens de Training (De "ViL" Methode)

Dit is het tweede, verrassendere deel. De onderzoekers gebruikten de coach niet alleen om te helpen tijdens de test; ze gebruikten de coach om de student te trainen.

Ze plaatsten de student en de getrainde coach in een lus waarbij de student probeert, de coach bekritiseert, en de student leert van die kritiek.
De Verrassing: Zelfs wanneer je de coach weghaalt en de student vraagt om een probleem alleen op te lossen (zonder enige hulp), is de student 30% beter dan daarvoor.
Waarom? Het is als een muzikant die geoefend heeft met een strenge dirigent. Zelfs wanneer ze later een solo spelen, hebben ze de discipline en vaardigheden geïnternaliseerd. Het trainingsproces zelf maakte de student slimmer, niet alleen het handelen van het controleren van het werk.

Samenvatting

Het paper betoogt dat de toekomst van slimme AI niet alleen gaat over het maken van de "oplosser" groter of slimmer. Het gaat over het leren van de "controleur" om beter te worden.

Door een slimme truc te gebruiken waarbij de controleur leert door antwoorden te vergelijken met een bekende oplossing, creëerden ze een systeem dat kan:

Fouten in real-time tijdens een test oplossen.
De oplosser daadwerkelijk permanent slimmer maken.

Dit verandert de "controleur" van een zwakke poortwachter in een krachtige motor voor zelfverbetering.

Technische Samenvatting: Zelfgetrainde Verificatie voor Zelfverbetering tijdens Training en Testtijd

1. Probleemformulering

Het artikel adresseert de bottleneck bij het schalen van redeneermodellen: de afhankelijkheid van hoogwaardige verificators voor zowel verfijning tijdens de testfase als zelfverbetering tijdens de trainingsfase. Bestaande aanpakken kampen met twee primaire faalmodi:

Stalling tijdens de testfase: Verificatie-Verfijning (V-R) lussen staken vaak omdat verificatorscores inflateren (miscalibratie) terwijl de nauwkeurigheid stagneert, of omdat feedback te generiek is om bruikbaar te zijn.
Beperkingen tijdens de trainingsfase: Zelftrainingsmethoden falen wanneer modellen slechte zelfgegenereerde data incorporeren. Bovendien convergeert standaard Reinforcement Learning from Verifiable Reward (RLVR) vaak naar een plateau waar verdere rekenkracht geen extra winst oplevert.

De kernuitdaging is dat het trainen van een verificator om zelfgegenereerde fouten op te sporen, een supervisiessignaal mist. Een model kan niet betrouwbaar feedback genereren voor zijn eigen onjuiste pogingen vanaf nul, maar kan wel fouten identificeren wanneer het een referentieoplossing ziet. Bestaande systemen proberen dit te omzeilen met menselijke feedback of sterkere "meta-verificators", wat niet schaalbaar is.

2. Methodologie

De auteurs stellen Self-Trained Verification (STV) en Verifier-in-the-Loop (ViL)-training voor om zelfverbetering aan beide uiteinden te ontsluiten.

A. Self-Trained Verification (STV)

STV traint een verificator zonder menselijk geannoteerde feedbackkwaliteit. Het maakt gebruik van een cruciale asymmetrie: terwijl een model moeite heeft om zijn eigen fouten in isolatie te diagnosticeren, kan het logische gaten betrouwbaar lokaliseren wanneer het een referentieoplossing ( $y^\star$ ) krijgt.

Teacher-Student Distillatie:
- Teacher: Een referentie-geconditioneerde verificator $V^\star(\cdot | x, y_{r-1}, y^\star(x))$ die het probleem, de poging en de grond-waarheid oplossing ziet. Het genereert een oordeel ( $v_r$ ) en feedback in natuurlijke taal ( $f_r$ ).
- Student: Een niet-geconditioneerde verificator $V_\theta(\cdot | x, y_{r-1})$ die alleen het probleem en de poging ziet.
Trainingsdoel: De student wordt getraind om de outputverdeling van de leraar na te bootsen. De auteurs maken gebruik van On-Policy Distillation (OPD) in plaats van Supervised Fine-Tuning (SFT) om problemen met verdelingsverschuiving te vermijden, waarbij de student bij de testtijd prefixes tegenkomt die het tijdens de training nooit heeft gezien.
- Verlies: $L_{OPD}(\theta) = \mathbb{E}_{(x, y_{r-1})} D_\alpha(V_\theta(\cdot | x, y_{r-1}) \parallel V^\star(\cdot | x, y_{r-1}, y^\star(x)))$
- Het doel wordt aangevuld met een Verdict-RL component om de nauwkeurigheid van de accepteer/verwerp-beslissing te verbeteren.
- Totale Doel: $L_{STV}(\theta) = L_{OPD}(\theta) + \lambda \cdot L_{RL}(\theta)$ .

B. Verifier-in-the-Loop (ViL) Training

Zodra een STV-verificator is getraind, introduceren de auteurs een nieuw trainingsparadigma voor de generator:

Procedure: De generator wordt getraind via RL binnen de V-R-lus met behulp van de bevroren STV-verificator om feedback te geven. De beloning is de verifieerbare correctheid van de uiteindelijke oplossing.
Mechanisme: In tegenstelling tot standaard zelftraining, blijft het signaal verifieerbaar omdat de verificator context biedt om een bekende beloning te maximaliseren.
Resultaat: Dit traint de generator om diagnostische feedback te internaliseren, wat niet alleen de prestaties met een verificator verbetert, maar ook de standalone prestaties (Ronde 0).

3. Belangrijkste Bijdragen

STV-algoritme: Een schaalbare methode om verificators te trainen om fouten in plausibele maar onjuiste oplossingen op te sporen zonder menselijke feedback, door kennis te distilleren vanuit een referentie-geconditioneerde versie van het model zelf.
ViL-training: Een nieuw trainingsprocedure dat het standaard RLVR-plateau doorbreekt door de generator binnen de V-R-lus te trainen, wat verbeteringen oplevert in zowel verifieerde als niet-verifieerde (standalone) prestaties.
Empirische Validatie: Aantonen dat getrainde verificatie de schaal van de generator kan vervangen, waarbij een kleiner model met een getrainde verificator aanzienlijk grotere modellen zonder verificatie overtreft.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op DAPO (moeilijke wiskundeproblemen) en SciKnowEval (wetenschappelijk redeneren), met Qwen3-8B als basismodel.

Verbeteringen tijdens de testfase (V-R-lussen)

Wiskunde (Moeilijkste Split): STV verdubbelt de final-round pass@1 ongeveer in vergelijking met een niet-getrainde verificator. Op de "Hardest" split waar de basisgenerator 0% pass@1 heeft, bereikt STV-geleide verfijning een niet-nul nauwkeurigheid.
Wetenschappelijk Redeneren: STV tilt pass@1 van 1,5% naar 21,0% op de moeilijkste problemen (een 14-voudige verbetering).
Schaalvervanging: Een STV-geleide Qwen3-8B presteert beter dan een Qwen3-32B (4× groter) en zelfs een Qwen3-235B (30× groter) op taken voor wetenschappelijk redeneren zonder verificatie.
Zwak-naar-Sterk: Een getrainde 4B-verificator presteert concurrerend met een niet-getrainde 8B-verificator, en een getrainde 1,7B-verificator komt overeen met de niet-getrainde 8B-baseline.

Verbeteringen tijdens de trainingsfase (ViL)

Plateau doorbreken: Startend vanuit een generator die al is geconvergeerd onder standaard RLVR, levert ViL-training een verdere 33% relatieve winst op in pass@1 wanneer de verificator aanwezig is.
Standalone Winst: Opmerkelijk verbetert de Round 0 pass@1 van de generator (geen verificator bij de testtijd) met 30% ten opzichte van de RLVR-geconvergeerde baseline. Dit geeft aan dat het model algemene redeneervaardigheden heeft geïnternaliseerd uit de diagnostische feedback.
Vergelijking: Het besteden van dezelfde rekenkracht aan uitgebreide standaard RLVR levert geen verdere winst op, wat de unieke effectiviteit van ViL bevestigt.

Mechanisme-analyse

Calibratie: STV-verificators zijn beter gekalibreerd; hun scores correleren met nauwkeurigheid, wat voorkomt dat "reward hacking" optreedt waarbij scores inflateren terwijl de nauwkeurigheid stagneert.
Feedbackkwaliteit: Het isoleren van het oordeel (met gebruik van grond-waarheid) toont aan dat de feedbacktekst van STV aanzienlijke waarde toevoegt (+3,2% bovenop grond-waarheid oordelen), wat de kwaliteit van het diagnostische signaal bewijst.
Diversiteit: In tegenstelling tot Best-of-N (BoN) dat de verdeling verscherpt, herschikt V-R met STV de outputverdeling, waardoor pass@k over meerdere rondes verbetert zonder diversiteit te onderdrukken.

5. Betekenis en Claims

Het artikel stelt dat de volgende grens in redeneren ligt in hoe we trainen voor en met verificatie.

Paradigmaverschuiving: De auteurs betogen dat winst in redeneren moet komen van "leren verifiëren" en het gebruik van sterkere verificators om sterkere generators te trainen, in plaats van alleen het schalen van generatorparameters.
Schaalbaarheid: STV biedt een weg naar zelfverbetering die niet afhankelijk is van dure menselijk beoordeelde feedback of externe "orakel"-modellen voor supervisie.
Iteratieve Zelfverbetering: Het werk suggereert een iteratieve lus waarbij betere verificators betrouwbaardere testtijd-verfijning en rijkere generatortraining mogelijk maken, wat op zijn beurt moeilijkere pogingen produceert voor toekomstige verificatietraining.

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat hoewel STV werkt voor wiskunde en wetenschap, het uitbreiden hiervan naar andere vaardigheden (code, open-ended redeneren) en het bepalen van de rekenoptimaliteit tussen generator- en verificatietraining open vragen blijven. De resultaten suggereren echter dat het trainen van verificatie een kritiek, schaalbaar onderdeel is voor het bouwen van zelfverbeterende redeneersystemen.