Learning to Self-Verify Makes Language Models Better Reasoners

Technische Samenvatting: Learning to Self-Verify Makes Language Models Better Reasoners

1. Het Probleem: De Asymmetrie tussen Generatie en Verificatie

Recente Large Language Models (LLM's) zijn zeer goed geworden in het genereren van complexe redeneerpaden (zoals bij wiskunde of programmeren), maar ze vertonen een fundamentele zwakte: ze kunnen hun eigen antwoorden vaak niet betrouwbaar verifiëren.

De auteurs identificeren een asymmetrie in de trainingsdynamiek:

• Generatie $\rightarrow$ Verificatie: Het verbeteren van het vermogen van een model om antwoorden te genereren (via standaard Reinforcement Learning) leidt niet automatisch tot een beter vermogen om die antwoorden te verifiëren.
• Verificatie $\rightarrow$ Generatie: De onderzoekers stellen de vraag of de omgekeerde richting wel werkt: kan het trainen van een model om zichzelf te verifiëren, de algemene generatieprestaties verbeteren?

2. Methodologie

De onderzoekers maken gebruik van Reinforcement Learning with Verifiable Rewards (RLVR), specifiek het GRPO-algoritme (Group Relative Policy Optimization). Ze onderscheiden twee trainingsinstellingen:

• Generatie-training (Standaard): Het model wordt geoptimaliseerd om de juiste eindantwoord-beloning ($r_g$) te maximaliseren.
• Verificatie-training (Nieuw): Het model krijgt een query en een voorgesteld antwoord (met redeneerpad) en moet voorspellen of dit antwoord correct is. De beloning ($r_v$) wordt gebaseerd op hoe goed de voorspelling van het model overeenkomt met de werkelijke correctheid (gecontroleerd door een regelgebaseerde verifier).

Het Self-Verification Framework:

1. On-policy sampling: Het model genereert diverse oplossingen voor een set vragen.
2. Post-processing: De verzamelde data wordt gefilterd op kwaliteit, gebalanceerd (evenveel correcte als incorrecte voorbeelden) en voorzien van diversiteit om overfitting te voorkomen.
3. Multi-task RL: Om de beste resultaten te behalen, integreren ze verificatie in de generatietraining via twee strategieën:
   • Verify-Init: Het model wordt eerst getraind op verificatie en daarna pas op generatie.
   • Verify-Alter: Een afwisselende methode waarbij na een aantal stappen generatie-training een fase van verificatie-training wordt getriggerd.

3. Belangrijkste Bijdragen

• Ontdekking van de asymmetrie: Het bewijs dat generatie-training de verificatiecapaciteit niet verbetert, maar dat verificatie-training de generatiecapaciteit wél verbetert.
• Efficiënter redeneren: Modellen die getraind zijn op zelfverificatie produceren kortere en effectievere redeneerpaden (minder "token-verspilling").
• Multi-task RL Framework: Een nieuw paradigma waarbij generatie en verificatie als twee complementaire, onafhankelijke doelen worden behandeld in plaats van verificatie als een bijzaak.
• Test-time Scaling: Het aantonen dat een sterker verificatievermogen het effectiever maakt om tijdens de inferentie (testfase) meerdere samples te gebruiken en de beste te selecteren (bijv. via majority voting versterkt door verificatiescores).

4. Resultaten

De experimenten werden uitgevoerd op verschillende Qwen2.5-modellen (1.5B, 3B, 7B) en diverse wiskundige benchmarks (zoals AIME, MATH500, OlympiadBench).

• Prestaties: Modellen die uitsluitend op zelfverificatie zijn getraind, behalen nauwkeurigheid die vergelijkbaar is met (en soms zelfs beter dan) modellen die alleen op generatie zijn getraind.
• Efficiëntie: De "Self-Verify" modellen gebruiken aanzienlijk minder tokens. Voor het 7B-model werd een vergelijkbare nauwkeurigheid behaald met slechts 25% van de tokens die nodig waren voor standaard generatie-training.
• Foutcorrectie: In tests waarbij redeneerpaden opzettelijk werden gecorrumpeerd (fouten werden ingevoegd), bleken de zelfverificatie-modellen veel beter in staat om de fout te detecteren en het pad te corrigeren.
• Integratie: De Verify-Alter strategie leverde de hoogste algemene nauwkeurigheid op over bijna alle benchmarks.

5. Betekenis en Conclusie

Dit onderzoek verandert de kijk op verificatie binnen LLM's. Waar verificatie voorheen vaak werd gezien als een secundair hulpmiddel, laat dit werk zien dat het een krachtige primaire trainingssignaal is.

De implicaties zijn groot: door modellen expliciet te leren "na te denken over hun eigen denkproces" (verificatie), worden ze niet alleen nauwkeuriger, maar ook sneller en efficiënter. Dit biedt een nieuw pad voor het ontwikkelen van redeneer-modellen die minder rekenkracht verspillen aan zinloze redeneringen en beter in staat zijn om complexe problemen autonoom op te lossen.