Technische Samenvatting: Escaping the Verifier: Learning to Reason via Demonstrations

Probleemstelling

Het trainen van Large Language Models (LLMs) om te redeneren heeft grotendeels vertrouwd op Reinforcement Learning met Verifieerbare Beloningen (RLVR), waarbij modellen worden geoptimaliseerd tegen grondwaarheid-verifiers (bijv. in wiskunde of competitieve programmering). Echter, veel impactvolle redeneertaken—zoals analytisch schrijven, open onderzoek en financiële analyse—missen dergelijke verifiers vanwege ambigue criteria of de grote variatie aan acceptabele antwoorden. Hoewel deskundige demonstraties voor deze taken overvloedig aanwezig zijn, worden ze nog onvoldoende benut voor reasoning-georiënteerde training. Standaard Supervised Fine-Tuning (SFT) op deze demonstraties faalt vaak in het induceren van de zelfcorrectie- en zoekgedragingen die kenmerkend zijn voor RLVR, en methoden zoals Reinforcement Learning from Human Feedback (RLHF) zijn evenredig duur vanwege de noodzaak voor het verzamelen van voorkeursdata.

Methodologie: RARO

De auteurs stellen RARO (Relativistic Adversarial Reasoning Optimization) voor, een framework dat sterke redeneercapaciteiten leert van enkel deskundige demonstraties, zonder taakspecifieke verifiers of menselijke voorkeuren. De methode is geworteld in Inverse Reinforcement Learning (IRL), waarbij het probleem wordt geformuleerd als een adversarieel spel tussen een policy en een critic.

Kerncomponenten

1. Adversariële Opzet:

   • Policy ($\pi_\theta$): Genereert antwoorden (met Chain-of-Thought redenering) geconditioneerd op een vraag.
   • Relatieve Critic ($c_\phi$): Een model dat een vraag en een paar antwoorden (één van een expert, één van de policy) neemt en voorspelt welke beter is, of een gelijkspel (tie) verklaart.
   • Doelstelling: De policy wordt beloond voor het misleiden van de critic (d.w.z. het hebben van een antwoord dat als "expert" wordt geclassificeerd), terwijl de critic wordt beloond voor het correct identificeren van de bron (expert vs. policy).

2. Relatieve Critic & Tie-optie:

   • In tegen tegenstelling tot standaard binaire classificatie, voert de critic een paarwijze vergelijking uit. Dit voorkomt het "degeneratie"-probleem waarbij een optimale policy de classificatietaak onmogelijk maakt voor de critic (willekeurige gokken).
   • Cruciaal is dat de critic de mogelijkheid heeft om een gelijkspel (tie) te verklaren. Dit zorgt voor stabiele, niet-nul beloningssignalen, zelfs wanneer de policy de kwaliteit van een expert nadert, wat trainingsinstabiliteit voorkomt.

3. Trainingsalgoritme:

   • Gezamenlijke Optimalisatie: Zowel de policy als de critic worden gezamenlijk getraind met behulp van Group Relative Policy Optimization (GRPO).
   • Gedeelde Gewichten: Dezelfde LLM-backbone wordt voor beide rollen gebruikt om het geheugengebruik te verminderen en generalisatie te bevorderen.
   • Replay Buffer: Om catastrofaal vergeten en mode collapse (waarbij de policy door een vaste set strategieën cyclust om de critic te misleiden) te voorkomen, wordt de critic getraind op een mix van huidige rollouts en een replay buffer van eerdere expert- en policy-antwoorden.
   • Stabilisatietechnieken: De auteurs integreren over-lengte filtering en verwijderen advantage/lengte normalisatie om robuust leren te waarborgen.

Belangrijkste Bijdragen

1. Nieuw IRL Perspectief: Het paper introduceert een geprincipeerde methode voor het trainen van reasoning-modellen met enkel demonstratiedata, waardoor de noodzaak voor verifiers of voorkeursannotaties wordt omzeild.
2. Relatief Adversarieel Framework: Het stelt een specifieke adversariële opzet voor met een "relatieve" critic en de tie-optie, wat de auteurs als cruciaal identificeren voor het stabiliseren van de trainingsdynamiek in niet-verifieerbare domeinen.
3. Empirische Validatie: De methode wordt gevalideerd over drie verschillende domeinen:
   • Countdown (Gecontroleerd): Een toy math-taak waarbij verificatie eenvoudig is.
   • DeepMath (Algemene Wiskunde): Een complex redeneerdomein waar verificatie even moeilijk is als generatie.
   • Poetry Writing (Niet-verifieerbaar): Een open-ended creatieve taak zonder objectieve grondwaarheid.

Experimentele Resultaten

De auteurs evalueren RARO tegen sterke baselines (SFT, Rationalization, Iterative DPO, en RL-Logit) en, waar van toepassing, de upper-bound RLVR.

• Countdown (1.5B Model): RARO bereikt een nauwkeurigheid van 54,4%, wat aanzienlijk beter is dan de beste verifier-vrije baseline (SFT op 40,7%) met +13,7%. Het benadert bijna de prestaties van RLVR (57,7%).
• DeepMath (7B Model): RARO bereikt een nauwkeurigheid van 57,5%, waarmee het de beste verifier-vrije baseline (RL-Logit op 49,3%) verslaat met +8,2%. De methode vertoont vergelijkbare schalingstrends als RLVR naarmate de modelgrootte toeneemt.
• Poetry Writing (7B Model): In dit niet-verifieerbare domein behaalt RARO een win rate van 25,0% tegenover expert-gedichten, een enorme verbetering ten opzichte van de beste baseline (SFT op 5,9%), wat een winst van +19,1% vertegenwoordigt.
• Scaling Behavior: RARO demonstreert effectieve schaling met zowel reasoning token budgets (test-time scaling) als modelgrootte. Opvallend genoeg leert het expliciete zoekgedrag en zelfcorrectie uit te voeren (bijv. backtracking in Countdown), gedragingen die afwezig zijn bij SFT-baselines.

Betekenis en Claims

Het paper claimt dat RARO effectief sterke redeneerprestaties oproept uit deskundige demonstraties alleen, wat robuust reasoning-leren mogelijk maakt zelfs wanneer taakspecifieke verifiers niet beschikbaar zijn. Door het probleem te formuleren via Inverse Reinforcement Learning en gebruik te maken van een relatieve adversariële opzet, laten de auteurs zien dat het mogelijk is om reasoning-modellen te trainen zonder de dure dataverzamelingseisen van RLHF of de strikte beperkingen van RLVR.

De resultaten suggereren dat RARO een praktisch pad is voor het ontwikkelen van redeneercapaciteiten in real-world domeinen (zoals creatief schrijven en complexe analyse) waar automatische verificatie onmogelijk is, wat potentieel de afhankelijkheid van kostbare menselijke voorkeursverzameling vermindert terwijl de voordelen van reinforcement learning, zoals test-time scaling en zelfcorrectie, behouden blijven.