Technische Samenvatting: Het leerbaar maken van expert-redeneren via zelf-distillatie

Probleemstelling

Grote redeneermodellen (LRM's) verbeteren hun capaciteiten doorgaans via Reinforcement Learning met Verifieerbare Beloningen (RLVR). Deze aanpak stuit echter op een kritieke flessenhals: bij extreem moeilijke problemen slaagt het model er vaak niet in om tijdens de rollout-fase een correcte oplossing te genereren. Bijgevolg zijn het signaal voor beloning, voordeel en gradiënt nul, wat leren van de meest uitdagende instanties verhindert.

Een alternatief is het benutten van hoogwaardige oplossingen van experts. Echter, naïeve imitatie-lering (Supervised Fine-Tuning) op deze oplossingen faalt. Expert-oplossingen zijn fundamenteel out-of-distribution (OOD) ten opzichte van het redeneerproces van het model na de training. Ze zijn vaak "didactisch", waarbij ze granulaire tussenstappen weglaten die impliciet zijn voor menselijke lezers maar essentieel zijn voor computationele modellen. Bovendien missen expert-oplossingen de expliciete zoekdynamiek (bijv. backtracking, zelfcorrectie) die kenmerkend is voor modellen getraind met RLVR. Directe fine-tuning op dergelijke data dwingt het model om zijn interne redenering af te korten, wat leidt tot ernstige prestatievermindering. Daarnaast zijn hoogwaardige expert-data schaars en duur, wat efficiënte trainingsmethoden noodzakelijk maakt.

Methodologie: Distribution Aligned Imitation Learning (DAIL)

De auteurs stellen Distribution Aligned Imitation Learning (DAIL) voor, een tweestaps zelf-distillatieframework ontworpen om de distributionele kloof tussen expert-oplossingen en het redeneerproces van het studentmodel te overbruggen.

1. Genereren van In-Distribution Leerbare Redeneringen

De eerste stap transformeert gecomprimeerde, OOD expert-oplossingen naar gedetailleerde, in-distribution redeneersporen. Dit wordt bereikt via een mixed policy rollout proces dat een "leraar" (een bevroren instantie van het studentmodel, geconditioneerd op de expert-oplossing) en de "student" (het model dat wordt geoptimaliseerd) omvat.

• Mechanisme: Voor elk token in een generatie samplet de student een token. De leraar verifieert dit token tegen de context van de expert-oplossing. Als de waarschijnlijkheid van de leraar voor het token de drempelwaarde $\tau$ overschrijdt, wordt het token van de student geaccepteerd; anders samplet de leraar een token.
• Doel: Dit proces breidt de expert-oplossing uit naar een gedetailleerde redeneerketen die "didactische shortcuts" (overgeslagen stappen) invult, terwijl het natuurlijke redeneerverloop van de student behouden blijft en directe verwijzingen naar de expert-oplossing worden vermeden die bij naïeve sampling zouden optreden.

2. Contrastieve Leerdoelstelling

De tweede stap adresseert het risico dat de gegenereerde sporen "rationalisatie-shortcuts" kunnen bevatten: gebrekkige logische bruggen waarbij het model een afleiding forceert om overeen te komen met een bekend tussenresultaat uit de expert-oplossing. Standaard Negative Log-Likelihood (NLL) loss zou het model onvoorwaardelijk bestraffen voor het niet nabootsen van deze gebrekkige shortcuts.

Om dit te mitigeren, gebruikt DAIL een contrastieve doelstelling:

• Negatieve Referentie: Een model $M_{NR}$ wordt geconstrueerd met dezelfde parameters als de student, maar geconditioneerd op slechts een "gedeeltelijke oplossing" ($\tilde{s}$). Deze gedeeltelijke oplossing bestaat uit grofmazige waypoints (belangrijke numerieke/symbolische resultaten) waarbij de tussenliggende redenering is verwijderd.
• Loss Functie: De doelstelling minimaliseert de KL-divergentie tussen de student en de volledige-informatie leraar, terwijl de divergentie tussen de student en de negatieve referentie wordt gemaximaliseerd.
  $$L(\theta) = \mathbb{E} \left[ \sum_{t} \left( D_{KL}(M_\theta \parallel M_T) - \gamma D_{KL}(M_\theta \parallel M_{NR}) \right) \right]$$
• Effect: Dit straft het model af voor het nabootsen van het shortcut-gedrag (het springen tussen waypoints zonder logische afleiding) terwijl het het aanmoedigt om de gedetailleerde, stap-voor-stap logica van de leraar te volgen.

Belangrijkste Bijdragen

1. DAIL Framework: Een nieuwe post-training methode die modellen in staat stelt te leren van hoogwaardige expert-oplossingen door ze te transformeren naar in-distribution sporen en een contrastieve doelstelling toe te passen om het leren van shortcuts te voorkomen.
2. Sample Efficiëntie: Toont aan dat significante verbeteringen in redeneren kunnen worden bereikt met minder dan 1.000 hoogwaardige expert-oplossingen, een regime waarin standaard RLVR vaak faalt door beloningsschaarsheid.
3. Omgaan met Niet-Verifieerbare Problemen: Wordt succesvol toegepast op niet-verifieerbare bewijsproblemen (bijv. Olympiade-bewijzen) waar standaard op correctheid gebaseerde RLVR niet toepasbaar is zonder een generatief beloningsmodel.
4. Efficiëntie en Generalisatie: Toont aan dat DAIL de redeneerefficiëntie verbetert (het bereiken van vergelijkbare prestaties met 2$\times$ minder tokens) en generaliseert naar out-of-domain taken (bijv. GPQA-Diamond) zonder catastrofale vergetelheid.

Experimentele Resultaten

De auteurs evalueerden DAIL op Qwen2.5-Instruct (niet-redenerend) en Qwen3 (redenerend) modellen met datasets van competitieve wiskunde en Olympiade-bewijzen.

• Prestatiewinst: Op Qwen2.5-Instruct behaalde DAIL tot wel 31% winst in pass@128 op benchmarks zoals AIME 2024/2025, BeyondAIME en IMO-AnswerBench vergeleken met het basismodel. Het presteerde beter dan zowel standaard RLVR-methoden (GRPO, NuRL) als naïeve imitatie-baselines (Direct SFT, STaR).
• Vergelijking met RLVR: Terwijl RLVR-methoden vaak overfitten op stochastische successen of verslechteren op moeilijke problemen door nul-beloningssignalen, bood DAIL consistente verbeteringen over verschillende $k$-waarden.
• Inference Efficiëntie: Modellen getraind met DAIL evenaarden of overtroffen de prestaties van ongetrainde modellen terwijl ze 2$\times$ minder tokens gebruikten, wat wijst op efficiëntere redeneerpaden.
• Generalisatie: DAIL behield of verbeterde de prestaties op de out-of-domain GPQA-Diamond benchmark, wat suggereert dat de geleerde redeneerstrategieën robuust zijn en niet overfit zijn op het trainingsdomein.
• Ablatie Studies:
  • Contrastief vs. NLL: De contrastieve doelstelling presteerde consequent beter dan standaard NLL, wat de noodzaak ervan bevestigt om het leren van rationalisatie-shortcuts te voorkomen.
  • Mixed Policy vs. Direct Sampling: Voor redeneermodellen (Qwen3) waren mixed policy rollouts cruciaal om te voorkomen dat het model direct naar de expert-oplossing verwijst, terwijl direct sampling volstond voor niet-redeneermodellen.

Betekenis en Claims

Het artikel claimt de eerste demonstratie te zijn van het verbeteren van het redeneervermogen van long-chain-of-thought (CoT) modellen door direct te leren van expert-oplossingen. Er wordt betoogd dat voor extreem moeilijke problemen waarbij een model zelfs geen gedeeltelijk correct pad kan genereren, het uitbreiden van expert-oplossingen naar constructieve, in-distribution sporen een noodzakelijke voorloper is van effectief leren.

De auteurs positioneren DAIL als een oplossing voor de "exploratie-bottleneck" in RLVR, en bieden een pad om hoogwaardige, niet-verifieerbare data te benutten in domeinen waar beloningssignalen schaars of ongedefinieerd zijn. Ze benadrukken dat deze aanpak het mogelijk maakt voor frontier-modellen om te leren van menselijke expertise zonder dat daarvoor een sterkere "leraar"-model nodig is die nog niet bestaat, waardoor de capaciteiten van huidige modellen worden uitgebreid via efficiënte, sample-effectieve zelf-distillatie.