Technische Samenvatting: Multi-Rollout On-Policy Distillatie via Peer Succes en Falen

Probleemstelling

Grote Taalmodellen (LLMs) worden frequent nagetraind met versterkingsleer met verifieerbare beloningen (RLVR). In dit paradigma worden gesampleerde oplossingen gescoord door antwoordcontroles, unit-tests of taakspecifieke verifiers. Hoewel effectief, zijn deze beloningen doorgaans spaarzaam: ze geven aan of een hele trajectorie slaagt of faalt, maar bieden beperkte richtlijnen over welke specifieke tokens of redeneerstappen het resultaat veroorzaakten.

On-Policy Distillatie (OPD) lost de distributiemismatch die inherent is aan offline distillatie op door de student te trainen op trajectorieën die zijn gesampled uit het eigen beleid, en lereraoordelen om te zetten in dichte token-niveau signalen. Echter, bestaande OPD-methoden lijden aan een kritieke inefficiëntie: ze behandelen elke rollout onafhankelijk. Wanneer meerdere rollouts worden gegenereerd voor dezelfde prompt, wordt het leraarsignaal voor één trajectorie berekend zonder toegang tot de andere pogingen die uit dezelfde student zijn gesampled. Dit ontwerp gooit de lokale structuur van de rollout-groep weg. Voor redeneringsintensieve taken is deze lokale structuur zeer informatief; succesvolle rollouts onthullen geldige oplossingsstrategieën, terwijl gefaalde rollouts plausibele maar onjuiste redeneerpaden, gemiste beperkingen of uitvoeringsfouten blootleggen. Rollouts geïsoleerd behandelen verhindert dat de leraar alternatieven vergelijkt om te identificeren waar een onsuccesvolle trajectorie afwijkt van een succesvolle.

Methodologie: Multi-Rollout On-Policy Distillatie (MOPD)

De auteurs stellen Multi-Rollout On-Policy Distillatie (MOPD) voor, een peer-geconditioneerd distillatiekader dat expliciet de lokale rollout-groep van de student benut om informatiever leraarsignalen te construeren.

Kernmechanisme

Voor elke prompt $x$ sampleert de student een groep van $N$ on-policy trajectorieën, $Y(x) = \{y^{(i)}\}_{i=1}^N$. Deze worden gescoord door een verifier $R$ en op basis van een drempelwaarde $\tau$ gepartitioneerd in succesvolle ($Y^+$) en gefaalde ($Y^-$) sets.

Bij het superviseren van een doelrollout $y^{(i)}$ conditioneert MOPD de leraardistributie $q_\phi$ niet alleen op de prompt en het prefix van het doel, maar ook op peer-rollouts uit dezelfde groep (exclusief het doel zelf). De leraardistributie wordt:
$$q_{\text{peer}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$$
waarbij $C_i(x)$ de peer-context is die is opgebouwd uit $Y^+_{-i}(x)$ en $Y^-_{-i}(x)$.

Peer-Context Constructiestrategieën

Het artikel onderzoekt twee primaire strategieën voor het construeren van $C_i(x)$:

1. Positieve Peer-Imitatie: De leraar wordt uitsluitend geconditioneerd op succesvolle peer-trajectorieën. Dit behandelt succesvolle rollouts als "peer-experts", en biedt positief bewijs voor geldige redeneerpatronen en verankert de student aan meerdere geldige afleidingsstijlen in plaats van aan een enkele referentie.
2. Contrastieve Succes-Falen Conditionering: De leraar wordt geconditioneerd op zowel succesvolle als gefaalde peer-trajectorieën. Succesvolle peers geven aan waar het doel op moet lijken, terwijl gefaalde peers dienen als gestructureerd negatief bewijs, waardoor misleidende oplossingspaden worden geïdentificeerd die moeten worden vermeden. Deze contrastieve aanpak helpt de leraar onderscheid te maken tussen oppervlakkig vergelijkbare correcte en incorrecte trajectorieën, met name in taken met spaarzame terminale beloningen.

Het trainingsdoel minimaliseert de divergentie (Reverse KL voor wiskunde, Jensen-Shannon voor andere) tussen de distributie van de student en de peer-geconditioneerde leraardistributie over de tokensequentie.

Belangrijkste Bijdragen

1. Kaderinnovatie: MOPD is het eerste kader dat de leraar expliciet conditioneert op de lokale trial-and-error ruimte van een multi-rollout-groep van een student, en onafhankelijke trajectorie-supervisie omzet in een vergelijkend leerproces.
2. Dubbel Bewijsgebruik: De methode maakt gebruik van zowel succesvolle peers (positief bewijs) als gefaalde peers (negatief bewijs). De auteurs tonen aan dat gefaalde peers niet louter ruis zijn, maar gestructureerde signalen bieden over plausibele fouten, beperkingen en opmaakfouten.
3. Signaalkwaliteitsanalyse: Het artikel introduceert een directe analyse van de kwaliteit van het zelf-leraarssignaal, waarbij wordt gemeten hoe goed verschillende contextconstructies leraarscores aligneren met grondwaarheid-verifierbeloningen. Dit vermijdt verwarring die samenhangt met eenvoudige antwoordhersteltests.
4. Empirische Validatie: Uitgebreide experimenten over competitief programmeren, wiskundig redeneren, wetenschappelijke QA en toolgebruik tonen consistente verbeteringen ten opzichte van standaard on-policy baselines (GRPO, SDPO).

Experimentele Resultaten

De auteurs evalueerden MOPD op vier families van taken:

• Wiskundig Redeneren (AIME2024/2025, HMMT25): MOPD verbeterde mean@8 aanzienlijk in vergelijking met SDPO. Opmerkelijk is dat SDPO, dat afhankelijk is van rijke omgevingsfeedback, onderpresteerde op wiskundetaken waar alleen binaire verifierbeloningen beschikbaar zijn, terwijl de peer-verrijkte supervisie van MOPD zeer effectief bleek.
• Competitief Programmeren (LiveCodeBench v6): MOPD behaalde state-of-the-art resultaten onder de vergeleken methoden, met 61,82 mean@8 en 67,23 pass@8 op Qwen3-8B, en presteerde beter dan SDPO en GRPO.
• Science QA en Toolgebruik: MOPD behaalde de beste prestaties over alle subdomeinen (Biologie, Chemie, Fysica, Materialen) en toolgebruik-benchmarks.

Belangrijkste Bevindingen uit Analyse

• Superioriteit Gemengde Context: De "2 Succes + 1 Falen"-context behaalde consistent de hoogste alignering met verifierbeloningen over rangschikking (Spearman, Kendall's $\tau$) en discriminatie (Pairwise Accuracy, Success AUC) metrics.
• Rol van Falen: Hoewel succesvolle peers de primaire drijver zijn van signaalkwaliteit, scherpt het toevoegen van een gefaalde peer aan een context die alleen uit succes bestaat de beslissingsgrenzen aanzienlijk (bijvoorbeeld het verhogen van Pairwise Accuracy van 0,32 naar 0,40).
• Diversiteit: MOPD genereert oplossingen met aanzienlijk hogere lexicaal (Distinct-1/2) en structureel (AST Jaccard-afstand) diversiteit in vergelijking met baselines, wat suggereert dat peer-conditionering exploratie van gevarieerde oplossingsstrategieën aanmoedigt.
• Efficiëntie: De computerefficiëntie van MOPD is bescheiden, met een totale tijdsverhoging per stap van slechts 9,1% op LiveCodeBench en 33,3% op Science QA in vergelijking met SDPO.

Betekenis en Claims

Het artikel betoogt dat effectieve on-policy distillatie het trial-and-error-gedrag van de multi-rollout van de student moet exploiteren in plaats van rollouts te behandelen als geïsoleerde samples. Door de leraar te conditioneren op peer-succes en -falen, verandert MOPD de leraar in een lokaal diagnostisch model dat in staat is instantspecifieke fouten te herkennen en plausibele mislukkingen te onderscheiden van correcte oplossingen.

De auteurs claimen dat de winst voortkomt uit trouwere, instance-adaptieve supervisie. De gemengde succes-falen context aligneert leraarscores beter met verifierbeloningen, wat aangeeft dat de methode succesvol gebruikmaakt van de gestructureerde informatie die beschikbaar is binnen een enkele sampling-groep. Deze aanpak overbrugt de kloof tussen versterkingsleer (die groepsrelatieve voordelen gebruikt) en distillatie (die token-niveau supervisie gebruikt), en biedt een weg om redeneercapaciteiten in kleinere modellen te verbeteren zonder de noodzaak van externe, grotere leraren of complexe beloningsmodellering.

Het werk concludeert dat, hoewel peer-conditionering extra contextlengte introduceert, de resulterende verbeteringen in correctheid, diversiteit en trainingsstabiliteit de kosten rechtvaardigen, met name in domeinen waar verifieerbare beloningen beschikbaar zijn maar spaarzaam.