On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity

Technische Samenvatting: On-Policy Self-Distillatie met Gesamplede Demonstraties Vermindert Output-Diversiteit

Probleemstelling
On-policy self-distillatie (SDSD) is een krachtige techniek geworden voor het verbeteren van de prestaties van Large Language Models (LLM's), met name bij het bereiken van een hoge pass@1-nauwkeurigheid. In dit paradigma fungeert één enkel model als zowel leraar als leerling; de leraar wordt geconditioneerd op een "geprivilegieerde" correcte demonstratie (vaak een correcte rollout gegenereerd door de leerling zelf) om dichte, op tokens gebaseerde feedback te geven. Hoewel recente methoden zoals SDPO, SDFT en OPSD sterke gemiddelde prestaties hebben laten zien, onderzoekt dit artikel een verborgen kostenpost: een significante reductie in de diversiteit van rollouts. De auteurs observeren dat SDSD-modellen vaak vlakke pass@k-curves vertonen, wat betekent dat het genereren van extra rollouts er niet toe leidt dat nieuwe problemen worden opgelost of diverse oplossingsstrategieën worden gedekt. Dit staat in contrast met on-policy Reinforcement Learning (RL) methoden (bijv. GRPO), waarbij het verhogen van het aantal samples doorgaans leidt tot steile verbeteringen in probleemdekking. Het kernproblein is dat SDSD functionele en semantische diversiteit kan inruilen voor gemiddelde nauwkeurigheid, wat leidt tot slechte generalisatie in out-of-distribution (OOD) settings die diverse strategieën vereisen.

Methodologie en Theoretische Analyse
Het artikel formaliseert het mechanisme achter deze diversiteitsinstorting door middel van een theoretische afleiding van het optimale self-distillatiebeleid.

1. Theoretisch Kader:

   • Standaard RL: Het optimale beleid voor KL-geregulariseerde RL is een getitleerde versie van de basisdistributie, gemoduleerd door de beloningsfunctie. Cruciaal is dat als twee rollouts dezelfde basiswaarschijnlijkheid en dezelfde beloning hebben, hun waarschijnlijkheidsratio ongewijwtigt blijft in het optimale beleid.
   • SDSD Optimaal Beleid: De auteurs leiden af dat het optimale beleid voor self-distillatie met gesamplede demonstraties (SDSD-KL) de basisdistributie niet tilt door beloning, maar door de verwachte Pointwise Conditional Mutual Information (PCMI) tussen de rollout van de student en de gesamplede demonstratie.
   • Het Verscherpingsmechanisme: De PCMI meet hoeveel meer waarschijnlijk de leraar een specifieke rollout vindt wanneer deze geconditioneerd is op een demonstratie. Als een rollout al waarschijnlijker is onder het basisbeleid, is het waarschijnlijker dat deze als demonstratie wordt gesampled. Bijgevolg kent de leraar (die de biases van het basismodel deelt) een hogere waarschijnlijkheid toe aan rollouts die vergelijkbaar zijn met die demonstratie. Dit creëert een "rich-get-richer"-feedbackloop: de PCMI-term versterkt bestaande waarschijnlijkheidsverschillen, waardoor waarschijnlijke rollouts nog waarschijnlijker worden en minder voorkomende maar even correcte oplossingen worden onderdrukt. In tegen tegenstelling tot standaard RL, dat ratio's tussen even correcte rollouts behoudt, kan SDSD de distributie verscherpen, wat leidt tot mode collapse.

2. Experimentele Opzet:

   • Gecontroleerde Grafiek Padvinding: De auteurs introduceren een synthetische taak bestaande uit grafiek padvinding met conceptketens (bijv. vogels, fruit). De taak is ontworig met meerdere geldige paden (semantische diversiteit), maar met een bias in de trainingsdata die kortere, makkelijkere paden bevoordeelt. Dit maakt een nauwkeurige meting van "semantische diversiteit" (aantal verschillende conceptcategorieën verkend) en "functionele diversiteit" (helling van de pass@k-curve) mogelijk.
   • Science QA Benchmarks: Experimenten worden uitgevoerd op verifieerbare redeneertaken uit SciKnowEval (Biologie, Chemie, Materialen, Natuurkunde) met behulp van Qwen3 en Olmo modellen.
   • Baselines: De studie vergelijkt SDSD (geconditioneerd op gesamplede correcte rollouts) met standaard GRPO en GRPO met een expliciete diversiteitsbeloning. Varianten maken gebruik van externe diverse demonstraties om te testen of de bron van de demonstratie het probleem verzacht.

Belangrijkste Bijdragen

1. Theoretische Karakterisering: Het artikel bewijst dat het optimale SDSD-beleid de basisdistributie tilt door de verwachte PCMI in plaats van beloning. Het demonstreert dat dit mechanisme inherent de waarschijnlijkheidsimbalansen tussen even correcte rollouts versterkt, een eigenschap die afwezig is in standaard RL-objectieven.
2. Nieuwe Diversiteitsmetrieken: De auteurs stellen dat token-niveau entropie onvoldoende is om diversiteit te vangen. Ze introduceren en gebruiken functionele diversiteit (gemeten door de helling van pass@k-curves) en semantische diversiteit (gemeten door de variëteit aan hoog-niveau strategieën of conceptcategorieën die worden gebruikt) om de instorting te diagnosticeren.
3. Empirisch Bewijs van Instorting: Door experimenten op grafiek padvinding en Science QA laat het artikel zien dat hoewel SDSD de pass@1-nauwkeurigheid evenaart of overtreft ten opzichte van RL, het een aanzienlijk lagere functionele en semantische diversiteit vertoont. SDSD-modellen falen op OOD-taken (bijv. moeilijkere grafieken die diverse strategieën vereisen) waar RL-gebaseerde modellen wel slagen.
4. Robuustheid t.o.v. Bron van Demonstratie: De studie toont aan dat de diversiteitsinstorting voortduurt, zelfs wanneer diverse externe demonstraties worden gebruikt. Het self-distillatie mechanisme zelf, in plaats van de bron van de demonstratie, drijft het verlies van diversiteit aan.

Resultaten

• Grafiek Padvinding: SDSD-modellen behaalden een hoge pass@1 op in-distribution data, maar vertoonden bijna vlakke pass@k-curves, wat aangeeft dat extra rollouts geen nieuwe problemen oplosten. In contrast hiermee vertoonde GRPO een steile pass@k verbetering. SDSD-modellen faalden volledig op "Harder Graph" OOD-taken die diverse exploratie vereisten, terwijl GRPO slaagde. De semantische diversiteit scores voor SDSD waren het laagst van alle methoden.
• Science QA: SDSD-varianten behaalden een hogere pass@1 dan GRPO, maar een significant lagere pass@16. De pass@k-curves voor SDSD vlaken snel af, wat de lage functionele diversiteit bevestigt.
• Entropie Analyse: Token-niveau entropie werd gevonden als een onbetrouwbare metriek. In sommige gevallen (QA-taken) had SDSD een hogere token-niveau entropie dan GRPO, ondanks het hebben van een lagere functionele diversiteit en slechtere pass@k prestaties.

Betekenis en Claims
Het artikel claimt dat on-policy self-distillatie met gesamplede demonstraties cumulatieve biases introduceert die de rollout-diversiteit progressief verminderen. De betekenis ligt in het identificeren dat een hoge gemiddelde nauwkeurigheid (pass@1) een kritiek falen in exploratie en generalisatie kan maskeren. De auteurs stellen dat de "verborgen kosten" van SDSD een afgeplatte pass@k-curve zijn, waardoor modellen broos worden in scenario's die diverse strategieën vereisen.

De auteurs concluderen dat gemiddelde nauwkeurigheid alleen onvoldoende is voor het evalueren van self-distillatie methoden. Ze beweren dat functionele en semantische diversiteit het risico lopen op instorting en expliciet gemonitord moeten worden tijdens training en implementatie. Het werk suggereert dat hoewel SDSD effectief is voor het verfijnen van bekende oplossingen, het inherent ongeschikt kan zijn voor taken die de ontdekking van nieuwe oplossingsstrategieën vereisen, tenzij diversiteit expliciet wordt afgedwongen via externe mechanismen (zoals diversiteitsbeloningen in RL), welke SDSD van nature mist. Het artikel stelt geen nieuw algoritme voor om dit te oplossen, maar biedt eerder een theoretische en empirische diagnose van het fenomeen.