Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

Technische Samenvatting: Prefix Teach, Suffix Fade: Lokaal Instructieverval bij Sterk-naar-Zwak On-Policy Distillatie

1. Probleemdefinitie

Het artikel behandelt een specifiek falingspatroon bij On-Policy Distillatie (OPD), met name in sterk-naar-zwak scenario's waarbij een aanzienlijk groter leraarmodel een kleiner studentmodel superviseert. Waar eerdere literatuur ervan uitgaat dat dichte supervisie over een volledige gegenereerde traject uniform gunstig is, zolang leraarfeedback beschikbaar is, betogen de auteurs dat deze aanname te grof is.

Het kernprobleem dat wordt geïdentificeerd, is Lokaal Instructieverval. Bij sterk-naar-zwak OPD kan, zelfs wanneer er een niet-nul leraar-student-voordeel blijft bestaan gedurende een reactie, het lokale contrast van de feedback van de leraar vaak afnemen in latere segmenten. Specifiek:

• De leraar kan blijven zorgen voor een globaal voorkeursignaal (niet-nul gemiddeld voordeel).
• Echter, de discriminerende kracht van dit signaal neemt af; de leraar faalt erin om scherp te onderscheiden tussen de beste kandidaat-acties van de student in het lokale gebied.
• Het toepassen van dichte supervisie op deze laag-contrast gebieden optimaliseert over "informatieve ruis" in plaats van betekenisvolle prioritering voor de student te bieden, wat de prestaties kan verslechteren of het behoud van vaardigheden buiten het domein kan ondermijnen.

2. Methodologie

De auteurs stellen een traject-specifieke vrijgaveregel voor om lokaal instructieverval te mitigeren. In plaats van uniforme supervisie toe te passen of een vaste globale prefixlengte te gebruiken, bepaalt de methode dynamisch waar dichte supervisie moet worden afgekapt, gebaseerd op de lokale bruikbaarheid van het signaal van de leraar.

Belangrijkste Componenten van de Methode:

1. Staat-Lokale Leraarmarge:

   • In plaats van te vertrouwen op de variantie van de gesamplede token-voordeel ($A_t$), wat instabiel kan zijn, evalueert de methode het vermogen van de leraar om te discrimineren tussen de bereikbare acties van de student.
   • Bij elke prefix wordt de top-$K$ kandidaatset van de student ($C_t$) geconstrueerd.
   • De dichtstbijzijnde-concurrentmarge ($M_t$) van de leraar wordt berekend als het verschil in log-kans tussen de top-1 en top-2 kandidaten van de leraar binnen $C_t$:
     $$M_t = \log p_T(a^{(1)}_t) - \log p_T(a^{(2)}_t)$$
   • Een aanhoudende daling in $M_t$ geeft aan dat de begeleiding van de leraar lokaal vlak is geworden (minder handelingsgericht).

2. Zinsniveau Aggregatie:

   • Om artefacten op token-niveau te mitigeren, worden de marges geaggregeerd over door NLTK getokeniseerde zinssegmenten ($B_i$).
   • Het signaal op segmentniveau $S_i$ wordt gedefinieerd als:
     $$S_i = \log \left(1 + \frac{1}{|B_i|} \sum_{t \in B_i} M_t \right)$$

3. BIC-stijl Veranderingspunt Detectie:

   • De reeks segmentsignalen $\{S_i\}$ wordt geanalyseerd om een neerwaartse verschuiving te detecteren.
   • De methode vergelijkt een "geen-verandering" model ($H_0$) met een "één-daling" model ($H_1$) waarbij een veranderingspunt $\tau$ bestaat zodat het gemiddelde signaal daalt ($\mu_{pre} > \mu_{post}$).
   • Een Geprofileerde RSS-BIC criterium wordt gebruikt om het optimale veranderingspunt $\tau^*$ te selecteren, waarbij modelcomplexiteit wordt bestraft om valse positieven door willekeurige fluctuaties te voorkomen.
   • Als een significante neerwaartse verandering wordt gedetecteerd, wordt dichte supervisie gemaskeerd voor alle tokens die volgen na de gedetecteerde segmentgrens.

4. Herschaling van Verliesmassa:

   • Om ervoor te zorgen dat de gradiëntgrootte consistent blijft ondanks afkapping, worden de behouden prefix-voordelen herschaald:
     $$A'_t = A_t \cdot q_t \cdot \frac{\sum l_t}{\sum l_t q_t}$$
   • Hierbij is $q_t$ de prefix-maskering (1 voor de cut, 0 erna), en $l_t$ is de oorspronkelijke verliesmaskering.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Identificatie van Lokaal Instructieverval: De auteurs diagnosticeren dat bij sterk-naar-zwak OPD het leraar-student-voordeel niet-nul kan blijven terwijl de lokale discriminerende kracht (contrast) afneemt. Dit onthult dat dichte supervisie over het volledige traject niet altijd optimaal is.
2. Een Traject-Specifieke Vrijgaveregel: Zij introduceren een mechanisme om te bepalen of leraarfeedback lokaal handelingsgericht blijft. Deze regel gebruikt de top-1/top-2 marge van de leraar over de top-$K$ kandidaten van de student, aggregeert deze over zinssegmenten, en beëindigt supervisie na een statistisch neerwaarts veranderingspunt.
3. Empirische Validatie: De methode wordt gevalideerd in diverse Qwen3 sterk-naar-zwak distillatie-instellingen (1.7B, 4B en 8B studenten). De vrijgaveregel presteert consequent beter dan standaard full-trajectory OPD en vaste-prefix baselines op benchmarks binnen het domein en behoudt beter vaardigheden buiten het domein.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met de Qwen3-modelfamilie (Leraar: Qwen3-30B-A3B-Instruct-2507; Studenten: 1.7B, 4B, 8B) op vijf benchmarks binnen het domein voor wiskunde (AIME25, HMMT25, MATH500, Minerva) en één benchmark buiten het domein (GPQA).

• Prestatiewinst: Voor de 1.7B student behaalde de voorgestelde methode een gemiddelde score van 40,1% over de vijf wiskundebenchmarks, vergeleken met 36,8% voor standaard full OPD en 39,3% voor de beste vaste-prefix baseline (2048 tokens).
• Behoud Buiten het Domein: De methode verbeterde de GPQA-scores (42,4%) vergeleken met full OPD (40,7%), wat wijst op beter behoud van algemene vaardigheden.
• Schaling: De voordelen bleven bestaan voor grotere studenten (4B en 8B), waarbij de vrijgaveregel consequent beter presteerde dan full OPD en andere baselines (bijv. 55,2% AVG voor 8B versus 53,1% voor full OPD).
• Ablatie: Een "willekeurige vrijgave" controle (permuteren van vrijgavepunten over samples) leverde lagere prestaties op (38,0% AVG), wat bevestigt dat het vrijgavepunt moet zijn gekoppeld aan het lokaal-instructiesignaal van het specifieke traject.
• Sensitiviteit voor Ondersteuningsgrootte: De methode was robuust tegen variaties in de ondersteuningsgrootte van de top-$K$ van de student ($K \in \{2, 4, 16, 32\}$), waarbij $K=4$ de beste resultaten opleverde.

5. Betekenis en Aanspraken

Het artikel stelt dat effectieve sterk-naar-zwak on-policy distillatie vereist dat men niet alleen de beschikbaarheid van leraarbegeleiding evalueert, maar ook de lokale bruikbaarheid.

• Kerninzicht: Dichte supervisie moet zich concentreren op trajectregio's waar de feedback van de leraar discriminerend blijft. Zodra het lokale contrast van de leraar instort (vlak wordt), biedt het voortzetten van dichte supervisie verwaarloosbare leersignalen en kan het ruis introduceren.
• Praktische Implicatie: De voorgestelde vrijgaveregel biedt een principiële manier om supervisie te laten "vervaarden" (Prefix Teach, Suffix Fade) zonder het onderliggende OPD-doel te wijzigen. Het zorgt ervoor dat de gegenereerde feedback "leerbaar" blijft voor de student.
• Bescheidenheid: De auteurs merken op dat hun huidige implementatie een diagnostische pass uitvoert na volledige gegenereerde roll-out en het gegenereerde proces niet inherent verkort (in tegenstelling tot FastOPD), wat betekent dat efficiencywinst een secundaire overweging is ten opzichte van de validatie van het instructiesignaal. Zij stellen expliciet dat de regel een praktische heuristiek is om de centrale claim te valideren, en geen theoretisch bewijs dat alle tokens na de vrijgave schadelijk zijn.