💻 computer science

When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning

Dit artikel introduceert Positie-Gewogen On-Policy Zelfdistillatie (PW-OPPS), een methode die de prestaties van redeneringsmodellen verbetert door vast te stellen dat de betrouwbaarheid van teacher-tokens een trajectgestructureerd patroon volgt dat het beste wordt voorspeld door de tokenpositie in plaats van entropie, waardoor gerichte distillatie mogelijk is zonder extra teacher-berekening.

Oorspronkelijke auteurs: Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Leerling Leren door Te Kijken Hoe Ze Werken

Stel je voor dat je een leerling leert hoe ze een zeer moeilijk wiskundeprobleem moeten oplossen. Je hebt een "Leraar" (een superintelligente AI) die het antwoord kent, en een "Leerling" (een iets minder slimme AI) die probeert te leren.

Bij een methode genaamd On-Policy Self-Distillation werkt het proces als volgt:

De Leerling probeert het probleem zelf op te lossen en schrijft hun gedachten stap voor stap op.
De Leraar kijkt precies naar wat de Leerling tot nu toe heeft geschreven en zegt: "Oké, gezien wat je zojuist hebt geschreven, is het beste volgende woord om te schrijven..."
De Leerling leert van deze feedback.

Het Probleem:
De standaardmanier om dit te doen behandelt elk enkel woord dat de Leraar suggereert als even belangrijk en even correct. Het is alsof een trainer tegen een hardloper zegt: "Elke stap die je zet is perfect," zelfs als de hardlooper op het punt staat over een steen te struikelen.

De auteurs van dit artikel realiseerden zich dat de Leraar soms in de war raakt. Bij complex redeneren kan de Leraar verschillende "volgende stappen" aanbieden die er allemaal plausibel uitzien, maar slechts één daarvan leidt daadwerkelijk naar het juiste eindantwoord. Als de Leerling blindelings een "plausibele maar verkeerde" stap volgt, komen ze vast te zitten.

De Ontdekking: De "Leefbaarheid van Takken"-test

De onderzoekers wilden weten: Wanneer is de Leraar eigenlijk betrouwbaar, en wanneer raadt ze gewoon?

Om dit uit te vinden, bedachten ze een diagnostische test die ze "Leefbaarheid van Takken" noemen. Hier is hoe het werkt, met een analogie uit het wandelen:

De Opzet: Stel je voor dat de Leerling een berg opwandelt (het probleem oplost). Ze bevinden zich op een veilige, juiste pad.
De Test: Op verschillende momenten suggereert de Leraar: "Hé, je zou ook dit andere pad kunnen nemen in plaats daarvan."
Het Experiment: De onderzoekers dwingen de Leerling om dat voorgestelde "andere pad" te nemen, maar zonder hulp van de Leraar (geen spiekbriefje).
Het Resultaat:
- Scenario A (Onschadelijke Diversiteit): De Leerling neemt het nieuwe pad, blijft wandelen en bereikt toch de top. De suggestie van de Leraar was gewoon een andere, geldige manier om het probleem op te lossen. Dit is veilig.
- Scenario B (Echte Onzekerheid): De Leerling neemt het nieuwe pad, raakt verdwaald en bereikt de top nooit. De suggestie van de Leraar was een valstrik. Dit is onbetrouwbaar.

De Verrassende Bevinding: Het Gaat Om Wanneer, Niet Om Hoe Verward

De onderzoekers verwachtten dat de Leraar onbetrouwbaar zou zijn wanneer ze "in de war" leek (hoge entropie, wat betekent dat ze veel opties had).

Ze hadden het mis.

Ze ontdekten dat de verwarring van de Leraar minder uitmaakte dan waar in het proces die verwarring plaatsvond.

Aan het begin van de wandeling: Als de Leraar vroeg een omweg suggereert, is de kans groot dat het een doodlopende weg is. De Leerling moet bij het hoofdpad blijven.
Aan het einde van de wandeling: Als de Leraar een omweg suggereert vlak voor het einde, is het meestal gewoon een andere manier om de klus te klaren. De Leerling kan dit veilig verkennen.

Ze testten dit door te kijken naar de "positie" van het woord in de zin. Ze ontdekten dat het simpelweg weten hoe ver de Leerling al was in het probleem een veel betere voorspeller van betrouwbaarheid was dan het controleren hoe "in de war" de Leraar leek.

De Oplossing: PW-OPSD (Positie-Gewogen Leren)

Op basis hiervan creëerden ze een nieuwe trainingsmethode genaamd PW-OPSD.

Stel je dit voor als een volumeknop voor de stem van de Leraar die verandert naarmate de les vordert:

Aan het begin van het probleem: Het volume staat lager. De Leerling luistert naar de Leraar, maar vertrouwt ze niet blindelings. Ze krijgen te horen: "De Leraar suggereert hier misschien een verkeerde afslag, dus wees voorzichtig."
Aan het einde van het probleem: Het volume staat hoger. De Leerling vertrouwt de Leraar volledig. "De Leraar weet precies hoe dit af te maken; volg haar leiding."

Deze methode vereist niet dat de Leraar extra werk doet of extra tests uitvoert. Het verandert alleen hoe de Leerling het advies weegt, gebaseerd op hoe ver ze al zijn gekomen.

De Resultaten: Slimmere Wiskundige Oplossers

Ze testten deze nieuwe methode op moeilijke wiskundewedstrijden (zoals AIME en HMMT).

Het Resultaat: De leerlingen die werden getraind met de "Positie-Gewogen" methode losten aanzienlijk meer problemen correct op dan diegenen die werden getraind met de oude "vertrouw alles gelijkwaardig" methode.
De Conclusie: Bij complex redeneren is timing belangrijk. De betrouwbaarheid van het advies van een leraar is niet willekeurig; het volgt een patroon. Door dat patroon te respecteren, kunnen we slimmere AI bouwen zonder krachtigere computers nodig te hebben.

Samenvatting in Eén Zin

Het artikel ontdekte dat bij wiskundig redeneren door AI het advies van een leraar vaak riskant is aan het begin van een probleem, maar veilig aan het einde, dus de beste manier om een leerling te trainen is om de leraar minder te vertrouwen aan het begin en meer aan het einde, in plaats van elk advieswoord als even perfect te behandelen.

Technische Samenvatting: Positiegewogen On-Policy Zelfdistillatie voor Redeneren

Probleemstelling

On-policy zelfdistillatie (OPSD) is een praktische methode voor het distilleren van wiskundig redeneren, waarbij een studentmodel wordt getraind op zijn eigen gegenereerde rollouts met behulp van een bevoorrechte leraar (een kopie van het model dat is geconditioneerd op antwoorden uit de grondwaarheid) om token-niveau doelen te leveren. De standaard OPSD-doelstelling past echter een uniforme forward-KL-supervisie-gewicht toe op alle gegenereerde tokens. Dit impliceert dat het doel van de bevoorrechte leraar even betrouwbaar is op elk voorvoegsel dat door de student wordt bezocht.

Recente adaptieve distillatiemethoden proberen deze uniformiteit te verzachten door supervisie te moduleren op basis van lokale signalen zoals leraarentropie, leraar-student kansverhoudingen of consensus. De auteurs betogen dat deze lokale ambiguïteitssignalen onvoldoende proxies zijn voor leraarbetrouwbaarheid. Hoge leraarentropie kan twee verschillende fenomenen aanduiden:

Niet-viabele onzekerheid: De leraar wijst waarschijnlijkheid toe aan meerdere volgende tokens, maar slechts één (of geen) leidt tot een correcte oplossing; de anderen zijn "dode hoeken".
Onschadelijke diversiteit: De leraar wijst waarschijnlijkheid toe aan meerdere viabele oplossingsroutes, die allemaal de correctheid behouden.

Bestaande methoden vermengen deze, wat mogelijk leidt tot het verlagen van de supervisie bij onschadelijke vertakkingspunten of het niet verlagen van de supervisie bij niet-viabele vertakkingspunten waar de leraar ontspoord. Het kernprobleem is het identificeren van een signaal dat niet-viabele onzekerheid onderscheidt van viabele diversiteit om tokens op de juiste manier te wegen.

Methodologie

1. Diagnostiek voor Vertakkingsviabiliteit

Om de leraarbetrouwbaarheid empirisch te onderzoeken, introduceren de auteurs een diagnostiek voor vertakkingsviabiliteit.

Opzet: Met behulp van een enkel model (Qwen3-4B) definiëren ze een "leraar"-prompt (met het antwoord uit de grondwaarheid) en een "student"-prompt (een gewoon probleem).
Proces:
1. De student genereert een correcte "ruggengraat"-rollout.
2. De leraar identificeert posities met hoge ambiguïteit (hoge getruncateerde entropie) langs deze ruggengraat.
3. Voor deze posities stelt de leraar alternatieve volgende tokens voor.
4. Het model wordt gedwongen verder te gaan vanuit de student-prompt + ruggengraat-voorvoegsel + de geforceerde alternatief, zonder bevoorrechte informatie.
5. Labeling: Als de geforceerde voortzetting faalt om het correcte antwoord te herstellen, wordt de tak gelabeld als echt-onzeker (lage betrouwbaarheid). Als het het antwoord herstelt, wordt het gelabeld als diversiteit (onschadelijk).
Vinding: De diagnostiek onthult een sterke positionele structuur. Echt-onzekere takken concentreren zich vroeg in de sequentie, terwijl viabele diversiteitstakken later vaker voorkomen.
Voorspellende Kracht: Een georiënteerde binnen-sequentie positie-score (vroege posities = lage betrouwbaarheid) bereikt een AUROC van 0,83 in het onderscheiden van echt-onzekere van diversiteitskandidaten. Daarentegen presteren standaard lokale onzekerheidsmetrieken (voorspellende entropie, MC-dropout wederzijdse informatie, Dirichlet-precisie) dicht bij toeval (AUROC $\le$ 0,57).

2. Positiegewogen On-Policy Zelfdistillatie (PW-OPSD)

Gemotiveerd door de bevinding dat vroege posities met hoge ambiguïteit structureel minder betrouwbaar zijn, stellen de auteurs PW-OPSD voor.

Kernmechanisme: PW-OPSD behoudt de standaard OPSD-constructie (student-rollout, bevoorrechte leraar-passage, per-vocabulaire geknipte forward-KL) maar wijzigt de aggregatie van de buitenste token.
Weegschema: In plaats van uniforme gewichten, past het een toenemende sigmoidfunctie toe op basis van de genormaliseerde positie binnen de sequentie:
$w_{i,t} = w_{min} + (1 - w_{min})\sigma\left(\frac{r_{i,t} - \tau}{s}\right)$
Waar $r_{i,t}$ de genormaliseerde positie is.
Ontwerprationale: Het schema wijst lagere gewichten toe aan vroege tokens (waar de diagnostiek hoge onbetrouwbaarheid aangeeft) en hogere gewichten aan latere tokens (waar de betrouwbaarheid hoger is). Een vloer ( $w_{min}$ ) zorgt ervoor dat vroege tokens niet volledig worden genegeerd.
Reductie: De methode middelt token-verliezen binnen elke sequentie voordat er wordt gemiddeld over de batch, zodat langere rollouts niet puur vanwege het aantal tokens de gradiënt domineren.
Efficiëntie: Het vereist geen extra leraar-passen, hulpverificatoren of complexe sampling; het gewicht is een deterministische functie van de positie.

Belangrijkste Bijdragen

Diagnostiek van Betrouwbaarheid: Het artikel introduceert een diagnostiek voor vertakkingsviabiliteit die empirisch aantoont dat leraar-token-betrouwbaarheid in redeneren traject-gestructureerd is (afhankelijk van positie) en niet puur lokaal (afhankelijk van entropie).
Superioriteit van Positie boven Entropie: De auteurs tonen aan dat positie een aanzienlijk sterkere voorspeller is van leraarbetrouwbaarheid (AUROC 0,83) dan lokale onzekerheidsscores (AUROC $\le$ 0,57), wat de aanname uitdaagt dat entropie-gebaseerde adaptieve weging optimaal is.
PW-OPSD Algoritme: Een eenvoudige, plug-and-play modificatie van OPSD die positie-afhankelijke gewichten toepast op de forward-KL-verliesfunctie, waardoor de prestaties van redeneren verbeteren zonder extra rekenkosten.
Generalisatie: De methode is gevalideerd over verschillende model-families (Qwen, Llama, OLMo) en schalen (4B tot 8B parameters) zonder per-model hyperparameter-tuning.

Experimentele Resultaten

Hoofdevaluatie (Qwen3-4B)

Geëvalueerd op MATH-500, AIME 2024, AIME 2025 en HMMT 2025 met een maximale generatielengte van 38.912 tokens:

AIME 2024: PW-OPSD (Matig) verbeterde Avg@12 met +1,0 punten ten opzichte van standaard OPSD (76,20 vs. 75,19).
AIME 2025: PW-OPSD verbeterde Avg@12 met +1,1 punten (67,78 vs. 66,67).
HMMT 2025: Een "Aggressief" schema-variant verbeterde Avg@12 met +1,48 punten ten opzichte van OPSD.
Basislijnen: Adaptieve basislijnen die entropie (EOPD) of policy-gradient beloningen (REOPOLD) gebruiken, presteerden over het algemeen slechter dan OPSD op AIME-benchmarks, en slaagden er niet in het betrouwbaarheidspatroon te vangen dat door de positiediagnostiek werd geïdentificeerd.
MATH-500: De prestaties bleven vergelijkbaar met OPSD (bijna verzadigd), wat aangeeft dat de methode de prestaties op eenvoudigere taken niet verslechtert.

Cross-Model Transfer

Het "Matige" schema (afgeleid van Qwen3-4B-diagnostiek) werd zonder her-tuning toegepast op:

DeepSeek-R1-Distill-Llama-8B: Verbeterde Avg@12 met +0,35 punten.
Olmo-3-7B-Think: Verbeterde Avg@12 met +0,50 punten.
Dit suggereert dat de positionele betrouwbaarheids-prior robuust is over model-families en architecturen heen.

Ablatiestudies

Schema-gevoeligheid: Verschillende schema-configuraties (Mild, Sharp, Aggressief) presteerden allemaal gemiddeld beter dan OPSD, wat de robuustheid van het concept van positieweging bevestigt.
Reductie versus Positionering: De auteurs vonden dat de verbetering berust op de gezamenlijke toepassing van positieweging en per-sequentie verliesreductie; het toepassen van slechts één as leverde niet de volledige prestatiewinst op.

Betekenis en Beweringen

Het artikel beweert dat leraar-token-betrouwbaarheid in redeneerdistillatie traject-gestructureerd is. De primaire betekenis ligt in het verschuiven van de focus van lokale ambiguïteit (entropie) naar structurele betrouwbaarheid (positie) voor adaptieve distillatie.

Bescheiden Beweringen: De auteurs stellen expliciet dat hoewel PW-OPSD de prestaties verbetert, de winsten "bescheiden" zijn (bijv. +1,0 tot +1,1 punten op AIME). Zij erkennen dat PW-OPSD een "plug-and-play" benadering is en dat er ruimte is om in de toekomst geavanceerdere doelstellingen te ontwerpen (bijv. het mixen van forward en reverse KL op basis van positie).
Geen Extra Kosten: Een belangrijke bewering is dat deze verbeteringen worden bereikt zonder extra leraar-berekening of aanvullende verificatiestappen, waardoor het een zeer efficiële modificatie is voor bestaande distillatiepijplijnen.
Theoretisch Inzicht: Het werk biedt een theoretische interpretatie van distillatie als een betrouwbaarheid-gewogen risico, waarbij het doel is om tokens te wegen op basis van de posterior-kans dat het doel van de leraar helpt de correcte oplossing te behouden. De diagnostiek levert het empirische bewijs dat positie een sterke proxy is voor deze posterior.

De code is beschikbaar op https://github.com/SaFo-Lab/PW-OPSD.