Technische Samenvatting: De Tokenizer-barrière doorbreken: On-Policy Distillatie over Modelfamilies heen

1. Probleemstelling

On-Policy Distillatie (OPD) is een zeer efficiënte techniek geworden voor de post-training van Large Language Models (LLM's), waarbij kennis wordt overgedragen van expert-"teacher"-modellen naar "student"-modellen door gebruik te maken van dichte, op tokenniveau gebaseerde supervisiesignalen (log-waarschijnlijkheden) op de eigen gegenereerde trajecten van de student. Echter, bestaande OPD-methoden zijn strikt beperkt tot distillatie binnen dezelfde familie, waarbij de teacher en de student een identieke tokenizer moeten delen.

Bij het proberen van cross-tokenizer distillatie (bijv. tussen verschillende modelfamilies zoals Qwen en Llama) ontstaat er een fundamentele barrière: de mismatch in vocabulaires. Verschillen in vocabulairegrootte, coderingvoorkeuren en de afhandeling van speciale tekens betekenen dat ruwe log-waarschijnlijkheden van de teacher niet direct naar student-tokens kunnen worden gemapt. De huidige mainstream praktijken voor cross-tokenizer scenario's grijpen terug op Supervised Fine-Tuning (SFT) op door de teacher gegenereerde responsen. Deze aanpak slaagt er niet in om de rijke, dichte kennis die besloten ligt in de waarschijnlijkheidsverdeling van de teacher te vangen; de output van de teacher wordt louter behandeld als statische tekst in plaats van een probabilistisch signaal. Bovendien zijn bestaande cross-tokenizer uitlijningsmethoden primair ontworpen voor offline (off-policy) distillatie en kunnen ze het probleem van de propagatie van signalen op tokenniveau, dat inherent is aan OPD, niet effectief oplossen.

2. Methodologie

De auteurs stellen een framework voor Cross-Tokenizer On-Policy Distillatie voor dat de kloof in vocabulaire overbrugt zonder dat gedeelde tokenizers of wijzigingen in de interne architectuur van de modellen vereist zijn. De methode bestaat uit twee kerncomponenten:

A. Adaptieve Chunk-uitlijning (Dual-Pointer Chunk Alignment - DPCA)

Om sequenties gegenereerd door verschillende tokenizers uit te lijnen, introduceren de auteurs een deterministisch algoritme dat minimale gesynchroniseerde chunks identificeert.

• Mechanisme: Het algoritme maakt gebruik van de deterministische en monotone eigenschappen van de detokenisatiefunctie ($D$). Het hanteert een dual-pointer strategie ($p_S$ voor student, $p_T$ voor teacher) om de kleinste incrementen van tokens te vinden waarvoor de gedecodeerde tekst-prefixes overeenkomen: $D(y^S_{1:i}) = D(y^T_{1:j})$.
• Greedy Strategie: De pointers bewegen voort op basis van de lengte van de gedecodeerde strings. Als het gedecodeerde fragment van de student korter is dan dat van de teacher, beweegt de student-pointer voort, en vice versa.
• Theoretische Garantie: Het algoritme garandeert volledigheid (het identificeren van alle synchronisatiepunten) en minimaliteit (het waarborgen dat chunks niet verder onderverdeeld kunnen worden). Dit garandeert dat de dichte supervisiesignalen gelokaliseerd zijn naar de kleinste mogbare tokenclusters, waardoor ambiguïteit in het signaal over grote, geaggregeerde blokken wordt vermeden.

B. Chunk-Level Credit Assignment via Semantische Prior

Zodra sequenties zijn opgedeeld in gesynchroniseerde chunks, moeten de supervisiesignalen van de teacher worden geprojecteerd op de tokens van de student.

• Joint Probability Matching: De methode gaat ervan uit dat de gezamenlijke waarschijnlijkheid van het genereren van een gesynchroniseerde chunk (die dezelfde onderliggende tekst vertegenwoordigt) gelijk moet zijn onder beide distributies. Dit impliceert dat de som van de log-waarschijnlijkheden binnen een chunk gelijk moet zijn.
• Optimalisatie met Semantische Prior: Om de target log-likelihood van de teacher ($L^{(c)}_T$) te verdelen over de tokens van de student ($s_c$) terwijl de interne semantische structuur van de student behouden blijft, lossen de auteurs een geoptimaliseerd probleem met restricties op. Ze zoeken een target distributie die een maximale directionele uitlijning behoudt met de prior-distributie van de student ($p$).
• Closed-Form Oplossing: De resulterende target log-waarschijnlijkheden ($\log q_i$) zijn een lineair geschaalde versie van de prior log-waarschijnlijkheden van de student ($\log p_i$), geschaald door de ratio van de chunk-level log-likelihoods:
  $$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$$
  Dit zorgt ervoor dat tokens die de student aanvankelijk "verrassend" vonden (lagere waarschijnlijkheid), een proportioneel groter deel van het voordeel-signaal ontvangen, waardoor de relatieve semantische structuur binnen de chunk behouden blijft.

C. Trainingsdoelstelling

De berekende per-token voordelen worden geïntegreerd in een standaard OPD-framework met behulp van een RL importance-sampling loss functie (Reverse KL divergentie), waardoor de student zijn beleid kan bijwerken op basis van zijn eigen rollouts terwijl hij zich houdt aan de begeleiding van de teacher.

3. Belangrijkste Bijdragen

1. Eerste High-Fidelity Cross-Tokenizer OPD: Dit werk is de eerste die high-fidelity, per-token on-policy distillatie mogelijk maakt over verschillende modelfamilies met verschillende tokenizers.
2. Adaptief Uitlijningsalgoritme: De voorstel van het Dual-Pointer Chunk Alignment (DPCA) algoritme, dat wiskundig garandeert dat minimale gesynchroniseerde chunks worden geïdentificeerd tussen heterogene tokenisatie-schema's.
3. Semantic-Prior Credit Assignment: Een nieuw mechanisme om de log-waarschijnlijkheden van de teacher op student-tokens te projecteren, wat de interne semantische structuur van de student behoudt en de vervorming van relatieve token-waarschijnlijkheden voorkomt.
4. Computationele Efficiëntie: Het aantonen dat cross-tokenizer OPD aanzienlijk meer computationeel efficiënt is dan traditionele SFT of off-policy distillatie baselines.

4. Experimentele Resultaten

De auteurs evalueerden hun methode op reasoning benchmarks (AIME, MATH, GPQA-Diamond, LiveCodeBench) met behulp van twee verschillende teacher-student paren:

• Setting 1: Qwen3-8B (Teacher) $\to$ Llama-3.1-8B-SFT (Student).
• Setting 2: DeepSeek-R1 (Teacher) $\to$ DeepSeek-R1-Distill-Qwen-7B (Student).

Prestaties:

• In de Qwen $\to$ Llama setting bereikte OPD een gemiddelde score van 40.7, waarmee het SFT (35.1), ALM (35.7) en CDM (35.9) met aanzienlijke marges versloeg (tot +5.6 punten).
• In de DeepSeek-R1 setting bereikte OPD 52.0, waarmee het de baselines met gemiddeld 2.4–2.7 punten versloeg.
• De winst was consistent over math, science en code benchmarks, met bijzonder opmerkelijke verbeteringen op AIME25 (+11.6 punten) en GPQA-Diamond (+6.1 punten).

Computationele Efficiëntie:

• Om dezelfde AIME24 nauwkeurigheid (44.4%) te bereiken uitgaande van een SFT-geïnitialiseerd model, schatten de auteurs dat het uitbreiden van SFT 482K extra trainingssamples en ongeveer 1.17 $\times$ 10$^{21}$ FLOPs zou vereisen.
• In contrast bereikte de OPD-methode dezelfde prestaties met slechts 20K extra samples en ongeveer 4.8 $\times$ 10$^{19}$ FLOPs.
• Dit vertegenwoordigt een reductie in het gebruik van trainingsdata naar ~4.1% en de totale computationele kosten naar ~4% van het SFT-extrapolatieschema.

Vergelijking met Same-Tokenizer OPD:

• Het paper merkt op dat de prestatiewinst van cross-tokenizer OPD (gemiddeld +5.6) vergelijkbaar is met die van same-tokenizer OPD (gemiddeld +5.5), wat aangeeft dat de projectiemechanisme de kwaliteit van het supervisiesignaal niet significant degradeert.

5. Betekenis en Claims

Het paper claimt dat dit werk een breder scala aan teacher-student paren ontsluit voor on-policy distillatie. Door de vereiste van gedeelde tokenizers weg te nemen, maakt de methode flexibele kennisoverdracht tussen diverse modelfamilies mogelijk. De auteurs argumenteren dat een gedeelde vocabulaire geen vereiste is voor effectieve OPD, mits de feedback van de teacher op een manier die de log-waarschijnlijkheid conserveert, op student-tokens kan worden geprojecteerd.

Dit werk opent nieuwe wegen voor het aanpassen en verbeteren van interacties tussen LLM's, en suggereert dat het "dense supervision" paradigma kan worden uitgebreid buiten enkelvoudige modelseries tijdens de post-training. De auteurs erkennen beperkingen met betrekking tot de schaal van de geteste modellen (onder de 8B parameters vanwege computationele beperkingen) en identificeren validatie op grotere schaal modellen (bijv. 70B) als toekomstig werk.