🤖 machine learning

Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families

Dieses Paper führt einen präzisen Token-Mapping-Algorithmus ein, der es On-Policy-Distillation ermöglicht, über verschiedene Modellfamilien mit unterschiedlichen Tokenizern hinweg zu operieren, wodurch bisherige Einschränkungen überwunden werden und eine signifikant verbesserte Recheneffizienz im Vergleich zu bestehenden Cross-Tokenizer-Methoden nachgewiesen wird.

Ursprüngliche Autoren: Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zwei Experten, die verschiedene Sprachen sprechen

Stellen Sie sich vor, Sie haben einen brillanten Lehrer (ein großes KI-Modell), der ein Experte im Lösen von Matheaufgaben ist. Sie haben auch einen Schüler (ein kleineres KI-Modell), der vom Lehrer lernen möchte.

In der Vergangenheit mussten Lehrer und Schüler dieselbe „Sprache“ sprechen, um effektiv voneinander zu lernen. In der Welt der KI bedeutet das, dass sie denselben Tokenizer verwenden mussten.

Was ist ein Tokenizer? Betrachten Sie ihn als ein Wörterbuch, das Sätze in kleine Stücke (Tokens) zerlegt.
- Das Wörterbuch des Lehrers: Könnte das Wort „laufen“ in zwei Teile zerlegen: lauf + en.
- Das Wörterbuch des Schülers: Könnte „laufen“ als ein einziges Stück behalten: laufen.

Wenn der Lehrer sagt: „Du hast beim Teil lauf alles richtig gemacht“, ist der Schüler (der „laufen“ nur als ein ganzes Stück sieht) verwirrt. Er weiß nicht, auf welchen Teil seines einzelnen Wortes sich der Lobpreis des Lehrers bezieht. Diese Unstimmigkeit bedeutete, dass leistungsstarke „On-Policy Distillation“ (eine hochmoderne Art des Lehrens, bei der der Schüler lernt, während er übt) nur zwischen Modellen stattfinden konnte, die bereits zur selben Familie gehörten und dasselbe Wörterbuch nutzten.

Die Lösung: Ein smarter Übersetzer

Diese Arbeit stellt eine neue Methode namens Cross-Tokenizer On-Policy Distillation vor. Die Autoren haben einen „smarten Übersetzer“ gebaut, der es dem Lehrer und dem Schüler ermöglicht, voneinander zu lernen, selbst wenn sie völlig unterschiedliche Wörterbücher verwenden.

So funktioniert ihr System Schritt für Schritt:

1. Der „Dual-Pointer“-Tanz (Das Finden der Übereinstimmung)

Stellen Sie sich vor, der Lehrer und der Schüler lesen beide dieselbe Geschichte, aber der Lehrer liest sie in kurzen Phrasen, während der Schüler sie in langen Sätzen liest.

Die Autoren haben einen Algorithmus entwickelt (genannt Dual-Pointer Chunk Alignment), der wie zwei Menschen wirkt, die nebeneinander hergehen.
Eine Person zeigt auf die Stücke des Lehrers, die andere auf die des Schülers.
Sie bewegen ihre Finger vorwärts, bis sie einen Punkt finden, an dem die Bedeutung des Textes perfekt übereinstimmt, auch wenn die Anzahl der Wörter unterschiedlich ist.
Das Ergebnis: Sie identifizieren „synchronisierte Chunks“. Zum Beispiel erkennen sie, dass die drei winzigen Wörter des Lehrers (1, 2, 0) exakt dasselbe sind wie das eine große Wort des Schülers (120).

2. Die „Credit Assignment“ (Das Verteilen des Lobes)

Sobald sie einen passenden Chunk gefunden haben, müssen sie entscheiden, wie sie das Feedback des Lehrers aufteilen.

Das Problem: Der Lehrer hat eine Bewertung für drei kleine Wörter abgegeben. Der Schüler hat jedoch nur ein großes Wort. Wie teilen wir diese Bewertung auf?
Die Lösung: Das Papier verwendet eine „Semantic Prior“ (eine schicke Art zu sagen: „was der Schüler bereits dachte“).
- Wenn der Schüler bereits ziemlich sicher bezüglich des Wortes 120 war, erhält es einen kleineren Anteil des Lobes des Lehrers.
- Wenn der Schüler bei 120 verwirrt oder überrascht war, erhält er einen größeren Anteil des Lobes, um schneller zu lernen.
Dies stellt sicher, dass der Schüler die richtigen Lektionen lernt, ohne seine eigene einzigartige Denkweise zu verlieren.

Warum das eine große Sache ist (Die Ergebnisse)

Die Autoren testeten dies, indem sie ein „Llama“-Modell (Schüler) mit einem „Qwen“-Modell (Lehrer) unterrichteten. Dies sind zwei sehr unterschiedliche KI-Familien mit verschiedenen Wörterbüchern.

Es funktioniert besser: Der Schüler lernte viel schneller und wurde besser in Mathematik und Programmierung als mit der alten Methode, bei der er nur versuchte, die Antworten des Lehrers auswendig zu lernen.
Es spart massive Mengen an Energie: Das ist der überraschendste Teil.
- Alter Weg (SFT): Um das gleiche Intelligenzniveau zu erreichen, hätte der Schüler 480.000 zusätzliche Beispiele lesen müssen.
- Neuer Weg (OPD): Der Schüler benötigte nur 20.000 Beispiele, um das gleiche Niveau zu erreichen.
- Die Analogie: Es ist wie der Unterschied zwischen dem Versuch, eine Sprache durch das zehnfache Lesen eines Wörterbuchs zu lernen, im Vergleich dazu, ein Gespräch mit einem Muttersprachler zu führen, der einen in Echtzeit korrigiert. Das Gespräch (OPD) ist viel effizienter.

Das Fazit

Dieses Paper durchbricht eine „Mauer“, die KI-Modelle isoliert hielt. Früher konnte man einen Schüler nur lehren, wenn er dieselbe „Token-Sprache“ wie der Lehrer sprach. Jetzt können wir dank dieses neuen „smarten Übersetzers“ jede leistungsstarke KI mit jeder kleineren KI koppeln, unabhängig davon, wie sie Wörter aufteilen, und Wissen effizient übertragen.

Die Autoren fanden heraus, dass diese Methode nicht nur möglich, sondern auch signifikant günstiger und schneller als bisherige Methoden ist, was die Tür für eine viel größere Vielfalt an KI-Modellen öffnet, die voneinander lernen können.

Technisches Resümee: Die Tokenizer-Barriere durchbrechen: On-Policy-Distillation über Modellfamilien hinweg

1. Problemstellung

Die On-Policy-Distillation (OPD) hat sich als eine hocheffiziente Technik für das Post-Training von Large Language Models (LLMs) etabliert, die den Wissenstransfer von Experten-"Lehrer"-Modellen auf "Schüler"-Modelle ermöglicht, indem sie dichte, auf Token-Ebene basierende Überwachungssignale (Log-Wahrscheinlichkeiten) aus den eigenen generierten Trajektorien des Schülers nutzt. Bestehende OPD-Methoden sind jedoch strikt auf die Distillation innerhalb derselben Familie beschränkt, bei der Lehrer und Schüler denselben identischen Tokenizer verwenden müssen.

Beim Versuch einer Cross-Tokenizer-Distillation (z. B. zwischen verschiedenen Modellfamilien wie Qwen und Llama) tritt eine fundamentale Barriere auf: die Fehlstellung der Vokabulare. Unterschiede in der Vokabulargröße, den Kodierungspräferenzen und dem Umgang mit Sonderzeichen führen dazu, dass rohe Log-Wahrscheinlichkeiten des Lehrers nicht direkt auf die Tokens des Schülers abgebildet werden können. Die gängige Praxis in Cross-Tokenizer-Szenarien beschränkt sich auf Supervised Fine-Tuning (SFT) auf Basis der vom Lehrer generierten Antworten. Dieser Ansatz versäumt es jedoch, das reiche, dichte Wissen zu erfassen, das in der Wahrscheinlichkeitsverteilung des Lehrers eingebettet ist, da er die Ausgabe des Lehrers lediglich als statischen Text und nicht als probabilistisches Signal behandelt. Zudem sind bestehende Methoden zur Cross-Tokenizer-Ausrichtung primär für die Offline-Distillation (Off-Policy) konzipiert und können das Problem der Signalpropagation auf Token-Ebene, das in der OPD inhärent ist, nicht effektiv lösen.

2. Methodik

Die Autoren schlagen ein Framework für die Cross-Tokenizer On-Policy-Distillation vor, das die Vokabularlücke schließt, ohne identische Tokenizer oder Modifikationen an der internen Architektur der Modelle zu erfordern. Die Methode besteht aus zwei Kernkomponenten:

A. Adaptive Chunk-Ausrichtung (Dual-Pointer Chunk Alignment - DPCA)

Um Sequenzen, die von unterschiedlichen Tokenizern generiert wurden, abzugleichen, führen die Autoren einen deterministischen Algorithmus ein, der minimale synchronisierte Chunks identifiziert.

Mechanismus: Der Algorithmus nutzt die deterministischen und monotonen Eigenschaften der Detokenisierungsfunktion ( $D$ ). Er verwendet eine Dual-Pointer-Strategie ( $p_S$ für den Schüler, $p_T$ für den Lehrer), um die kleinsten Token-Inkremente zu finden, so dass die dekodierten Text-Präfixe übereinstimmen: $D(y^S_{1:i}) = D(y^T_{1:j})$ .
Greedy-Strategie: Die Pointer bewegen sich basierend auf der Länge der dekodierten Strings vorwärts. Wenn das dekodierte Fragment des Schülers kürzer ist als das des Lehrers, rückt der Schüler-Pointer vor und umgekehrt.
Theoretische Garantie: Der Algorithmus gewährleistet Vollständigkeit (Identifizierung aller Synchronisationspunkte) und Minimalität (Sicherstellung, dass Chunks nicht weiter unterteilt werden können). Dies garantiert, dass die dichten Überwachungssignale auf die kleinstmöglichen Token-Cluster lokalisiert werden, wodurch die Signalambiguität über große, aggregierte Blöcke vermieden wird.

B. Chunk-basierte Credit Assignment mittels semantischer Prior

Sobald die Sequenzen in synchronisierte Chunks partitioniert wurden, müssen die Überwachungssignale des Lehrers auf die Tokens des Schülers projiziert werden.

Joint Probability Matching: Die Methode geht davon aus, dass die gemeinsame Wahrscheinlichkeit der Generierung eines synchronisierten Chunks (der denselben zugrunde liegenden Text repräsentiert) unter beiden Verteilungen äquivalent sein sollte. Dies impliziert, dass die Summe der Log-Wahrscheinlichkeiten innerhalb eines Chunks gleich sein muss.
Optimierung mit semantischem Prior: Um die Ziel-Log-Likelihood des Lehrers ( $L^{(c)}_T$ ) über die Tokens des Schülers ( $s_c$ ) zu verteilen und gleichzeitig die interne semantische Struktur des Schülers zu bewahren, lösen die Autoren ein optimiertes Randbedingungsproblem. Sie suchen nach einer Zielverteilung, die eine maximale Richtungs-Ausrichtung mit der Prior-Verteilung ( $p$ ) des Schülers beibehält.
Geschlossene Form (Closed-Form Solution): Die resultierenden Ziel-Log-Wahrscheinlichkeiten ( $\log q_i$ ) sind eine linear skalierte Version der Prior-Log-Wahrscheinlichkeiten ( $\log p_i$ ) des Schülers, skaliert durch das Verhältnis der Chunk-basierten Log-Likelihoods:
$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$
Dies stellt sicher, dass Tokens, die der Schüler anfangs als „überraschend“ (geringe Wahrscheinlichkeit) einstufte, einen proportional größeren Anteil am Vorteilssignal erhalten, wodurch die relative semantische Struktur innerhalb des Chunks bewahrt wird.

C. Trainingsziel

Die berechneten pro-Token-Vorteile werden in ein Standard-OPD-Framework unter Verwendung einer RL-Importance-Sampling-Lossfunktion (Reverse KL-Divergenz) integriert, was es dem Schüler ermöglicht, seine Policy basierend auf seinen eigenen Rollouts zu aktualisieren und gleichzeitig der Anleitung des Lehrers zu folgen.

3. Zentrale Beiträge

Erste hochpräzise Cross-Tokenizer OPD: Diese Arbeit ermöglicht erstmals eine hochpräzise, pro-Token On-Policy-Distillation über verschiedene Modellfamilien mit unterschiedlichen Tokenizern hinweg.
Adaptiver Ausrichtungsalgorithmus: Der Vorschlag des Dual-Pointer Chunk Alignment (DPCA) Algorithmus, der mathematisch garantiert, dass minimale synchronisierte Chunks zwischen heterogenen Tokenisierungsschemata identifiziert werden.
Semantic-Prior Credit Assignment: Ein neuartiger Mechanismus zur Projektion der Lehrer-Log-Wahrscheinlichkeiten auf Schüler-Tokens, der die interne semantische Struktur des Schülers bewahrt und die Verzerrung relativer Token-Wahrscheinlichkeiten vermeidet.
Recheneffizienz: Der Nachweis, dass Cross-Tokenizer OPD signifikant recheneffizienter ist als traditionelle SFT- oder Off-Policy-Distillations-Baselines.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methode auf Reasoning-Benchmarks (AIME, MATH, GPQA-Diamond, LiveCodeBench) unter Verwendung zweier distinkter Lehrer-Schüler-Paarungen:

Setting 1: Qwen3-8B (Lehrer) $\to$ Llama-3.1-8B-SFT (Schüler).
Setting 2: DeepSeek-R1 (Lehrer) $\to$ DeepSeek-R1-Distill-Qwen-7B (Schüler).

Performance:

In der Qwen $\to$ Llama-Konfiguration erreichte die OPD eine durchschnittliche Punktzahl von 40,7 und übertraf damit SFT (35,1), ALM (35,7) und CDM (35,9) deutlich (um bis zu +5,6 Punkte).
In der DeepSeek-R1-Konfiguration erreichte die OPD 52,0 und übertraf die Baselines im Durchschnitt um 2,4–2,7 Punkte.
Die Gewinne waren konsistent über Mathematik-, Wissenschafts- und Code-Benchmarks hinweg, mit besonders bemerkenswerten Verbesserungen bei AIME25 (+11,6 Punkte) und GPQA-Diamond (+6,1 Punkte).

Recheneffizienz:

Um dieselbe AIME24-Genauigkeit (44,4 %) ausgehend von einem SFT-initialisierten Modell zu erreichen, schätzten die Autoren, dass eine Erweiterung von SFT 482K zusätzliche Trainingsbeispiele und etwa 1,17 $\times$ 10 $^{21}$ FLOPs erfordern würde.
Im Gegensatz dazu erreichte die OPD-Methode dieselbe Performance mit nur 20K zusätzlichen Beispielen und etwa 4,8 $\times$ 10 $^{19}$ FLOPs.
Dies entspricht einer Reduktion der genutzten Trainingsdaten auf ~4,1 % und der Gesamtrechenkosten auf ~4 % des SFT-Extrapolationsschemas.

Vergleich mit Same-Tokenizer OPD:

Das Paper stellt fest, dass der Performance-Gewinn der Cross-Tokenizer OPD (durchschnittlich +5,6) vergleichbar mit der Same-Tokenizer OPD (durchschnittlich +5,5) ist, was zeigt, dass der Projektionsmechanismus die Qualität des Überwachungssignals nicht signifikant verschlechtert.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass diese Arbeit eine breitere Palette an Lehrer-Schüler-Paaren für die On-Policy-Distillation erschließt. Durch die Aufhebung der Anforderung gemeinsamer Tokenizer ermöglicht die Methode einen flexibleren Wissenstransfer zwischen diversen Modellfamilien. Die Autoren argumentieren, dass ein gemeinsames Vokabular keine Voraussetzung für eine effektive OPD ist, sofern das Feedback des Lehrers auf eine Weise auf die Schüler-Tokens projiziert werden kann, die die Log-Wahrscheinlichkeiten bewahrt.

Die Arbeit eröffnet neue Wege für die Anpassung und Verbesserung der Interaktion zwischen LLMs und legt nahe, dass das Paradigma der „dichten Supervision“ über das Post-Training einer einzelnen Modellserie hinaus erweitert werden kann. Die Autoren räumen Einschränkungen hinsichtlich der Skalierung der getesteten Modelle (unter 8B Parametern aufgrund von Rechenbeschränkungen) ein und identifizieren die Validierung an größeren Modellen (z. B. 70B) als zukünftige Arbeit.