💬 NLP

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation

Das Papier schlägt X-Token vor, ein projektionsgesteuertes Cross-Tokenizer-Wissensdistillations-Framework, das spärliche Projektionsmatrizen einsetzt, um Vokabelinkompatibilität und Token-Matching-Beschränkungen bei der logitbasierten Distillation zu überwinden, wodurch es Student-Modellen ermöglicht wird, „dunkles Wissen" von Lehrern mit nicht übereinstimmenden Vokabularen effektiv zu erlernen und State-of-the-Art-Leistung zu erreichen.

Ursprüngliche Autoren: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem jungen Schüler (dem Schülermodell) beizubringen, Matheaufgaben zu lösen und Geschichten zu schreiben. Sie haben einen brillanten Lehrer (das Lehrermodell), der alles weiß, aber es gibt einen Haken: Sie sprechen unterschiedliche Sprachen.

Der Schüler spricht „Llama", wobei die Zahl 201 ein einziges Wort ist. Der Lehrer spricht „Qwen", wobei 201 in drei separate Wörter zerlegt ist: 2, 0 und 1.

In der Vergangenheit war der Versuch, den Schüler mit diesem Lehrer zu unterrichten, wie der Versuch, Socken aus zwei verschiedenen Schubladen zusammenzubringen, deren Größen nicht übereinstimmen. Wenn Sie versuchten, ein Paar zu erzwingen, würde der Schüler verwirrt werden, oder schlimmer noch, der wertvolle Rat des Lehrers würde völlig ignoriert.

Dieser Artikel stellt eine neue Methode namens X-Token vor, um diese Diskrepanz zu beheben. So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „Sockenschubladen"-Diskrepanz

Frühere Methoden versuchten, dies zu lösen, indem sie den Wortschatz in zwei Gruppen aufteilten:

Die „Gemeinsame" Gruppe: Wörter, die in beiden Sprachen exakt gleich aussehen (z. B. „der", „Katze").
Die „Ungemeinsame" Gruppe: Wörter, die nicht übereinstimmen (z. B. „201" vs. „2-0-1").

Die alte Methode (genannt GOLD) behandelte diese beiden Gruppen unterschiedlich. Sie gab perfekten Rat für die „gemeinsamen" Wörter, aber für die „ungemeinsamen" Wörter gab sie unordentlichen, zufälligen Rat.

Das Versagen: Wenn der Schüler eine kritische Mathezahl wie 201 lernen musste und diese Zahl in die „ungemeinsame" Gruppe fiel, würde die alte Methode das Lernen des Schülers tatsächlich schädigen. Es ist, als würde ein Lehrer einem Schüler sagen: „Machen Sie sich keine Sorgen um die Zahl 201; raten Sie einfach zufällig." Der Artikel zeigt, dass dies dazu führte, dass die Matheergebnisse des Schülers von einem anständigen 12,89 auf ein schreckliches 2,56 einbrachen.

2. Die Lösung: Der „Universalübersetzer" (Projektionsmatrix)

X-Token führt ein spezielles Werkzeug namens Projektionsmatrix ( $W$ ) ein. Stellen Sie sich dies als einen Universalübersetzer oder einen Stein von Rosetta vor, der zwischen dem Schüler und dem Lehrer sitzt.

Anstatt den Schüler zu zwingen, nur Wörter zu lernen, die exakt gleich aussehen, sagt dieser Übersetzer:

„Okay, wenn der Lehrer '2', '0' und '1' sagt, ist das dasselbe wie das '201' des Schülers."
Es schafft eine Brücke, damit der Schüler die volle Logik des Lehrers verstehen kann, selbst wenn sie Wörter unterschiedlich aufteilen.

3. Zwei verschiedene Lehrstile (Verlustfunktionen)

Der Artikel erkennt, dass der „Universalübersetzer" manchmal auf zwei verschiedene Arten arbeiten muss, je nach Situation. Es wurden zwei Modi erstellt:

Modus A: Die „Vollständige Zusammenführung" (P-KL)

Wann zu verwenden: Wenn der Lehrer kritische Wörter (wie Mathezahlen) in winzige Stücke zerlegt, die der Schüler überhaupt nicht erkennt.
Wie es funktioniert: Es verwirft die Idee von „gemeinsamen" vs. „ungemeinsamen" Wörtern vollständig. Es nutzt den Übersetzer, um das gesamte Gehirn des Lehrers auf das Gehirn des Schülers abzubilden.
Das Ergebnis: Es rettete die Matheergebnisse! Durch die Verwendung dieses Modus mit dem Qwen-Lehrer sprangen die Matheergebnisse des Schülers von 2,56 (mit der alten Methode) auf 15,54. Es schlug sogar einen Lehrer, der dieselbe Sprache wie der Schüler sprach.

Modus B: Die „Entspannte Übereinstimmung" (H-KL)

Wann zu verwenden: Wenn Lehrer und Schüler weitgehend übereinstimmen, aber es einige kleine Unterschiede gibt (wie der Lehrer, der „Hund" + „reds" für das „Hundreds" des Schülers sagt).
Wie es funktioniert: Es behält die Aufteilung in „gemeinsame" vs. „ungemeinsame" bei, lockert aber die Regeln. Anstatt eine exakte Übereinstimmung zu verlangen, sagt es: „Wenn der Übersetzer sagt, dass diese beiden die nächste Übereinstimmung sind, zählen wir sie als Übereinstimmung."
Das Ergebnis: Dies gab einen kleinen, aber stetigen Schub (etwa +0,5 Punkte), wenn der Lehrer das Phi-4-mini-Modell war, das Zahlen nicht so aggressiv aufteilte.

4. Das „Gremium von Experten" (Multi-Lehrer-Distillation)

Der Artikel zeigt auch, dass Sie mehrere Lehrer gleichzeitig einsetzen können.

Stellen Sie sich vor, Sie haben einen Mathematik-Genie-Lehrer und einen Geschichtenerzähler-Lehrer.
X-Token ermöglicht es dem Schüler, beiden gleichzeitig zuzuhören.
Das Ergebnis: Als sie einen auf Mathematik fokussierten Lehrer (Phi-4-mini) mit einem Lehrer für Allgemeinwissen (Llama-3) kombinierten, lernte der Schüler besser als mit nur einem Lehrer. Es ist wie ein Schüler, der einen privaten Nachhilfelehrer für Mathematik und einen anderen für Geschichte hat und diese Lektionen dann zu einem Super-Schüler kombiniert.

Zusammenfassung der Ergebnisse

Der alte Weg: Wenn die Wortschätze nicht perfekt übereinstimmten, wurde der Schüler verwirrt und performte schlecht.
Der X-Token-Weg: Durch die Verwendung eines intelligenten Übersetzers und die Wahl des richtigen Lehrstils (Vollständige Zusammenführung vs. Entspannte Übereinstimmung) lernte der Schüler effektiv von Lehrern, die unterschiedliche „Sprachen" sprachen.
Der Beweis: Bei einem standardisierten Mathtest (GSM8k) verbesserte X-Token die Ergebnisse des Schülers um das 6-fache im Vergleich zur vorherigen besten Methode, wenn ein spezifischer Lehrer verwendet wurde.

Kurz gesagt, X-Token ist ein intelligentes System, das aufhört, zwei verschiedene Sprachen zu zwingen, gleich auszusehen, und stattdessen eine Brücke baut, damit der Schüler von den Ideen des Lehrers lernen kann, unabhängig davon, wie der Lehrer sie ausspricht.

Technische Zusammenfassung: X-Token: Projektionsgestützte Cross-Tokenizer-Wissensdistillation

Problemstellung

Wissensdistillation (KD) erfordert typischerweise einen gemeinsamen Tokenizer zwischen Lehrer- und Schülermodell, was Praktiker effektiv in spezifische Modellfamilien einsperrt. Diese Einschränkung verhindert die Nutzung leistungsfähigerer oder spezialisierter Lehrer mit inkompatiblen Vokabularen (z. B. die Distillation von einem Qwen- oder Phi-Modell in einen Llama-Schüler) und behindert die Multi-Lehrer-Distillation über diverse Tokenizer-Familien hinweg.

Bestehende Cross-Tokenizer-KD-Methoden lassen sich in zwei Kategorien einteilen: repräsentationsbasiert (Ausrichtung der versteckten Zustände) und logit-verteilungs-basiert (Operation auf Ausgabewahrscheinlichkeiten). Letztere wird für kontinuierliches Pre-Training bevorzugt, da sie keine architektonischen Änderungen erfordert. Der aktuelle State-of-the-Art-Logit-basierte Ansatz, GOLD, leidet jedoch bei der Handhabung inkompatibler Tokenizer unter zwei kritischen strukturellen Einschränkungen:

Versagen bei unüblichen Tokens: Wenn Tokenizer Text unterschiedlich fragmentieren (z. B. ein Lehrer zerlegt mehrstellige Zahlen, während ein Schüler sie zusammenfasst), fallen kritische Tokens in eine „nicht übereinstimmende" Teilmenge. Diese Tokens werden durch identitätsagnostisches Rauschen aus rank-basiertem Matching degradiert und durch Gradienten aus dem common-KL-Term unterdrückt, was zu starken Leistungseinbußen führt (z. B. sinkt die GSM8k-Genauigkeit von 12,89 auf 2,56).
Überkonservatives Matching: Strenge 1-zu-1-Zeichenketten-Gleichheit schließt gültige semantische Ausrichtungen aus, bei denen die Oberflächenformen unterschiedlich sind (z. B. ein Schüler-Token „Hundreds", das den Lehrer-Tokens „Hund" + „reds" entspricht), wodurch nützliche Überwachungssignale ungenutzt bleiben.

Methodik: X-Token

X-Token adressiert diese Probleme durch ein dreikomponentiges Framework: Span-Ausrichtung, eine Projektionsmatrix ( $W$ ) und komplementäre Verlustformulierungen.

1. Sequenz-Ausrichtung

Um unterschiedliche Sequenzlängen und Positionsfehlausrichtungen zu handhaben, setzt X-Token Span-Ausrichtung ein. Tokens werden zu Chunks gruppiert, die denselben zugrundeliegenden Text decodieren. Innerhalb jedes Chunks wird eine Kettenregel-Merge angewendet, um pro-Token-Wahrscheinlichkeiten zu einer einzigen Chunk-Ebene-Verteilung zu kombinieren und so ausgerichtete Einheiten für die Distillation zu schaffen.

2. Projektonsmatrix ( $W$ )

Eine sparse Projektonsmatrix $W \in \mathbb{R}^{|\mathcal{V}_S| \times |\mathcal{V}_T|}$ bildet Schüler-Token-Wahrscheinlichkeiten in den Vokabularraum des Lehrers ab. Sie wird deterministisch in zwei Durchläufen konstruiert:

Exakt-Match-Durchlauf: Setzt $W[s, t] = 1$ für Tokens mit kanonisierten Zeichenketten-Übereinstimmungen.
Multi-Token-Regel-Durchlauf: Für nicht übereinstimmende Schüler-Token wird der decodierte Text vom Lehrer neu tokenisiert. Der Schüler-Token wird auf die resultierende Sequenz von Lehrer-Tokens mit abklingenden Gewichten abgebildet (z. B. $\beta=0,9, \gamma=0,1$ ).
Die Matrix wird aus Tokenizer-Regeln initialisiert und kann während des Trainings optional feinabgestimmt werden.

3. Komplementäre Verlustformulierungen

X-Token führt zwei Verlustmodi ein, die basierend auf einer Abdeckungsauditierung kritischer Tokens (z. B. Zahlen) im Schülervokabular ausgewählt werden:

P-KL (Projection-KL): Entwickelt für Szenarien, in denen kritische Tokens in die „unübliche" Menge fallen (z. B. Qwen-Lehrer). Es entfernt die Partition vollständig. Die Schüler-Verteilung wird via $W$ in den Vokabularraum des Lehrers projiziert, und eine direkte KL-Divergenz wird zwischen der Lehrer-Verteilung und der projizierten Schüler-Verteilung berechnet. Dies eliminiert fehlerhafte rank-basierte Gradienten und unterdrückende Effekte.
H-KL (Hybrid-KL): Entwickelt für Szenarien, in denen die Partition strukturell solide ist (z. B. Phi-4-mini-Lehrer). Es behält die hybride Struktur bei, lockert jedoch die Definition der „gemeinsamen" Menge. Anstelle strenger Zeichenketten-Gleichheit werden Paare $(s, t^*)$ eingeschlossen, wobei $t^*$ der am höchsten gerankte Lehrer-Token für den Schüler-Token $s$ unter $W$ ist. Dies erfasst nahezu äquivalente Ausrichtungen, während die schärfere Überwachung durch direkte KL auf identitätsausgerichteten Paaren erhalten bleibt.

4. Multi-Lehrer-Distillation

X-Token erweitert sich natürlich auf mehrere Lehrer durch Aggregation der pro-Lehrer-Verluste. Es verwendet statisches Weighting (das in Experimenten adaptive Schemata übertraf), um Signale von heterogenen Lehrern zu kombinieren und deren komplementäre Stärken zu nutzen (z. B. Reasoning vs. Common Sense).

5. Dynamische Skalierung

Um das Training zu stabilisieren, wird der Distillationsverlust in jedem Schritt dynamisch neu skaliert, um die Größenordnung des Cross-Entropy-Verlusts zu erreichen und Optimierungsinstabilitäten durch variierende Verlustskalen zu verhindern.

Hauptbeiträge

Deterministische Cross-Token-Ausrichtung: Einführung einer sparse Projektonsmatrix $W$ , die über Zeichenketten-Regeln und Multi-Token-Decodierung konstruiert wird und eine direkte Vokabular-Ausrichtung ohne zusätzliche trainierbare Komponenten ermöglicht.
Duale Verlustformulierungen: Der Vorschlag von P-KL und H-KL, die sich an verschiedene Tokenizer-Mismatch-Regime anpassen. P-KL gewinnt Signale für kritische nicht übereinstimmende Tokens zurück, während H-KL das Matching für gut ausgerichtete Tokens verfeinert.
Multi-Lehrer-Fähigkeit: Nachweis, dass X-Token eine effektive Distillation von heterogenen Lehrern ermöglicht, wobei Ergebnisse zeigen, dass komplementäre Lehrer-Kombinationen eine überlegene Leistung gegenüber Single-Lehrer- oder homogenen Paarungen erzielen.
Robuste Sequenz-Ausrichtung: Eine skalierbare, DP-basierte Span-Ausrichtungsmethode, die textkonsistente Einheiten für die Distillation sicherstellt.

Experimentelle Ergebnisse

Experimente wurden mit Llama-3.2-1B als Schüler und Qwen3-4B, Phi-4-mini-Instruct sowie Llama-3.2-3B als Lehrer durchgeführt.

Leistung vs. SOTA: X-Token übertrifft den aktuellen State-of-the-Art (GOLD) um +3,82 durchschnittliche Punkte bei Verwendung eines Qwen3-4B-Lehrers (mit einer 6-fachen Verbesserung auf GSM8k, von 2,56 auf 15,54) und um +0,5 Punkte mit einem Phi-4-mini-Lehrer.
Überlegenheit über Familien hinweg: Im Qwen-Regime übertraf X-Token (P-KL) die Same-Tokenizer-KD von einem schwächeren Llama-3.2-3B-Lehrer und demonstrierte, dass Cross-Tokenizer-Distillation Same-Family-Grenzen überschreiten kann, wenn die Verlustformulierung korrekt ist.
Multi-Lehrer-Gewinne: Ein Zwei-Lehrer-Setup (Phi-4-mini + Llama-3.2-3B) verbesserte sich gegenüber Single-Lehrer-Distillation um +1,3 Punkte und unterstreicht den Wert der Kombination diverser Lehrer-Stärken.
Ablationsstudien:
- Die Verlustauswahl ist entscheidend: P-KL versagt bei Phi-4-mini, und H-KL versagt bei Qwen3-4B.
- Das gemeinsame Lernen der Projektonsmatrix $W$ ergibt moderate, aber konsistente Gewinne gegenüber einer eingefrorenen, regelbasierten Initialisierung.
- Statisches Lehrer-Weighting übertraf adaptive Schemata (basierend auf Entropie oder Konfidenz).

Bedeutung

Die Arbeit behauptet, dass X-Token demonstriert, dass eine sorgfältige Ausrichtung auf beiden Ebenen – Sequenz und Vokabular – kombiniert mit adaptivem Verlustdesign, der Schlüssel ist, um das volle Potenzial der Cross-Tokenizer-Wissensdistillation zu erschließen. Durch die Adressierung spezifischer Versagensmodi von partitionsbasierten Methoden ermöglicht X-Token Praktizierenden, stärkere, spezialisierte oder diverse Lehrer zu nutzen, ohne durch Tokenizer-Kompatibilität eingeschränkt zu sein, und bricht effektiv das „Tokenizer-Lock-in", das derzeit die Skalierung und Spezialisierung von Modellen begrenzt.