💬 NLP

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation

Het artikel stelt X-Token voor, een projectiegeleid raamwerk voor kennisdistillatie via kruis-tokenizers dat gebruikmaakt van schaarse projectiematrices om vocabulaire-incompatibiliteit en token-matchingsbeperkingen in logit-gebaseerde distillatie te overwinnen, waardoor studentmodellen in staat worden gesteld effectief "donkere kennis" te leren van leraren met niet-overeenkomende vocabulaires en state-of-the-art prestaties te behalen.

Oorspronkelijke auteurs: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een jonge student (het Student Model) te leren wiskundeproblemen op te lossen en verhalen te schrijven. Je hebt een briljante leraar (het Teacher Model) die alles weet, maar er is een addertje onder het gras: ze spreken verschillende talen.

De student spreekt "Llama", waarbij het getal 201 één enkel woord is. De leraar spreekt "Qwen", waarbij 201 is opgesplitst in drie aparte woorden: 2, 0 en 1.

In het verleden was het proberen om de student met deze leraar te onderwijzen, als het proberen om sokken uit twee verschillende laden te matchen waar de maten niet overeenkomen. Als je probeerde een match te forceren, zou de student in de war raken, of erger, de waardevolle adviezen van de leraar zouden volledig worden genegeerd.

Dit artikel introduceert een nieuwe methode genaamd X-Token om dit misverstand op te lossen. Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Het "Sokkenlade"-misverstand

Vorige methoden probeerden dit op te lossen door het vocabulaire op te splitsen in twee groepen:

De "Gemeenschappelijke" Groep: Woorden die er in beide talen exact hetzelfde uitzien (bijv. "de", "kat").
De "Ongebruikelijke" Groep: Woorden die niet overeenkomen (bijv. "201" versus "2-0-1").

De oude methode (genaamd GOLD) behandelde deze twee groepen verschillend. Het gaf perfect advies voor de "Gemeenschappelijke" woorden, maar gaf rommelig, willekeurig advies voor de "Ongebruikelijke" woorden.

Het Falen: Als de student een cruciaal wiskundig getal zoals 201 moest leren, en dat getal viel in de "Ongebruikelijke" groep, zou de oude methode het leren van de student eigenlijk schaden. Het is alsof een leraar tegen een student zegt: "Maak je geen zorgen over het getal 201; raad gewoon willekeurig." Het artikel toont aan dat dit ervoor zorgde dat de wiskundescores van de student crashten van een fatsoenlijke 12,89 naar een vreselijke 2,56.

2. De Oplossing: De "Universele Vertaler" (Projectiematrix)

X-Token introduceert een speciaal hulpmiddel genaamd een Projectiematrix ( $W$ ). Denk hierbij aan een Universele Vertaler of een Rosetta Stone die tussen de student en de leraar zit.

In plaats van de student te dwingen alleen woorden te leren die er exact hetzelfde uitzien, zegt deze vertaler:

"Oké, wanneer de leraar '2', '0' en '1' zegt, is dat hetzelfde als de '201' van de student."
Het creëert een brug zodat de student de volledige logica van de leraar kan begrijpen, zelfs als ze woorden anders opsplitsen.

3. Twee Verschillende Onderwijsstijlen (Verliesfuncties)

Het artikel beseft dat de "Universele Vertaler" soms op twee verschillende manieren moet werken, afhankelijk van de situatie. Ze creëerden twee modi:

Modus A: De "Volledige Samenvoeging" (P-KL)

Wanneer te gebruiken: Wanneer de leraar kritieke woorden (zoals wiskundige getallen) opsplitst in kleine stukjes die de student helemaal niet herkent.
Hoe het werkt: Het gooit het idee van "Gemeenschappelijke" versus "Ongebruikelijke" woorden volledig weg. Het gebruikt de vertaler om het hele brein van de leraar af te beelden op het brein van de student.
Het Resultaat: Het redde de wiskundescores! Door deze modus te gebruiken met de Qwen-leraar, sprong de wiskundescore van de student van 2,56 (met de oude methode) helemaal omhoog naar 15,54. Het versloeg zelfs een leraar die dezelfde taal sprak als de student.

Modus B: De "Ontspannen Match" (H-KL)

Wanneer te gebruiken: Wanneer de leraar en de student grotendeels overeenkomen, maar er zijn enkele kleine verschillen (zoals de leraar "Hund" + "reds" zeggen voor de "Honderden" van de student).
Hoe het werkt: Het behoudt de splitsing tussen "Gemeenschappelijke" en "Ongebruikelijke" maar verslapt de regels. In plaats van een exacte match te eisen, zegt het: "Als de vertaler zegt dat deze twee de dichtstbijzijnde match zijn, laten we ze tellen als een match."
Het Resultaat: Dit gaf een kleine maar stabiele boost (ongeveer +0,5 punten) toen de leraar het Phi-4-mini-model was, wat getallen niet zo agressief opsplitste.

4. Het "Panel van Experts" (Multi-Leraar Distillatie)

Het artikel toont ook aan dat je meerdere leraren tegelijk kunt gebruiken.

Stel je voor dat je een Wiskunde-Genie-leraar en een Verhaalverteller-leraar hebt.
X-Token staat de student toe om tegelijkertijd naar beiden te luisteren.
Het Resultaat: Toen ze een op wiskunde gerichte leraar (Phi-4-mini) combineerden met een leraar voor Algemene Kennis (Llama-3), leerde de student beter dan met slechts één leraar. Het is alsof een student een privéleraar krijgt voor wiskunde en een andere voor geschiedenis, en vervolgens die lessen combineert tot één superstudent.

Samenvatting van Resultaten

De Oude Manier: Als de vocabulaires niet perfect overeenkwamen, raakte de student in de war en presteerde slecht.
De X-Token Manier: Door een slimme vertaler te gebruiken en de juiste onderwijsstijl te kiezen (Volledige Samenvoeging versus Ontspannen Match), leerde de student effectief van leraren die verschillende "talen" spraken.
Het Bewijs: Op een standaard wiskundetoets (GSM8k) verbeterde X-Token de score van de student met 6 keer in vergelijking met de vorige beste methode bij het gebruik van een specifieke leraar.

Kortom, X-Token is een slim systeem dat stopt met proberen twee verschillende talen er hetzelfde uit te laten zien en in plaats daarvan een brug bouwt zodat de student kan leren van de ideeën van de leraar, ongeacht hoe de leraar ervoor kiest om ze te zeggen.

Technische Samenvatting: X-Token: Projectie-Gestuurde Cross-Tokenizer Kennisdistillatie

Probleemstelling

Kennisdistillatie (KD) vereist doorgaans een gedeelde tokeniser tussen leraar- en studentmodellen, waardoor practitioners effectief worden vastgezet in specifieke modelfamilies. Deze beperking verhindert het benutten van sterkere of gespecialiseerde leraren met incompatibele vocabulaires (bijvoorbeeld distilleren van een Qwen- of Phi-model naar een Llama-student) en bemoeilijkt multi-leraar distillatie over diverse tokeniser-families heen.

Bestaande cross-tokenizer KD-methoden vallen in twee categorieën: representatie-gebaseerd (het afstemmen van verborgen toestanden) en logit-distributie-gebaseerd (werken met uitgangskansen). De laatste wordt bij voorkeur gebruikt voor continue voortraining, omdat deze geen architecturale wijzigingen vereist. De huidige state-of-the-art logit-gebaseerde methode, GOLD, lijdt echter aan twee kritieke structurele beperkingen bij het hanteren van incompatibele tokenizers:

Mislukking bij ongebruikelijke tokens: Wanneer tokenizers tekst op verschillende manieren fragmenteren (bijvoorbeeld een leraar die meercijferige getallen splitst terwijl de student ze samenvoegt), vallen kritieke tokens in een "niet-overeenkomende" subset. Deze tokens worden verslechterd door identiteitsongevoelige ruis afkomstig van rang-gebaseerde matching en onderdrukt door gradiënten van de gemeenschappelijke-KL-term, wat leidt tot ernstige prestatiedalingen (bijvoorbeeld daalt de GSM8k-accuraatheid van 12,89 naar 2,56).
Te conservatieve matching: Strikte 1-op-1 string-gelijkheid sluit geldige semantische afstemmingen uit waarbij oppervlaktevormen verschillen (bijvoorbeeld een student-token "Honderden" die overeenkomt met leraar-tokens "Hond" + "ertallen"), waardoor nuttige supervisie-signalen onbenut blijven.

Methodologie: X-Token

X-Token adresseert deze problemen via een raamwerk met drie componenten: Span-afstemming, een Projectiematrix ( $W$ ) en Complementaire Verliesformuleringen.

1. Sequentie-afstemming

Om te hanteren met verschillende sequentielengtes en positiemismatches, hanteert X-Token span-afstemming. Tokens worden gegroepeerd in chunks die decoderen naar dezelfde onderliggende tekst. Een kettingregel-samenvoeging wordt binnen elke chunk toegepast om per-token kansen te combineren tot één enkele chunk-niveau distributie, waardoor uitgelijnde eenheden voor distillatie worden gecreëerd.

2. Projectiematrix ( $W$ )

Een schaarse projectiematrix $W \in \mathbb{R}^{|\mathcal{V}_S| \times |\mathcal{V}_T|}$ mapt student-tokenkansen af naar de vocabulaire-ruimte van de leraar. Deze wordt deterministisch in twee passes geconstrueerd:

Exact-Match Pass: Stelt $W[s, t] = 1$ voor tokens met gekanoniseerde string-overeenkomsten.
Multi-Token-Regel Pass: Voor niet-overeenkomende student-tokens wordt de gedecodeerde tekst opnieuw getokeniseerd door de leraar. De student-token wordt afgebeeld op het resulterende sequentie van leraar-tokens met afnemende gewichten (bijvoorbeeld $\beta=0,9, \gamma=0,1$ ).
De matrix wordt geïnitieerd op basis van tokeniser-regels en kan optioneel tijdens training worden fine-getuned.

3. Complementaire Verliesformuleringen

X-Token introduceert twee verliesmodi, geselecteerd op basis van een dekking-audit van kritieke tokens (bijvoorbeeld getallen) in het student-vocabulaire:

P-KL (Projectie-KL): Ontworpen voor scenario's waarin kritieke tokens in de "ongebruikelijke" set vallen (bijvoorbeeld Qwen-leraar). Het verwijdert de partitie volledig. De student-distributie wordt via $W$ geprojecteerd naar de vocabulaire-ruimte van de leraar, en een directe KL-divergentie wordt berekend tussen de leraardistributie en de geprojecteerde studentdistributie. Dit elimineert foutieve rang-gebaseerde gradiënten en onderdrukkende effecten.
H-KL (Hybride-KL): Ontworpen voor scenario's waarin de partitie structureel gezond is (bijvoorbeeld Phi-4-mini-leraar). Het behoudt de hybride structuur maar versoepelt de definitie van de "gemeenschappelijke" set. In plaats van strikte string-gelijkheid omvat het paren $(s, t^*)$ waarbij $t^*$ de hoogst gerangschikte leraar-token is voor student-token $s$ onder $W$ . Dit vangt bijna-equivalente afstemmingen terwijl het de scherpere supervisie van directe KL op identiteit-uitgelijnde paren behoudt.

4. Multi-leraar Distillatie

X-Token breidt zich op natuurlijke wijze uit naar meerdere leraren door per-leraar verliezen te aggregeren. Het hanteert statische weging (die in experimenten beter presteerde dan adaptieve schema's) om signalen van heterogene leraren te combineren, waarbij gebruik wordt gemaakt van hun complementaire sterktes (bijvoorbeeld redeneren versus gezond verstand).

5. Dynamische Schaling

Om training te stabiliseren, wordt het distillatieverlies bij elke stap dynamisch herschaald om de grootte van het cross-entropy-verlies te matchen, waardoor optimalisatie-instabiliteit veroorzaakt door variërende verlies-schalen wordt voorkomen.

Belangrijkste Bijdragen

Deterministische Cross-Token Afstemming: Introductie van een schaarse projectiematrix $W$ geconstrueerd via string-regels en multi-token decoding, waardoor directe vocabulaire-afstemming mogelijk wordt zonder aanvullende trainbare componenten.
Dubbele Verliesformuleringen: Het voorstellen van P-KL en H-KL, die zich aanpassen aan verschillende tokeniser-mismatch-regimes. P-KL herstelt signalen voor kritieke niet-overeenkomende tokens, terwijl H-KL matching verfijnt voor goed uitgelijnde tokens.
Multi-leraar Capaciteit: Aantonen dat X-Token effectieve distillatie mogelijk maakt vanuit heterogene leraren, met resultaten die aantonen dat complementaire leraarcombinaties superieure prestaties opleveren ten opzichte van single-leraar of homogene koppelingen.
Robuuste Sequentie-afstemming: Een schaalbare, DP-gebaseerde span-afstemmingsmethode die tekst-consistente eenheden voor distillatie garandeert.

Experimentele Resultaten

Experimenten werden uitgevoerd met Llama-3.2-1B als student en Qwen3-4B, Phi-4-mini-Instruct, en Llama-3.2-3B als leraren.

Prestaties vs. SOTA: X-Token presteert beter dan de huidige state-of-the-art (GOLD) met +3,82 gemiddelde punten bij gebruik van een Qwen3-4B-leraar (met een 6-voudige verbetering op GSM8k, van 2,56 naar 15,54) en met +0,5 punten met een Phi-4-mini-leraar.
Cross-Familie Superieure: In het Qwen-regime overtrof X-Token (P-KL) same-tokenizer KD van een zwakkere Llama-3.2-3B-leraar, wat aantoont dat cross-tokenizer distillatie same-family limieten kan overstijgen wanneer de verliesformulering correct is.
Multi-leraar Winsten: Een setup met twee leraren (Phi-4-mini + Llama-3.2-3B) verbeterde ten opzichte van single-leraar distillatie met +1,3 punten, wat de waarde benadrukt van het combineren van diverse leraarsterktes.
Ablatiebevindingen:
- Verliesselectie is cruciaal: P-KL faalt op Phi-4-mini, en H-KL faalt op Qwen3-4B.
- Gezamenlijk leren van de projectiematrix $W$ levert bescheiden maar consistente winsten op ten opzichte van een bevroren, regelgebaseerde initialisatie.
- Statische leraarweging presteerde beter dan adaptieve schema's (gebaseerd op entropie of vertrouwen).

Betekenis

Het artikel stelt dat X-Token aantoont dat zorgvuldige afstemming op zowel sequentie- als vocabulaire-niveau, gecombineerd met adaptief verliesontwerp, de sleutel is tot het ontsluiten van het volledige potentieel van cross-tokenizer kennisdistillatie. Door de specifieke faalmodi van partitie-gebaseerde methoden aan te pakken, stelt X-Token practitioners in staat om sterkere, gespecialiseerde of diverse leraren te benutten zonder beperkt te worden door tokeniser-compatibiliteit, waardoor effectief de "tokeniser-lock-in" wordt doorbroken die momenteel modelscaling en specialisatie beperkt.