💬 NLP

SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation

Het artikel introduceert SimCT, een methode voor on-policy distillatie die verloren gegaan toezicht van de leraar in cross-tokenizer-omgevingen terugwint door multi-token-continuatie te vergelijken die beide modellen kunnen realiseren, waardoor de beperkingen van exacte gedeelde-tokenmatching worden overwonnen en de prestaties op redeneer- en codegeneratietaken worden verbeterd.

Oorspronkelijke auteurs: Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Yilin Cheng, Bichuan Feng, Pengfei Liu, Junfeng Fang, Xiang Wang

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Yilin Cheng, Bichuan Feng, Pengfei Liu, Junfeng Fang, Xiang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Leerling Leren met een Ander Woordenboek

Stel je voor dat je een meesterkok bent (de Leraar) die probeert een leerling (de Leerling) te leren hoe je een complex gerecht moet bereiden. Het doel is dat de leerling je exacte technieken en smaken leert.

In de wereld van AI heet dit Kennisdistillatie. Meestal spreken leraar en leerling dezelfde taal. Maar in dit paper nemen de auteurs een specifiek probleem onder de loep: Wat als leraar en leerling verschillende dialecten spreken?

In AI worden deze "dialecten" tokenizers genoemd. Een tokenizer is het gereedschap dat tekst opbreekt in kleine stukjes (tokens) zodat de computer het kan lezen.

Tokenizer van de Leraar: Breekt het woord "happy" misschien op in twee stukjes: "hap" en "py".
Tokenizer van de Leerling: Breekt hetzelfde woord misschien op in drie stukjes: "ha", "pp", en "y".

Het Probleem: Het "Verloren Signaal"

Het paper legt uit dat wanneer deze twee modellen proberen van elkaar te leren, ze meestal tegen een muur aanlopen.

De Oude Manier (Gedeeld Woordenboek):
Stel je voor dat de leraar zegt: "Voeg zout toe." De leerling begrijpt het woord "zout" alleen als het exact hetzelfde gespeld is. Als het woordenboek van de leraar "zout" zegt, maar het woordenboek van de leerling splitst het op in "z" en "out", raakt de leerling in de war.

Het Resultaat: De standaardmethode (genaamd SimpleOPD) negeert gewoon de delen van de instructies van de leraar die niet exact overeenkomen met het woordenboek van de leerling. Het gooit een enorme hoeveelheid nuttige informatie weg. Het is alsof de leraar instructies schreeuwt, en de leerling alleen luistert naar de woorden die ze toevallig kennen, en de rest van de zin negeert.

Het Sequentiemismatch:
Het wordt erger. Zelfs als ze beide het woord "happy" kennen, kunnen ze het oneens zijn over waar het woord begint en eindigt.

Leraar: "I am hap py."
Leerling: "I am ha pp y."
Als de leraar probeert de leerling te corrigeren op het moment dat de leerling "ha" zegt, probeert de leraar misschien het hele woord "happy" te corrigeren. Ze praten langs elkaar heen.

De Oplossing: SimCT (De "Universele Vertaler"-Aanpak)

De auteurs stellen een nieuwe methode voor genaamd SimCT (Simple Cross-Tokenizer On-Policy Distillation).

In plaats van leraar en leerling te dwingen om het over elk klein stukje eens te worden, creëert SimCT een gemeenschappelijk middelpunt.

De Analogie: De Lego-brug
Stel je voor dat de leraar een muur bouwt met grote rode bakstenen. De leerling heeft alleen kleine blauwe bakstenen.

De Oude Manier: Ze proberen steen-voor-steen te matchen. Omdat de maten niet overeenkomen, kunnen ze alleen een klein, zwak muurtje bouwen waar de maten toevallig overlappen.
De Manier van SimCT: Ze kijken naar de vorm van de muur. Ze beseffen dat de "hap" + "py" van de leraar precies dezelfde ruimte beslaat als de "ha" + "pp" + "y" van de leerling.
SimCT zegt: "Oké, laten we dat hele stuk van de muur behandelen als één eenheid genaamd 'Happy'."

Ze maken een lijst van "Minimaal Gelijkgestelde Eenheden". Dit zijn de kleinste stukjes tekst waar zowel leraren als leerlingen het over eens kunnen zijn, zelfs als ze ze intern anders opbreken.

Als de tekst "happy" is, behandelt SimCT het hele woord als de eenheid om van te leren, ongeacht of de leraar het ziet als 2 stukjes of de leerling het ziet als 3.

Waarom Dit Belangrijk Is (Het "Fijnmazige" Voordeel)

Het paper betoogt dat je niet alles zomaar in grote stukken moet samenvoegen (zoals hele zinnen). Je hebt de fijnst mogelijke details nodig.

De Analogie: De Orkestleider
Stel je voor dat een orkestleider (Leraar) en een muzikant (Leerling) proberen een lied te spelen.

Grofmazige Supervisie (Slecht): De orkestleider zegt: "Speel het hele lied harder." De leerling krijgt het algemene idee maar mist de nuances.
Exacte Token-match (Slecht): De orkestleider zegt: "Speel de C-scherp op de 4e tel." Maar de bladmuziek van de leerling noemt het een "D-klein". Ze ruziën en stoppen met spelen.
SimCT (Goed): De orkestleider zegt: "Speel die specifieke noot die klinkt als een C-scherp/D-klein." Ze zijn het eens over de klank (de tekst), niet over de naam (de token).

Het paper bewijst dat als je deze kleine eenheden samenvoegt tot grotere stukken, je de subtiele verschillen verliest tussen wat de leraar wil en wat de leerling doet. SimCT houdt deze verschillen zichtbaar, wat zorgt voor veel scherpere leerresultaten.

De Resultaten: Een Duidelijke Overwinning

De auteurs testten dit op wiskundeproblemen en programmeertaken met verschillende AI-modellen (Qwen, Phi, Gemma).

De Opzet: Ze namen een slim leraarmodel en probeerden een kleiner leerlingmodel te leren dat een andere tokenizer gebruikte.
De Wedstrijd: Ze vergeleken SimCT met:
1. SimpleOPD: De oude manier (niet-overeenkomende woorden negeren).
2. Complexe Methoden: Andere methoden die proberen de talen te vertalen met zware wiskunde of extra training.
De Uitkomst:
- SimCT won consequent. Het verbeterde de prestaties van de leerling op wiskunde- en coderingsbenchmarks meer dan welke andere methode dan ook.
- Het was efficiënt. In tegenstelling tot de complexe methoden die extra rekenkracht of nieuwe trainingsparameters vereisten, was SimCT bijna net zo snel en goedkoop als de simpele "negeer het mismatch"-methode, maar herstelde het al de verloren informatie.

Samenvatting in Eén Zin

SimCT is een slimme truc die een AI-leraar en -leerling toelaat om samen te leren, zelfs als ze woorden in verschillende stukjes opbreken, door de kleinste gemeenschappelijke grond te vinden waar ze het over eens zijn, in plaats van instructies weg te gooien die niet perfect overeenkomen.

Technische Samenvatting: SimCT - Terughalen van Verloren Supervisie voor Cross-Tokenizer On-Policy Distillatie

1. Probleemstelling

On-policy distillatie (OPD) is een standaardparadigma voor het overdragen van het gedrag van een groot leraar-model naar een kleiner student-model. In tegenstelling tot offline distillatie, vraagt OPD de leraar om voorvoegsels die gegenereerd zijn door het huidige beleid van de student, waardoor de trainingsverdeling wordt afgestemd op de inferentieverdeling en foutopstapeling wordt verminderd.

Echter, standaard OPD gaat impliciet uit van het feit dat de leraar- en studentmodellen dezelfde tokenizer delen, wat een token-voor-token vergelijking van hun volgende-tokenvoorspellingen mogelijk maakt. In realistische implementatiescenario's behoren leraar- en studentmodellen vaak tot verschillende families met heterogene tokenizers. Deze mismatch creëert twee fundamentele obstakels:

Vocabulaire-mismatch: De verzamelingen tokens ( $\mathcal{V}_T$ en $\mathcal{V}_S$ ) overlappen slechts gedeeltelijk. Het beperken van supervisie tot gedeelde tokens verwijdert een significant deel van de outputverdeling van de leraar.
Sequentie-mismatch: Zelfs wanneer de onderliggende tekst identiek is, segmenteren verschillende tokenizers deze in verschillende tokensequentie (bijvoorbeeld "happy" versus "hap" + "py" versus "ha" + "pp" + "y"). Bijgevolg komt de volgende-tokenverdeling van de leraar bij een specifiek voorvoegsel niet overeen met dezelfde teksteenheid als de verdeling van de student, waardoor de standaard token-niveau KL-divergentie niet-welgedefinieerd is.

Bestaande cross-tokenizer-oplossingen proberen deze kloof te overbruggen via optimale transport (rekenkundig duur), geleerde projectielagen (vereist extra parameters) of grofkorrelige chunk-matching (verlies van fijnkorrelig signaal). Deze methoden slagen er vaak niet in het volledige leraarsignaal te herstellen of introduceren aanzienlijke overhead.

2. Methodologie: Simple Cross-Tokenizer OPD (SimCT)

De auteurs stellen SimCT voor, een methode die verloren supervisie herstelt door de supervisie-ruimte uit te breiden in plaats van de OPD-Doelfunctie zelf te modificeren.

Kernconcept: Minimale Uitgelijnde Eenheden

In plaats van voorspellingen te forceren om alleen te matchen op identieke tokens, identificeert SimCT Minimale Uitgelijnde Eenheden (MAU's). Een MAU wordt gedefinieerd als de fijnste tekstvervolging die beide tokenizers kunnen realiseren, zelfs als ze deze decomponeren in verschillende tokensequentie.

Gedeelde Tokens: Tokens die aanwezig zijn in beide vocabulaires ( $\mathcal{V}_T \cap \mathcal{V}_S$ ) worden behandeld als 1-op-1 uitgelijnde eenheden.
MAU's: Voor tekstregio's waar tokenizers het niet eens zijn, construeert de methode de fijnste grens-consistente partitie waarbij elke eenheid kan worden weergegeven als een sequentie van leraartokens en een sequentie van studenttokens.

Constructie van de Supervisie-ruimte

SimCT definieert een gemeenschappelijke supervisie-ruimte $\mathcal{U}_{SimCT}$ :
$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$
waarbij $\mathcal{A}$ de verzameling is van alle minimale uitgelijnde eenheden.

Scoren en Verlies

Om verdelingen over deze ruimte te vergelijken, introduceert SimCT scoremaps $\Pi_T$ en $\Pi_S$ :

Gedeelde Tokens: De score is de oorspronkelijke log-kans.
MAU's (Multi-token): De score is het lengte-genormaliseerde gemiddelde log-likelihood van de samenstellende tokens. Voor een eenheid $u$ gerealiseerd als $k$ tokens $(v_1, \dots, v_k)$ door model $M$ :
$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$
Deze normalisatie voorkomt het bestraffen van eenheden die meer tokens vereisen onder een specifieke tokenizer.

De uiteindelijke verdelingen $q_T$ en $q_S$ over $\mathcal{U}_{SimCT}$ worden verkregen door deze scores te normaliseren. Het distillatieverlies blijft de standaard reverse-KL-divergentie:
$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$

Theoretische Eigenschappen

Stelling 1: MAU's vormen de fijnste grens-consistente interface die gezamenlijk uitdruktbaar is door beide tokenizers. Geen enkele strikt fijnere decompositie behoudt gezamenlijke tokeniseerbaarheid.
Propositie 1: Het grofkorrelig maken van deze eenheden (samenvoegen van MAU's tot grotere spanningen) vermindert strikt de KL-divergentie tussen leraar- en studentverdelingen, wat effectief nuttige onderscheidingen binnen de spanning verwijdert. Het behoud van de minimale granulariteit is derhalve theoretisch optimaal voor het behoud van signaal.

3. Belangrijkste Bijdragen

Identificatie van Signaalverlies: Het artikel demonstreert dat standaard cross-tokenizer OPD stilzwijgend een groot deel van het leraarsignaal verwijdert als gevolg van zowel vocabulaire- als sequentiemismatches.
Uitbreiding van Supervisie-ruimte: SimCT introduceert een nieuwe supervisie-interface die signaal herstelt uit niet-gedeelde vocabulaires en niet-1-op-1 uitgelijnde tekstsegmenten zonder extra trainbare parameters of complexe transportberekeningen te vereisen.
Theoretische Rechtvaardiging: De auteurs bewijzen dat MAU's de fijnst mogelijke supervisiegranulariteit vertegenwoordigen en dat het grofkorrelig maken ervan onvermijdelijk nuttige leraar-studentonderscheidingen verwijdert.
Empirische Validatie: Uitgebreide experimenten tonen aan dat SimCT consistent presteert boven shared-vocabulaire baselines en andere cross-tokenizer-methoden op taken voor wiskundig redeneren en codegeneratie.

4. Experimentele Resultaten

De auteurs evalueerden SimCT op drie heterogene leraar-studentparen (Qwen2.5, Phi-4, Gemma-2) over vier benchmarks: GSM8K, MATH-500, MBPP en LiveCodeBench-v6.

Prestatiewinst: SimCT behaalde consistente verbeteringen ten opzichte van SFT warm-starts en alle baselines (SimpleOPD, DSKD, ALM, GOLD). Het leverde een gemiddelde relatieve winst van 6,0% op ten opzichte van SFT en presteerde met een aanzienlijke marge beter dan de beste cross-tokenizer baseline.
Signaalherstelanalyse: Ablatiestudies bevestigden dat de winsten voortkomen uit het herstellen van twee soorten verworpen signalen:
- Out-of-Shared-Vocab (OoSV): Hoog-kans leraarvoorspellingen buiten het gedeelde vocabulaire.
- Niet-uitgelijnde Eenheden: Tekstsegmenten die niet 1-op-1 uitgelijnd kunnen worden.
  Het herstellen van beide bronnen via de geünificeerde MAU-ruimte leverde de beste prestaties op.
Granulariteit Ablatie: Het samenvoegen van MAU's tot grovere eenheden resulteerde in een daling van de prestaties, wat correleerde met de theoretische voorspelling dat grofkorrelig maken de KL-divergentie verwijdert die fijnkorrelige leraar-studentvoorkeuren vertegenwoordigt.
Efficiëntie: SimCT voegt slechts een marginale rekenkundige overhead toe ten opzichte van SimpleOPD (ongeveer 0,16 uur per run op 8x H20 GPU's) en is aanzienlijk sneller dan methoden die geleerde projecties of optimale transport vereisen.

5. Betekenis en Claims

Het artikel betoogt dat de primaire bottleneck in cross-tokenizer OPD niet het trainingsparadigma zelf is, maar de constructie van de supervisie-ruimte. Door de focus te verschuiven van "tokens matchen" naar "tekstvervolgingen matchen", herstelt SimCT supervisie die eerder ontoegankelijk was.

De auteurs claimen dat SimCT een eenvoudige, parameter-vrije en robuuste oplossing biedt voor distillatie tussen modellen met verschillende tokenizers. De resultaten suggereren dat het behoud van de fijnste gezamenlijk tokeniseerbare eenheden cruciaal is voor het handhaven van de kwaliteit van on-policy leersignalen. Het werk stelt vast dat het uitbreiden van de supervisie-ruimte om minimale uitgelijnde eenheden op te nemen, een effectievere strategie is dan het modificeren van de verliesfunctie of het toevoegen van complexe uitlijnapparatuur.

Beperkingen opgemerkt door de auteurs:

De evaluatie is momenteel beperkt tot wiskunde- en code-domeinen.
De methode is afhankelijk van standaard BPE-stijl tokenizers; aanpassing kan nodig zijn voor tokenizers met fundamenteel verschillende segmentatiegedrag.
De huidige implementatie veronderstelt white-box-toegang tot leraar-volgende-tokenverdelingen; uitbreiding naar black-box-instellingen wordt overgelaten aan toekomstig werk.