Technische Samenvatting: Emergente Retokenisatie-Symmetrie in Large Language Models

Probleemstelling

Tokenisatie in Large Language Models (LLMs) introduceert representationele redundantie: een enkele byte-string kan worden gedecomposed in meerdere geldige tokensequenties (segmentaties) die naar dezelfde oppervlaktetekst decoderen. Standaard tokenizers (bijv. BPE, WordPiece) selecteren een enkele "canonieke" segmentatie, meestal via greedische of dynamische programmeeralgoritmen. Hoewel het trainen op deze canonieke vormen standaard is, blijft het onduidelijk of modellen leren om semantisch equivalente, niet-canonieke segmentaties als invariante inputs te behandelen.

Vorig werk heeft benadrukt dat tokenisatie een bron van broosheid is, waarbij modellen falen bij taken op karakterniveau of spellinggevoelige operaties. Daartegenover hebben recente studies gesuggereerd dat modellen mogelijk over een emergente compositionele verstand beschikken, waarbij ze hele woordrepresentaties kunnen herstellen uit subwoordsequenties. Er bestaat echter een kloof in het begrijpen van de afruil tussen segmentatie-invariantie (het gelijk behandelen van verschillende segmentaties van dezelfde string) en segmentatie-sensitiviteit (waarbij verschillende segmentaties verschillende interne staten en outputs induceren). De meeste eerdere studies naar input-perturbaties (bijv. parafrasering, typefouten) veranderen de onderliggende oppervlaktestring, waardoor semantische veranderingen worden verward met robuustheid tegen wording. Er is behoefte aan een gecontroleerde probe die het effect van tokenisatie alleen isoleert zonder de onderliggende byte-string, syntaxis of semantiek te veranderen.

Methodologie

De auteurs introduceren retokenisatie als een gecontroleerde interventie tijdens de inferentie. Gegeven een vaste vocabulaire en een byte-string $s$, definiëren zij:

• $E_0(s)$: De canonieke token-encoding.
• $E_\mu(s)$: Elke andere geldige segmentatie van $s$ onder dezelfde vocabulaire.

De kern van de experimentele opzet betreft Retokenisatie Sampling:

1. Stochastische Retokenisatie: Voor een gegeven prompt genereren de auteurs $k$ geldige niet-canonieke segmentaties door tokens willekeurig opnieuw te segmenteren (met behulp van een algoritme dat uniform samplet uit geldige decomposities) met een waarschijnlijkheid $p_{retok}$.
2. Greedy Decoding: Het model wordt gedraaid op elke gesegmenteerde prompt met greedy decoding (temperatuur = 0). Dit zorgt ervoor dat de output-diversiteit voortkomt uit de input-representatie alleen, en niet uit output-sampling-randomness.
3. Metriek: Zij definiëren pass@retok(k) als de waarschijnlijkheid dat ten minste één van de $k$ retokeniseerde prompts een correcte oplossing oplevert. Dit is de directe analogie van de standaard pass@k-metriek, maar waarbij de diversiteit voortkomt uit input-segmentatie in plaats van output-stochastiek.

De studie hanteert deze methodologie over:

• Modellen: De OLMo-2 familie (7B parameters) over diverse trainingsstadia (pre-training, SFT, DPO, Instruct) en andere modelfamilies (Qwen3, Llama-3.1, Gemma, Pythia).
• Benchmarks: HumanEval (codegeneratie), GSM8K (wiskundig redeneren), GSM8K Python (code-gemedieerd rekenen) en MMLU (kennisretrieval).
• Vergelijkingen: De auteurs vergelijken retokenisatie met:
  • Canonieke Temperatuur Sampling: Standaard output-zijde diversiteit.
  • Typo Sampling: Input-perturbaties die de oppervlaktestring veranderen (een minder gecontroleerde maar sterkere zoekas).
  • Hidden State Analyse: Het meten van de verplaatsing en variantie van latente representaties over lagen heen.

Belangrijkste Bijdragen

1. Retokenisatie als een Gecontroleerde Probe: Het artikel formaliseert retokenisatie als een semantiek-preserverende interventie. Het verandert enkel de token-niveau decompositie van een vaste byte-string, wat een zuivere isolatie van segmentatie-effecten van semantische of syntactische veranderingen mogelijk maakt.
2. Emergente Symmetrie en Residuele Sensitiviteit: Door middel van hidden-state analyse tonen de auteurs aan dat de interne representaties van niet-canonieke segmentaties bij elkaar clusteren (wat duidt op emergente symmetrie), maar dat ze niet instorten naar de canonieke staat. Een "residuele sensitiviteit" blijft bestaan, die met name wordt geaccentueerd in de laatste lagen van het model. Deze sensitiviteit wordt geleidelijk geleerd tijdens pre-training en post-training.
3. Retokenisatie Sampling Protocol: De auteurs introduceren pass@retok(k) om te kwantificeren hoe diversiteit in input-representatie de taaksucces beïnvloedt. Ze laten zien dat deze metriek een stijgende curve vertoont met afnemende meeropbrengsten, vergelijkbaar met de standaard pass@k, wat aangeeft dat verschillende segmentaties onderscheidende nuttige trajecten blootleggen.
4. Taakafhankelijke Winsten en Robuustheidstrends:
   • Herstel van Gemiste Oplossingen: Op HumanEval en GSM8K herstelt retokenisatie sampling de correcte oplossingen die canonieke decoding mist.
   • Structurele Diversiteit: Op HumanEval onthult AST-gebaseerde analyse dat correcte retokeniseerde generaties een aanzienlijk bereik aan programmastructuren beslaan, en niet slechts een enkele canonieke template volgen.
   • Model Schaling: Sterkere modellen blijven over het algemeen sterker onder retokenisatie, en segmentatie-robuustheid correleert met de algehele modelcapaciteit.
5. Compute Efficiëntie Analyse: De auteurs vergelijken retokenisatie met temperatuur- en typo-sampling onder een gematchte prompt-token budget. Ze stellen vast dat hoewel retokenisatie unieke diversiteit biedt, het minder compute-efficiënt is dan temperatuur-sampling omdat niet-canonieke segmentaties vaak de promptlengte vergroten.

Resultaten

• Representatieruimte: Tijdens pre-training nemen de verplaatsing (bias) en variantie van latente representaties onder retokenisatie af, maar verdwijnen ze niet volledig. De laatste laag vertoont de grootste sensitiviteit voor segmentatieveranderingen.
• Gedragsprestaties:
  • HumanEval: Retokenisatie sampling vertoont de grootste kloof ten opzichte van canonieke pass@k, waarbij structureel diverse correcte programma's worden hersteld. Sommige taken worden alleen opgelost door retokenisatie sampling.
  • GSM8K & GSM8K Python: Retokenisatie verbetert de prestaties, hoewel de kloof tot canonieke sampling kleiner is dan bij codegeneratie.
  • MMLU: Vanwege de kleine, discrete antwoordruimte verzadigt herhaalde sampling (zowel canoniek als retokeniseerd) snel, waardoor pass@retok minder onderscheidend is in dit domein.
• Trainingsdynamiek: Zowel pass@k als pass@retok(k) verbeteren tijdens pre-training en vertonen scherpe stijgingen tijdens post-training (SFT, DPO, Instruct). Dit suggere heeft dat segmentatie-invariantie een geleerde eigenschap is die schaalt met de modelcapaciteit.
• Vergelijking met Typos: Typo sampling presteert over het algemeen beter dan retokenisatie in termen van ruwe nauwkeukingswinsten, maar is minder gecontroleerd omdat het de zichtbare tekst verandert. Retokenisatie blijft de "zuiverste" probe voor segmentatie-specifieke effecten.
• Diversiteit: De retokeniseerde generaties zijn niet geëxtraheerd naar een enkele template; ze verkennen een bereik van programmastructuren dat vergelijkbaar is met temperatuur-gesamplede generaties, ondanks het gebruik van greedy decoding.

Betekenis en Claims

Het artikel positioneert retokenisatie als een eenvoudige maar krachtige probe van Large Language Models, wat twee primaire inzichten biedt:

1. Wetenschappelijk Inzicht: Het onthult dat getokeniseerde modellen beschikken over een emergente, partiële segmentatie-symmetrie. Ze zijn niet strikt gebonden aan canonieke tokenisaties en kunnen equivalente inputs op diverse manieren verwerken, maar behouden toch een residuele sensitiviteit die de computatie beïnvloedt. Dit daagt de visie uit dat tokenisatie slechts een compressiestap is, en suggereert dat het een fundamenteel onderdeel is van de computationele interface van het model.
2. Praktische Toepassing: Retokenisatie biedt een nieuwe samplingstrategie (Retokenization Sampling) die diversiteit genereert vanuit de interne computaties van het model via semantisch equivalente inputs. Hoewel het momenteel geen directe vervanging is voor temperatuur-sampling vanwege hogere computekosten (langere prompts), dient het als een complementaire as voor zoekprocessen. Het kan oplossingen herstellen die door conventionele methoden worden gemist, met name in open-ended domeinen zoals codegeneratie waar meerdere geldige algoritmische families bestaan.

De auteurs claimen bescheiden dat dit werk licht werpt op compositioneel begrip en prompt-sensitiviteit, en aantoont dat de veelheid aan geldige segmentaties een "mechanistisch betekenende vrijheidsgraad" is die niet genegeerd kan worden in ingezette getokeniseerde LLM's. Ze beweren niet dat retokenisatie universeel superieur is aan andere samplingmethoden, maar dat het een unieke, semantiek-preserverende bron van diversiteit biedt.