Technische Samenvatting: ReconSpan: Reconstruction-Guided Adaptive Latent Tokenization

Probleemstelling

Conventionele taalmodellen vertrouwen op vaste subwoord-tokenizers (bijv. BPE, WordPiece) die de grenzen van tokens bepalen op basis van corpusbrede frequentiestatistieken voorafgaand aan de modeluitvoering. Deze vaste granulariteit slaagt er niet in om zich aan te passen aan de specifieke inhoud of moeilijkheidsgraad van de input, wat potentieel kan leiden tot een inefficiënte representatie van fijnmazige informatie of onnodige sequentielengte. Terwijl byte- en karakter-niveau inputs fijnmazige details behouden, resulteren zij in aanzienlijk langere sequenties, wat de computationele kosten verhoogt. Adaptieve latente tokenisatie beoogt naburige eenheden te groeperen in input-afhankelijke spans, waarbij elke span wordt gerepresenteerd door een enkele continue latente token. Bestaande methoden voor het bepalen van deze span-grenzen vertrouwen echter vaak op vaste posities, voorspellende entropie of geleerde routers die als onderdeel van de taalmodelleringsdoelstelling worden getraind, waarbij een direct mechanisme ontbreekt om te garanderen dat de resulterende latente representaties voldoende zijn voor de reconstructie van de oorspronkelijke tekst.

Methodologie

Het artikel introduceert ReconSpan, een methode voor adaptieve latente tokenisatie die tekst in chunks verdeelt op basis van reconstructiefidelity (reconstructienauwkeurigheid). De kernpremiss is dat een chunk zo lang moet zijn als een backward decoder succesvol kan reconstrueren vanuit een enkele contextuele prefix-code.

Architectuur

ReconSpan maakt gebruik van twee geleerde componenten:

1. Prefix Encoder ($E$): Een causaal model (bijv. Transformer) dat elke tokensequentie $x_{1:t}$ naar een enkele continue code $c_t$ mapt.
2. Backward Decoder ($D$): Een model dat een code $c_t$ neemt en probeert de voorgaande tokens in omgekeerde volgorde te reconstrueren ($x_t, x_{t-1}, \dots$).

Het gebruik van een backward decoder is cruciaal: het punt waarop de decoder er voor het eerst niet in slaagt de correcte token te voorspellen, dient als een directe meting van hoe ver die enkele code "terug kan reiken."

Chunking Algoritme

Het tokenisatieproces vindt plaats tijdens de inferentie met behulp van een greedy, teacher-forced algoritme:

1. De encoder genereert prefix-codes voor de gehele inputsequentie in één enkele pass.
2. Beginnend vanaf de laatste positie, probeert de backward decoder tokens in omgekeerde volgorde te reconstrueren.
3. Het proces gaat door totdat een stopregel wordt getriggerd. Het artikel definieert twee families van stopregels:
   • Failure($m$): Stopt wanneer de $m$-de token incorrect wordt gereconstrueerd.
   • Logit-gap($\tau$): Stopt wanneer de cumulatieve gap tussen de voorspelde logit van de correcte token en de maximale logit de drempelwaarde $\tau$ overschrijdt.
4. De succesvol gereconstrueerde suffix wordt een chunk. De prefix-code die overeenkomt met de eindgrens van de chunk wordt behouden als de latente token voor die chunk.
5. Het proces wordt herhaald vanaf de eerste niet-gereconstrueerde positie totdat de gehele tekst is gedekt.

Training

Het model wordt uitsluitend getraind op een autoencoder reconstructie-doelstelling. De encoder en decoder worden gezamenlijk getraind (met een tweestaps-proces dat een frozen encoder pre-training fase omvat). De span-allocatie wordt niet expliciet gericht door een lengte-doelstelling; in plaats daarvan ontstaat deze uit de capaciteit van de decoder om te reconstrueren. Dit maakt post-training controle van granulariteit mogelijk door simpelweg de stopping rule drempelwaarde aan te passen zonder het model opnieuw te trainen.

Belangrijkste Bijdragen

1. Reconstructie-fidelity als Allocatiecriterium: Het artikel stelt voor om backward reconstructie-bereik te gebruiken als het primaire signaal voor het bepalen van adaptieve token-grenzen, wat verschilt van vaste posities, entropie of semantische gelijkenis.
2. Post-Training Granulariteitscontrole: De auteur demonstreert dat een enkele getrainde autoencoder meerdere gemiddelde chunk-lengtes kan ondersteunen (variërend van 6,5 tot 12,2 tokens) door de stopping criteria te versoepelen, wat een flexibele afweging biedt tussen sequentielengte en reconstructiekwaliteit.
3. Karakterisering van Latente Informatie: Door middel van directe readout-experimenten scheidt het artikel de informatie die door de autoencoder wordt behouden van de informatie die toegankelijk is voor downstream readers.

Resultaten

Tokenisatie Eigenschappen

• Reconstructiekwaliteit: ReconSpan-grenzen presteren beter dan lengte-gematchte willekeurige grenzen in native reconstructie-taken. Bijvoorbeeld, op WikiText bereikte ReconSpan met een gemiddelde chunk-lengte van 6,5 een perplexiteit van 15,95, vergeleken met 20,03 voor willekeurige grenzen.
• Adaptieve Span Allocatie: De methode produceert variabele chunk-lengtes, waarbij kortere chunks worden toegewezen aan moeilijke spans en langere chunks aan gemakkelijkere. Echter, een aanzienlijk deel van de chunks onder strikte regels (Failure(1)) zijn enkele tokens (28,1% van de chunks, die slechts 4,3% van de tekst beslaan), wat de auteur opmerkt als een mechanisch artefact van het backward decoding proces.
• Semantische Geometrie: De ruwe latente codes vertonen geen sterke semantische clustering (lage prestaties op MTEB benchmarks vergeleken met SONAR), wat aangeeft dat de codes geoptimaliseerd zijn voor reconstructie in plaats van semantische gelijkenis.

Downstream Readout

• Topic vs. Detail: Downstream taalmodellen (readers) die getraind zijn om tekst direct vanuit de latente tokens te voorspellen, kunnen topic-informatie betrouwbaar herstellen (bijv. AG News classificatie-accuratesse vergelijkbaar met ruwe tekst), maar hebben moeite met het extraheren van exacte lexicale details (bijv. LAMBADA woordvoorspelling blijft ver onder de round-trip reconstructie baseline).
• Taakadaptatie: Supervised fine-tuning van de reader op specifieke taken verkleint de kloof tussen directe readout en native reconstructie, met name voor retrieval taken zoals HotpotQA, hoewel extractie van exacte details een beperking blijft.
• Robuustheid: Readers getraind op één granulariteit (bijv. Failure(1)) blijven functioneel wanneer ze worden geëvalueerd op grovere granulariteiten (bijv. Failure(2)) zonder hertraining.

Betekenis en Claims

Het artikel claimt dat ReconSpan vaststelt dat reconstructie-fidelity een levensvatbaar en controleerbaar criterium is voor adaptieve latente tokenisatie. De primaire betekenis ligt in:

• Het aantonen dat een enkele autoencoder variabele-lengte latente tokens kan genereren die meer tekst behouden dan willekeurige grenzen bij gematchte sequentielengtes.
• Het benadrukken van de kloof tussen de informatie die door de autoencoder wordt behouden (die voldoende is voor hoogwaardige reconstructie) en de informatie die toegankelijk is voor downstream readers (die sterk is voor semantiek maar zwak voor exacte details).
• Het bieden van een mechanisme voor input-afhankelijke allocatie en post-training controle van de token-granulariteit zonder de kern van het model opnieuw te trainen.

De auteur blijft bescheiden over de huidige beperkingen en erkent dat de "exact-detail readout" de centrale beperking van het huidige systeem is en dat de grenzen niet noodzakelijkerwijs overeenkomen met linguïstische structuren (syntaxis of discours) zonder verder onderzoek. Het werk wordt gepresenteerd als een stap naar het begrijpen van hoe representatiecapaciteit dynamisch kan worden toegewezen op basis van de moeilijkheidsgraad van de inhoud van de input.