Sintesi Tecnica: ReconSpan: Tokenizzazione Latente Adattiva Guidata dalla Ricostruzione

Definizione del Problema

I modelli linguistici convenzionali si affidano a tokenizer di sottoparole fissi (es. BPE, WordPiece) che determinano i confini dei token in base alle statistiche di frequenza a livello di corpus prima dell'esecuzione del modello. Questa granularità fissa non riesce ad adattarsi al contenuto specifico o alla difficoltà dell'input, portando potenzialmente a una rappresentazione inefficiente di informazioni fini o a una lunghezza della sequenza non necessaria. Sebbene gli input a livello di byte o di carattere preservino i dettagli fini, essi risultano in sequenze sostanzialmente più lunghe, aumentando i costi computazionali. La tokenizzazione latente adattiva mira a raggruppare unità vicine in intervalli (span) dipendenti dall'input, rappresentando ogni intervallo con un singolo token latente continuo. Tuttavia, i metodi esistenti per determinare questi confini di intervallo spesso si affidano a posizioni fisse, entropia predittiva o router appresi come parte dell'obiettivo di modellazione del linguaggio, mancando di un meccanismo diretto per garantire che le rappresentazioni latenti risultanti siano sufficienti per ricostruire il testo originale.

Metodologia

Il documento introduce ReconSpan, un metodo di tokenizzazione latente adattiva che divide il testo in chunk basandosi sulla fedeltà della ricostruzione. Il presupposto fondamentale è che un chunk debba essere lungo quanto un decoder backward può ricostruire con successo da un singolo codice di prefisso contestuale.

Architettura

ReconSpan utilizza due componenti apprese:

1. Prefix Encoder ($E$): Un modello causale (es. Transformer) che mappa qualsiasi sequenza di token $x_{1:t}$ in un singolo codice continuo $c_t$.
2. Backward Decoder ($D$): Un modello che prende un codice $c_t$ e tenta di ricostruire i token precedenti in ordine inverso ($x_t, x_{t-1}, \dots$).

L'uso di un decoder backward è critico: il punto in cui il decoder fallisce per la prima volta nel predire il token corretto serve come misura diretta di quanto lontano quel singolo codice possa "raggiungere".

Algoritmo di Chunking

Il processo di tokenizzazione avviene durante l'inferenza utilizzando un algoritmo greedy, teacher-forced:

1. L'encoder genera codici di prefisso per l'intera sequenza di input in un unico passaggio.
2. Partendo dall'ultima posizione, il decoder backward tenta di ricostruire i token in ordine inverso.
3. Il processo continua finché non viene attivata una regola di arresto (stopping rule). Il documento definisce due famiglie di regole di arresto:
   • Failure($m$): Si ferma quando il $m$-esimo token viene ricostruito in modo errato.
   • Logit-gap($\tau$): Si ferma quando il gap cumulativo tra il logit predetto del token corretto e il logit massimo supera una soglia $\tau$.
4. Il suffisso ricostruito con successo diventa un chunk. Il codice di prefisso corrispondente al limite finale del chunk viene mantenuto come il token latente per quel chunk.
5. Il processo si ripete dalla prima posizione non ricostruita finché l'intero testo non è coperto.

Addestramento

Il modello è addestrato esclusivamente su un obiettivo di ricostruzione autoencoder. L'encoder e il decoder sono addestrati congiuntamente (con un processo in due fasi che prevede una fase di pre-addestramento con l'encoder congelato). L'allocazione degli span non è esplicitamente mirata da un obiettivo di lunghezza; piuttosto, emerge dalla capacità del decoder di ricostruire. Ciò consente il controllo post-addestramento della granularità semplicemente regolando la soglia della regola di arresto senza dover riaddestrare il modello.

Contributi Chiave

1. La Fedeltà della Ricostruzione come Criterio di Allocazione: Il documento propone l'uso della portata di ricostruzione backward come segnale primario per determinare i confini dei token adattivi, distinto da posizioni fisse, entropia o somiglianza semantica.
2. Controllo della Granularità Post-Addestramento: L'autore dimostra che un singolo autoencoder addestrato può supportare molteplici lunghezze medie dei chunk (da 6,5 a 12,2 token) rilassando i criteri di arresto, offrendo un compromesso flessibile tra lunghezza della sequenza e qualità della ricostruzione.
3. Caratterizzazione dell'Informazione Latente: Attraverso esperimenti di lettura diretta, il documento separa l'informazione mantenuta dall'autoencoder dall'informzione accessibile ai lettori a valle.

Risultati

Proprietà della Tokenizzazione

• Qualità della Ricostruzione: I confini di ReconSpan superano i confini casuali con lunghezza corrispondente nei compiti di ricostruzione nativa. Ad esempio, su WikiText, ReconSpan con una lunghezza media del chunk di 6,5 ha ottenuto una perplexity di 15,95, rispetto a 20,03 per i confini casuali.
• Allocazione Adattiva degli Span: Il metodo produce lunghezze di chunk variabili, con chunk più brevi assegnati a span difficili e chunk più lunghi a quelli più facili. Tuttavia, una parte significativa dei chunk sotto regole rigide (Failure(1)) sono singoli token (28,1% dei chunk, che coprono solo il 4,3% del testo), cosa che l'autore nota essere un artefatto meccanico del processo di decoding backward.
• Geometria Semantica: I codici latenti grezzi non mostrano un forte clustering semantico (bassa performance sui benchmark MTEB rispetto a SONAR), indicando che i codici sono ottimizzati per la ricostruzione piuttosto che per la somiglianza semantica.

Lettura a Valle (Downstream Readout)

• Argomento vs. Dettaglio: I modelli linguistici a valle (reader) addestrati a predire il testo direttamente dai token latenti possono recuperare in modo affidabile l'informazione sull'argomento (es. accuratezza nella classificazione AG News comparabile al testo grezzo) ma faticano a estrarre i dettagli lessicali esatti (es. la predizione della parola in LAMBADA rimane molto al di sotto della baseline di ricostruzione round-trip).
• Adattamento al Task: Il fine-tuning supervisionato del reader su task specifici restringe il divario tra la lettura diretta e la ricostruzione nativa, in particolare per i task di recupero come HotpotQA, sebbene l'estrazione di dettagli esatti rimanga un limite.
• Robustezza: I reader addestrati su una granularità (es. Failure(1)) rimangono funzionali quando valutati su granularità più grossolane (es. Failure(2)) senza necessità di riaddestramento.

Significato e Rivendicazioni

Il documento afferma che ReconSpan stabilisce la fedeltà della ricostruzione come un criterio valido e controllabile per la tokenizzazione latente adattiva. Il suo significato primario risiede nel:

• Dimostrare che un singolo autoencoder può generare token latenti di lunghezza variabile che preservano più testo rispetto ai confini casuali a parità di lunghezza della sequenza.
• Evidenziare un divario tra l'informazione mantenuta dall'autoencoder (sufficiente per una ricostruzione di alta qualità) e l'informazione accessibile ai lettori a valle (forte per la semantica ma debole per i dettagli esatti).
• Fornire un meccanismo per l'allocazione dipendente dall'input e il controllo post-addestramento della granularità del token senza riaddestrare il modello principale.

L'autore rimane modesto riguardo agli attuali limiti, riconoscendo che l' "estrazione del dettaglio esatto" è il limite centrale del sistema attuale e che i confini non si allineano necessariamente alle strutture linguistiche (sintassi o discorso) senza ulteriori investigazioni. Il lavoro è presentato come un passo verso la comprensione di come allocare dinamicamente la capacità di rappresentazione in base alla difficoltà del contenuto dell'input.