Sintesi Tecnica: Simmetria di Rideterminazione dei Token Emergente nei Large Language Models

Definizione del Problema

La tokenizzazione nei Large Language Models (LLM) introduce una ridondanza rappresentativa: una singola stringa di byte può essere scomposta in molteplici sequenze di token valide (segmentazioni) che decodificano lo stesso testo superficiale. I tokenizer standard (ad esempio, BPE, WordPiece) selezionano una singola segmentazione "canonica", tipicamente tramite algoritmi greedy o di programmazione dinamica. Sebbene l'addestramento sulle forme canoniche sia lo standard, rimane poco chiaro se i modelli imparino a trattare le segmentazioni non canoniche semanticamente equivalenti come input invarianti.

Studi precedenti hanno evidenziato come la tokenizzazione sia una fonte di fragilità, dove i modelli falliscono in compiti a livello di carattere o operazioni sensibili all'ortografia. Al contrario, studi recenti suggeriscono che i modelli possano possedere una comprensione compositiva emergente, recuperando rappresentazioni di intere parole da sequenze di sub-token. Tuttavia, esiste un vuoto nella comprensione del compromesso tra invarianza di segmentazione (trattare diverse segmentazioni della stessa stringa in modo identico) e sensibilità di segmentazione (dove diverse segmentazioni inducono stati interni e output differenti). La maggior parte degli studi precedenti sulle perturbazioni dell'input (ad esempio, parafrasi, refusi) altera la stringa superficiale, confondendo i cambiamenti semantici con la robustezza alla formulazione. È necessario un probe controllato che isoli l'effetto della sola tokenizzazione senza cambiare la stringa di byte, la sintassi o la semantica sottostante.

Metodologia

Gli autori introducono la ritokenizzazione come un intervento controllato durante l'inferenza. Data una vocabolario fisso e una stringa di byte $s$, essi definiscono:

• $E_0(s)$: la codifica del token canonico.
• $E_\mu(s)$: qualsiasi altra segmentazione valida di $s$ sotto lo stesso vocabolario.

Il nucleo dell'esperimento consiste nella Retokenization Sampling:

1. Ritokenizzazione Stocastica: Per un dato prompt, gli autori generano $k$ segmentazioni non canoniche valide re-segmentando casualmente i token (usando un algoritmo che campiona uniformemente tra le decomposizioni valide) con una probabilità $p_{retok}$.
2. Greedy Decoding: Il modello viene eseguito su ogni prompt segmentato utilizzando il decoding greedy (temperatura = 0). Ciò assicura che la diversità dell'output derivi esclusivamente dalla rappresentazione dell'input e non dalla casualità del campionamento dell'output.
3. Metrica: Definiscono pass@retok(k) come la probabilità che almeno uno dei $k$ prompt ritokenizzati produca una soluzione corretta. Questo è l'analogo diretto della metrica standard pass@k, ma con la diversità derivata dalla segmentazione dell'input piuttosto che dalla stocasticità dell'output.

Lo studio impiega questa metodologia attraverso:

• Modelli: La famiglia OLMo-2 (7 miliardi di parametri) in varie fasi di addestramento (pre-training, SFT, DPO, Instruct) e altre famiglie di modelli (Qwen3, Llama-3.1, Gemma, Pythia).
• Benchmark: HumanEval (generazione di codice), GSM8K (ragionamento matematico), GSM8K Python (matematica mediata da codice) e MMLU (recupero di conoscenza).
• Confronti: Gli autori confrontano la ritokenizzazione con:
  • Canonical Temperature Sampling: Diversità standard sul lato dell'output.
  • Typo Sampling: Perturbazioni dell'input che cambiano la stringa superficiale (un asse di ricerca meno controllato ma più forte).
  • Analisi degli Stati Nascosti: Misurazione dello spostamento e della varianza delle rappresentazioni latenti attraverso i layer.

Contributi Chiave

1. La Ritokenizzazione come Probe Controllato: Il documento formalizza la ritokenizzazione come un intervento che preserva la semantica. Essa cambia solo la decomposizione a livello di token di una stringa di byte fissa, permettendo un isolamento pulito degli effetti di segmentazione dai cambiamenti semantici o sintattici.
2. Simmetria Emergente e Sensibilità Residua: Attraverso l'analisi degli stati nascosti, gli autori dimostrano che, sebbene le rappresentazioni interne delle segmentazioni non canoniche si raggruppino insieme (indicando una simmetria emergente), esse non collassano allo stato canonico. Una "sensibilità residua" persiste, particolarmente accentuata nei layer finali del modello. Questa sensibilità viene appresa gradualmente durante il pre-training e il post-training.
3. Protocollo di Retokenization Sampling: Gli autori introducono pass@retok(k) per quantificare come la diversità della rappresentazione dell'input influenzi il successo del compito. Mostrano che questa metrica presenta una curva crescente con rendimenti decrescenti, simile al classico pass@k, indicando che diverse segmentazioni espongono traiettorie utili distinte.
4. Guadagni Dipendenti dal Compito e Tendenze di Robustezza:
   • Recupero di Soluzioni Mancate: Su HumanEval e GSM8K, il campionamento per ritokenizzazione recupera soluzioni corrette che il decoding canonico manca.
   • Diversità Strutturale: Su HumanEval, l'analisi basata su AST rivela che le generazioni corrette ritokenizzate coprono un ampio intervallo di strutture di programma, non solo un singolo template canonico.
   • Scaling dei Modelli: I modelli più forti generalmente rimangono più forti sotto ritokenizzazione e la robustezza alla segmentazione segue la capacità complessiva del modello.
5. Analisi dell'Efficienza Computazionale: Gli autori confrontano la ritokenizzazione con il campionamento per temperatura e per refusi sotto un budget di prompt-token equivalente. Riscontrano che, sebbene la ritokenizzazione fornisca una diversità unica, è meno efficiente dal punto diamente computazionale rispetto al campionamento per temperatura perché le segmentazioni non canoniche spesso aumentano la lunghezza del prompt.

Risultati

• Spazio di Rappresentazione: Durante il pre-training, lo spostamento (bias) e la varianza delle rappresentazioni latenti sotto ritokenizzazione diminuiscono ma non scompaiono. L'ultimo layer mostra la maggiore sensibilità ai cambiamenti di segmentazione.
• Performance Comportamentale:
  • HumanEval: Il campionamento per ritokenizzazione mostra il divario più grande rispetto al pass@k canonico, recuperando programmi strutturalmente diversi. Alcuni compiti sono risolti solo tramite campionamento per ritokenizzazione.
  • GSM8K & GSM8K Python: La ritokenizzazione migliora le prestazioni, sebbene il divario rispetto al campionamento canonico sia minore rispetto alla generazione di codice.
  • MMLU: A causa dello spazio di risposta piccolo e discreto, il campionamento ripetuto (sia canonico che ritokenizzato) satura rapidamente, rendendo il pass@retok meno distinto in questo dominio.
• Dinamiche di Addestramento: Sia pass@k che pass@retok(k) migliorano durante il pre-training e mostrano aumenti netti durante il post-training (SFT, DPO, Instruct). Ciò suggerisce che l'invarianza di segmentazione è una proprietà appresa che scala con la capacità del modello.
• Confronto con i Refusi (Typos): Il campionamento per refusi generalmente supera la ritokenizzazione in termini di guadagni di accuratezza pura, ma è meno controllato perché altera il testo visibile. La ritokenizzazione rimane il probe più "pulito" per gli effetti specifici della segmentazione.
• Diversità: Le generazioni ritokenizzate non collassano in un singolo template; esplorano un intervallo di strutture di programma paragonabile alle generazioni campionate con la temperatura, nonostante l'uso del decoding greedy.

Significato e Rivendicazioni

Il documento posiziona la ritokenizzazione come un probe semplice ma potente dei Large Language Models, offrendo due intuizioni primarie:

1. Intuizione Scientifica: Rivela che i modelli tokenizzati possiedono una simmetria di segmentazione parziale ed emergente. Non sono strettamente vincolati alle tokenizzazioni canoniche e possono elaborare input equivalenti in modi variati, pur mantenendo una sensibilità residua che influenza il calcolo. Ciò sfida la visione della tokenizzazione come mero passo di compressione, suggerendo che sia una parte fondamentale dell'interfaccia computazionale del modello.
2. Applicazione Pratica: La ritokenizzazione offre una nuova strategia di campionamento (Retokenization Sampling) che genera diversità dalle computazioni interne del modello tramite input semanticamente equivalenti. Sebbene non sia attualmente un sostituto diretto del campionamento per temperatura a causa dei costi computazionali più elevati (prompt più lunghi), funge da asse complementare per la ricerca. Può recuperare soluzioni perse dai metodi convenzionali, in particolare in domini aperti come la generazione di codice, dove esistono molteplici famiglie algoritmiche valide.

Gli autori affermano con modestia che questo lavoro getta luce sulla comprensione compositiva e sulla sensibilità al prompt, dimostrando che la molteplicità di segmentazioni valide è un "grado di libertà meccanicamente significativo" che non può essere ignorato nei modelli LLM distribuiti. Non sostengono che la ritokenizzazione sia universalmente superiore ad altri metodi di campionamento, ma che fornisce una fonte di diversità unica e che preserva la semantica.