Are you going to finish that? A Practical Study of the Partial Token Problem

Sintesi Tecnica: "Lo finirai? Uno studio pratico sul Problema del Token Parziale"

Definizione del Problema
Il Problema del Token Parziale (Partial Token Problem, PTP) deriva da un disallineamento fondamentale tra il modo in cui gli utenti interagiscono con i Modelli di Linguaggio (LM) e il modo in cui gli LM elaborano il testo. Gli utenti forniscono prompt come stringhe di caratteri, mentre gli LM operano su sequenze di token generate da un tokenizer. Il PTP si verifica quando il prompt di un utente termina nel mezzo di un token valido (un "token parziale"). Poiché gli LM sono addestrati esclusivamente su sequenze di token validi, assegnano probabilità inaspettatamente basse alle continuazioni che completano tali token parziali. Sebbene il problema sia ben documentato in letteratura (ad es. Lundberg, 2023; Ribeiro, 2023), i lavori precedenti si sono ampiamente basati su prefissi di caratteri arbitrari per illustrare il fenomeno. Di conseguenza, la prevalenza e la gravità del PTP in prompt realistici che rispettano i confini naturali di parole o sintattici sono rimaste poco esplorate.

Metodologia
Gli autori investigano sistematicamente il PTP in scenari realistici identificando domini in cui i confini dei token si disallineano frequentemente con i confini semantici o sintattici:

1. Sistemi Logografici (Cinese): Le parole non sono delimitate da spazi bianchi, il che causa la fusione di caratteri attraverso i confini delle parole da parte dei tokenizer.
2. Lingue Altamente Compostive (Tedesco): Le parole composte sono spesso segmentate dai tokenizer in modi che ignorano i confini morfologici.
3. Codice: Gli identificatori e la punteggiatura consecutiva sono frequentemente fusi in singoli token.

Per quantificare il problema, gli autori hanno costruito un compito di "ripeti dopo di me". Hanno segmentato frasi naturali in prefissi e continuazioni in modo tale che:

• Il prefisso termini al confine di una parola completa (naturalmente semantico).
• Il prefere termini al confine di un token parziale rispetto al tokenizer (violando la condizione per cui encode(prompt) + encode(continuation) == encode(prompt + continuation)).
• La continuazione sia univoca (il modello deve ripetere esattamente il testo fornito).

Lo studio ha valutato una suite diversificata di modelli frontier (inclusi QWEN3, HUNYUAN, LLAMA, OLMO, GEMMA e MISTRAL) attraverso questi domini. Le prestazioni sono state misurate utilizzando due metriche:

• $\Delta$Logprob: La differenza nella log-probabilità assegnata al token successivo corretto tra il prompt allineato alla parola (token parziale) e il prompt allineato al token (back-off).
• $\Delta$Acc: La differenza nell'accuratezza durante la decodifica greedy della continuazione corretta.

Risultati Chiave

• Alta Prevalenza di Disallineamento: I tokenizer standard presentano tassi di disallineamento significativi. In cinese, il 14%–25% dei confini delle parole non si allinea con i confini dei token. Nel codice, i confini della punteggiatura si trovano all'interno dei token con tassi superiori al 50% per la maggior parte dei modelli.
• Grave Distorsione della Probabilità: Quando affrontati con un PTP, i modelli assegnano probabilità drasticamente inferiori alla continuazione corretta. In cinese, la probabilità scende fino a quattro ordini di grandezza rispetto ai prompt allineati al token.
• Collasso dell'Accuratezza: I modelli predicono la continuazione corretta dal 60% al 95% in meno di volte quando il prompt termina con un token parziale. Ad esempio, l'accuratezza di QWEN3-32B nel cinese è scesa dal 93,92% (allineato al token) al 15,36% (allineato alla parola).
• La Scala Non Aiuta: Il degrado non diminuisce con la scala del modello; in molti casi, i modelli più grandi soffrono di cali di prestazioni uguali o maggiori. Gli autori ipotizzano che i modelli più grandi siano meglio adattati ai loro specifici tokenizer di addestramento, rendendoli più sicuri che una sequenza di token (ad es. process + in) non possa essere seguita da un carattere (ad es. g) che formerebbe un singolo token (processing).
• Mitigazioni al Tempo di Inferenza:
  • Token Healing: Un approccio euristico che rimuove il token (o i token) finale dal prompt e vincola la generazione per corrispondere al testo rimosso. Questo ha mostrato risultati misti, migliorando l'accuratezza in alcuni casi ma fallendo in altri (ad es. tedesco).
  • ByteSampler: Una soluzione esatta (Hayase et al., 2025) che costruisce un albero di tutte le sequenze di token valide che coprono il prefisso del prompt e campiona un percorso. Questo metodo ha raggiunto il 100% di accuratezza in tutti e tre i domini (cinese, tedesco, codice) con un basso overhead computazionale (0,12–1,17 passaggi forward aggiuntivi).

Significatività e Contributi
Il documento dimostra che il Probleo del Token Parziale non è solo un artefatto di un arbitrario troncamento del testo, ma un serio modo di fallimento in casi d'uso realistici e semanticamente naturali. Gli autori affermano che:

1. Impatto nel Mondo Reale: Il problema è pervasivo nelle lingue non inglesi e nel codice, influenzando anche i prompt che terminano con parole complete.
2. Limiti della Scalabilità: Aumentare la dimensione del modello non risolve il problema, poiché i modelli diventano più rigidamente vincolati ai loro schemi di tokenizzazione di addestramento.
3. Raccomandazioni Pratiche: Lo studio valida l'efficacia di soluzioni esatte al tempo di inferenza come ByteSampler, che possono mitigare completamente il problema senza richiedere il riaddestramento del modello.

Il lavoro sottolinea che gli LM modellano non solo il linguaggio, ma anche il tokenizer specifico con cui sono stati addestrati, e che questa interazione crea bias prevedibili quando i confini del prompt non si allineano con i confini dei token. Gli autori forniscono raccomandazioni pratiche affinché i fornitori di inferenza adottino soluzioni esatte per garantire l'affidabilità in contesti linguistici e di codifica diversificati.