Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion

1. Il Problema: Frammentazione dei Token (Token Over-fragmentation)

Il lavoro affronta un problema critico nei moderni Large Language Models (LLM): la frammentazione eccessiva dei token per le lingue non scritte in alfabeto latino.

• Contesto: I token sono la valuta nascosta che determina costi e latenza nell'accesso agli LLM. Le tecniche di tokenizzazione basate su dati (come BPE o Unigram) sono spesso sbilanciate verso l'inglese e le lingue ad alta risorsa.
• Fenomeno: Le lingue non latine (es. Odia, Birmano, Hindi) richiedono un numero di token sproporzionatamente alto per codificare la stessa quantità di informazioni rispetto all'inglese. Ad esempio, un parlante di Odia potrebbe pagare un premio di costo di 10 volte rispetto a un parlante inglese per la stessa informazione.
• Limiti delle soluzioni attuali: Ricalcolare il modello da zero con un tokenizzatore equo è computazionalmente proibitivo. L'alternativa è l'espansione del vocabolario, che aggiunge nuovi item al vocabolario esistente senza riaddestrare l'intero modello. Tuttavia, i metodi convenzionali per scegliere quali item aggiungere (basati sulla frequenza) e come inizializzarne gli embedding si sono rivelati subottimali.

2. Metodologia: Un Approccio Basato sull'Interpretabilità

Gli autori propongono un nuovo paradigma che utilizza l'interpretabilità del modello per guidare l'espansione del vocabolario, affrontando due decisioni chiave:

1. Selezione degli Item (Stage 1): Quali parole o sottoparole aggiungere?
2. Inizializzazione degli Embedding (Stage 2): Come inizializzare i vettori di input/output per questi nuovi item?

A. Sfida all'euristica basata sulla frequenza

Il paper contesta l'uso standard della frequenza (BPE) per selezionare gli item da aggiungere. Dimostrano che i metodi basati sulla frequenza creano un compromesso (trade-off) povero tra efficienza dei token e prestazioni del modello.

B. Il metodo Tokens2Words (Base)

Si basano sul lavoro di Kaplan et al. (2025), che sfrutta il fenomeno della "detokenizzazione". L'idea è che gli LLM mantengano un "lessico interno" più ampio del vocabolario esplicito e siano in grado di ricostruire rappresentazioni coerenti per parole intere composte da più token.

• Selezione: Usano il framework Patchscopes per rilevare se una parola fuori dal vocabolario viene "detokenizzata" (riconosciuta come un'unità semantica coerente) all'interno delle attivazioni nascoste del modello.
• Inizializzazione: Gli embedding per le nuove parole vengono inizializzati mappando le attivazioni nascoste del modello (dove avviene la detokenizzazione) nello spazio degli embedding originali tramite trasformazioni ortogonali (Procrustes).

C. Proposta Innovativa: FragMend

Gli autori identificano un limite di Tokens2Words: si ferma alle parole intere. Analizzando le attivazioni, scoprono il fenomeno della "detokenizzazione di sottoparole" (subword detokenization).

• Osservazione: I modelli ricostruiscono progressivamente le parole partendo dai prefissi/suffissi (sottoparole) prima di arrivare alla parola intera.
• FragMend: Estende il metodo permettendo l'aggiunta di sottoparole (affissi) come nuovi item del vocabolario, non solo parole intere.
  • Questo aumenta esponenzialmente il numero di candidati potenziali.
  • Introduce una strategia di "riduzione" per aggregare le multiple inizializzazioni candidate per una stessa sottoparola (es. scegliendo quella che si verifica nel layer più profondo o più profondo dove la detokenizzazione ha successo).
  • Include filtri per evitare la "perversità dell'espansione" (dove l'aggiunta di item brevi peggiora la frammentazione).

3. Contributi Chiave

1. Superiorità dei metodi basati sull'interpretabilità: Dimostrano che la selezione degli item basata sull'interpretabilità (Tokens2Words) supera nettamente i metodi basati sulla frequenza (BPE) nel compromesso efficienza-prestazioni.
2. Inizializzazione superiore: L'inizializzazione basata sulle attivazioni del modello (Tokens2Words initialization) supera le strategie di inizializzazione euristica (come Random, FVT, FOCUS) per le lingue non latine, specialmente quelle a bassa risorsa.
3. Scoperta della "Subword Detokenization": Identificano che i modelli ricostruiscono le parole attraverso un processo gerarchico di fusione di sottoparole, suggerendo che il lessico interno è compositivo e non binario.
4. FragMend: Propongono un nuovo metodo che sfrutta questa scoperta per aggiungere sottoparole, spingendo il limite di efficienza dei token ben oltre quanto possibile con parole intere, con un impatto minimo sulle prestazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Qwen3-30B-A3B e TinyAya, su 14 lingue (miste latine/non latine, alta/bassa risorsa).

• Efficienza dei Token:
  • FragMend riduce il numero di token necessari fino al 3x per lingue a bassa risorsa non latine (es. Burmese, Odia) rispetto al modello originale.
  • Rispetto a Tokens2Words (solo parole intere), FragMend raddoppia o triplica il numero di item aggiunti con lo stesso corpus di addestramento (1000 sequenze).
• Prestazioni:
  • L'approccio basato sull'interpretabilità mantiene o migliora le prestazioni su benchmark come SIB200 (classificazione di argomenti) e Belebele (comprensione della lettura), mentre i metodi BPE spesso causano un crollo delle prestazioni (fino al 60% in alcuni casi) pur guadagnando efficienza.
  • FragMend offre guadagni di efficienza sostanziali con un degrado delle prestazioni trascurabile (spesso < 1-2 punti) o nullo.
• Scalabilità: L'efficacia del metodo cresce con la dimensione del modello (da 0.8B a 9B parametri), poiché modelli più grandi hanno rappresentazioni interne più ricche e stabili per la detokenizzazione.

5. Significato e Impatto

• Equità Linguistica: Il lavoro offre una soluzione pratica ed economica per ridurre il "premio di costo" che le comunità linguistiche non latine pagano oggi per l'uso degli LLM.
• Efficienza Operativa: Ridurre i token significa ridurre direttamente i costi di API e la latenza di inferenza, rendendo gli LLM più accessibili e sostenibili.
• Cambiamento di Paradigma: Sposta l'attenzione dalla semplice statistica (frequenza dei token) alla comprensione interna del modello (interpretabilità) per ottimizzare l'architettura dei tokenizzatori.
• Bassa Barriera d'Ingresso: Il metodo richiede solo un piccolo corpus non etichettato (1000 sequenze) e non necessita del riaddestramento del modello, rendendolo applicabile immediatamente a modelli open-weight esistenti.

In sintesi, il paper dimostra che "aggiustare" i linguaggi frammentati non richiede di ricostruire i modelli da zero, ma di comprendere come questi modelli rappresentano internamente le parole e sfruttare tale conoscenza per espandere il vocabolario in modo intelligente ed efficiente.