💬 NLP

In-Place Tokenizer Expansion for Pre-trained LLMs

Questo articolo introduce un metodo di espansione del tokenizer in-place che aggiorna i modelli linguistici di grandi dimensioni (LLM) pre-addestrati continuando le fusioni BPE su un corpus multilingue e inizializzando i nuovi embedding tramite la media dei sotto-token, riducendo così significativamente il numero di token e migliorando la velocità di decodifica per lingue come l'hindi e il vietnamita senza sacrificare la qualità del modello.

Autori originali: Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner

Pubblicato 2026-07-17

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Linguaggio delle Macchine: Una Breve Introduzione

Immagina di dover insegnare a un robot a parlare. Per farlo, non puoi semplicemente fornirgli un dizionario di ogni parola dell'universo; sarebbe troppo pesante da trasportare. Invece, gli dai un set di blocchi costruttivi. Nel mondo dell'Intelligenza Artificiale, questi blocchi sono chiamati token. Pensa ai token come ai frammenti di testo più piccoli che un computer può comprendere: a volte una parola intera come "gatto", ma spesso solo una sillaba come "gat" o persino una singola lettera come "g".

Quando un robot impara una lingua, decide come scomporre le frasi in questi blocchi. Se impara prima l'inglese, potrebbe avere un blocco speciale per la parola "the". Ma se in seguito gli chiedi di parlare hindi o vietnamita, e non era preparato per quelle lingue, potrebbe dover scomporre quelle parole in pezzi minuscoli ed inefficienti, come "H-i-n-d-i" invece di "Hindi". È come cercare di costruire una casa con un martello quando in realtà avresti bisogno di un cacciavite; funziona, ma è lento, goffo e spreca energia. Questo articolo affronta il problema di come aggiornare la "cassetta degli attrezzi" di un robot (il suo vocabolario) dopo che è già stato addestrato, senza dover ricostruire l'intero robot da zero.

Il Puzzle della Cassetta degli Attrezzi Rotta

Incontra Jimmy e il suo team presso Liquid AI. Stavano lavorando su un robot molto intelligente chiamato LFM2, che vive su dispositivi come telefoni e laptop. Questo robot era bravissimo con l'inglese e la programmazione, ma quando provava a parlare lingue come l'hindi, il vietnamita o il thailandese, inciampava. Perché? Perché il suo vocabolario era come una cassetta degli attrezzi preparata per un viaggio a Londra, non a Bangkok. Quando il robot cercava di scrivere "Hindi", non aveva un singolo blocco per l'intera parola. Inveve, doveva usare quattro o cinque piccoli blocchi per comporla. Questo rendeva il robot lento, stanco e affamato di batteria.

Il team si trovò di fronte a una scelta difficile. Potevano buttare via il loro duro lavoro, costruire un robot completamente nuovo con una cassetta degli attrezzi migliore e ricominciare da capo. Oppure, potevano provare a introdurre furtivamente un nuovo set di strumenti nel vecchio robot senza romperlo. La seconda opzione è come cercare di aggiungere un nuovo cassetto a un motore di un'auto già assemblato e in corsa mentre sta percorrendo l'autostrada. La maggior parte delle persone pensava che fosse impossibile o troppo rischioso.

L'Aggiornamento "In-Place"

Il team ha scoperto un modo intelligente per fare esattamente questo. Lo hanno chiamato Espansione del Tokenizer. Invece di buttare via la vecchia cassetta degli attrezzi, hanno mantenuto gli strumenti originali e hanno semplicemente aggiunto nuovi strumenti alla fine della scatola.

Ecco come l'hanno fatto, passo dopo passo:

Il Copia-Incolla Intelligente: Hanno preso l'elenco esistente dei blocchi costruttivi del robot e gli hanno chiesto di continuare a imparare su un mix di molte lingue diverse. Mentre il robot imparava nuove parole, non buttava via i vecchi blocchi. Inve invece, creava nuovi blocchi più grandi per parole come "Hindi" o "Thai". Fondamentalmente, ogni nuovo blocco veniva costruito incastrando insieme i vecchi blocchi più piccoli che già conosceva. Era come rendersi conto che se hai un blocco "H" e un blocco "i", puoi incastrarli per fare un blocco "Hi", e poi incastrare quello con "nd" e "i" per fare "Hindi".
La Colla Magica (Inizializzazione dell'Embedding): Ora il robot aveva nuovi blocchi, ma non sapeva cosa significassero. Il team doveva insegnare al robot il significato di questi nuovi blocchi. Usarono un trucco semplice ma brillante: osservarono i vecchi blocchi che componevano il nuovo e diedero al nuovo blocco il "significato medio" delle sue parti. Se un nuovo blocco era composto da tre vecchi blocchi, il cervello del robot gli assegnava la personalità media di quei tre. Questo significava che il robot non doveva indovinare; partiva da un'ipotesi molto buona.
L'Allenamento in Due Fasi: Il robot non era ancora pronto per correre una maratona. Se lo avessero lasciato correre immediatamente, sarebbe inciampato. Così, hanno fatto un allenamento in due fasi:
- Fase 1: Hanno "congelato" il cervello del robot (tutto tranne i nuovi blocchi) e hanno permesso solo ai nuovi blocchi di imparare. Questo era come lasciare che i nuovi cassetti della cassetta degli attrezzi si abituassero a contenere oggetti senza spostare il resto dell'auto.
- Fase 2: Una volta che i nuovi blocchi si sono sentiti a proprio agio, hanno "scongelato" l'intero robot e gli hanno permesso di praticare la lettura e la scrittura in molte lingue. Questo ha aiutato il robot a capire come i nuovi blocchi si inserissero nel quadro generale.

I Risultaggi: Più Veloci, Più Intelligenti e Più Leggeri

I risultati sono stati impressionanti. Usando questa nuova cassetta degli attrezzi espansa, il robot poteva parlare hindi, vietnamita e thailandese in modo molto più efficiente.

Il testo in Hindi veniva scomposto in 2,4 volte meno blocchi.
Il Vietnamita era 2,6 volte meno.
Il Thailandese ha visto il salto maggiore, richiedendo 4,0 volte meno blocchi.

Poiché il robot doveva elaborare meno blocchi per dire la stessa cosa, è diventato molto più veloce. Il team ha stimato che, su un telefono, parlare queste lingue potrebbe essere da 2,2 a 3,7 volte più veloce per carattere. Era come passare dal camminare alla bicicletta; il robot copriva la stessa distanza in una frazione del tempo.

Cosa Hanno Imparato (e Cosa Hanno Evitato)

Il team ha anche imparato cosa non fare, il che è altrettanto importante.

Non toccare i vecchi strumenti: In un esperimento, hanno provato a lasciare che il robot ri-imparasse i significati dei suoi vecchi blocchi mentre aggiungeva i nuovi. Questo ha confuso il robot e ha iniziato a ripetersi come un disco rotto. Hanno scoperto che mantenere i vecchi blocchi esattamente come erano era il segreto del successo.
Non leggere solo l'inglese: Quando hanno cercato di insegnare al robot i nuovi blocchi usando principalmente testi inglesi, il robot è diventato bravo a rispondere a domande a scelta multipla ma terribile nello scrivere effettivamente delle frasi. Poteva scegliere la risposta giusta, ma non riusciva a raccontare una storia. Hanno imparato che dovevano nutrirlo con una dieta equilibrata di molte lingue per mantenerlo in salute.

Conclusione

Questo articolo dimostra che non è sempre necessario costruire un nuovo robot per fargli parlare una nuova lingua. Se sei tu ad aver costruito il robot, puoi aggiornare il suo vocabolario proprio nel mezzo della sua vita. Aggiungendo con cura nuovi strumenti e dando loro il giusto "significato medio", puoi rendere il robot più veloce ed efficiente per tutti, senza perdere le abilità che già possedeva. È una ricetta pratica per rendere l'IA più inclusiva e veloce, direttamente nel dispositivo che hai in tasca.

Riepilogo Tecnico: Espansione In-Place del Tokenizer per LLM Pre-addestrati

Problematica
I tokenizer per i Large Language Models (LLM) sono tipicamente fissati all'inizio del pre-addestramento, con un'allocazione del vocabolario che riflette la distribuzione del corpus iniziale. Man mano che le priorità di deployment si spostano verso l'inclusione di lingue sottorappresentate, queste lingue soffrono di un'alta "fertilità dei token": vengono suddivise in significativamente più token per parola rispetto alle lingue per cui il tokenizer è stato ottimizzato. Questa frammentazione aumenta la latenza di decodifica, il calcolo e il consumo energetico, in particolare per i modelli on-device dove le matrici di embedding e della LM-head costituiscono una quota rilevante della larghezza di banda per token durante la decodifica. Mentre i modelli in cloud possono permettersi vocabolari ampi, i modelli edge devono essere spediti con vocabolari compatti, accettando la frammentazione al di fuori di un set linguistico fisso. I rimedi standard, come il pre-addestramento da zero con un nuovo tokenizer o l'uso di metodi di trasferimento zero-shot verso arbitrari tokenizer di terze parti, sono o computazionalmente dispendiosi o risolvono un problema più complesso di quello necessario.

Metodologia
Gli autori propongono l'Espansione del Tokenizer (Tokenizer Expansion), una ricetta in-place per aggiornare il tokenizer di un modello pre-addestrato quando il produttore del modello controlla il design. L'approccio consiste in tre componenti principali:

Costruzione del Tokenizer (Continued-BPE):
Invece di addestrare un nuovo tokenizer indipendentemente o prendere l'unione dei vocabolari, gli autori continuano l'addestramento dei merge Byte-Pair Encoding (BPE) del tokenizer sorgente su un corpus multilingue pesato verso le lingue sottotokenizzate.
- Proprietà: I merge esistenti sono mantenuti fissi; i nuovi merge vengono aggiunti. Ciò garantisce una mappatura deterministica in cui la maggior parte dei token sorgente viene trasferita come singoli token, e ogni nuovo token ha una decomposizione esatta in uno o più token sorgente.
- Scala: Applicato a un modello Mixture-of-Experts (MoE) da 8B di parametri, espandendo il vocabolario da 65K a 128K voci attive.
Inizializzazione dell'Embedding:
La matrice di embedding viene riinizializzata per corrispondere alla nuova dimensione del vocabolario ( $|V_{new}|$ ).
- Token trasferiti: Le righe per i token che mappano 1-a-1 dalla sorgente sono copiate invariate.
- Nuovi token: Le righe per i nuovi token sono inizializzate come la media delle righe di embedding dei loro sub-token sorgente costituenti. Ciò assicura che le nuove righe abbiano una norma comparabile alle righe esistenti senza richiedere un'inizializzazione casuale.
Adattamento a Due Stadi:
Per recuperare la qualità del checkpoint sorgente, il modello attraversa una specifica pipeline di addestramento:
- Stadio 1 (Addestramento Solo-Embedding): Il corpo del modello è congelato. Solo le nuove righe di embedding (e i corrispondenti controparti della LM-head) vengono addestrate per 600B di token su un mix multilingue focalizzato sulle lingue sottotokenizzate. Fondamentalmente, le righe copiate dalla sorgente sono congelate per evitare che si allontanino dal corpo congelato.
- Stadio 2 (Full Continued Pre-Training): Tutti i parametri vengono sbloccati. Il modello continua il pre-addestramento per 400B di token su un corpus multilingue bilanciato. Questa fase è critica per ri-bilanciare il modello e integrare il nuovo vocabolario senza regredire nelle prestazioni sulle lingue precedentemente supportate.
- Mid-Training/Post-Training: Il checkpoint adattato procede attraverso le fasi standard di mid-training (estensione del contesto a 128K) e post-training.

Risultati Chiave
Il metodo è stato applicato al checkpoint LFM2-8B-A1B per produrre LFM2.5-8B-A1B.

Efficienza dei Token: Il tokenizer espanso riduce significativamente il conteggio dei token per le lingue sottotokenizzate pur mantenendo la parità per l'inglese e il codice.
- Riduzioni: Hindi (~~2,4× meno token), Vietnamita (~~2,6×), Thai (~4,0×).
Recupero della Qualità:
- Swap Zero-shot: Semplicemente scambiando il tokenizer, si è verificata una caduta di circa 5,8 punti aggregati nei benchmark.
- Stadio 1: Ha recuperato circa 4,8 punti, ripristinando in gran parte le prestazioni di inglese e codice.
- Stadio 2: Ha colmato il gap rimanente e ha superato il modello sorgente di 3,6 punti aggregati, eguagliando o superando la sorgente nelle categorie Knowledge, Math, Code e Multilingual.
- Benchmark Multilingue: Le lingue precedentemente supportate (es. Arabo, Tedesco, Giapponese) hanno mantenuto o leggermente migliorato le prestazioni, mentre le lingue sottotokenizzate hanno visto guadagni sostanziali (es. Vietnamita +11,6 punti, Hindi +7,6 punti su Global-MMLU).
Latenza On-Device:
- Trade-off: Un vocabolario più grande aumenta il costo per token di decodifica (misurato come un calo di circa il 7–10% di token/secondo sui dispositivi di riferimento a causa dei vincoli di larghezza di banda della memoria).
- Accelerazione Netta: Combinando la compressione dei token con il costo per token, l'espansione del tokenizer garantisce un'accelerazione della velocità di decodifica per carattere di 2,2× fino a 3,7× per Thai, Bengali, Vietnamita e Hindi su dispositivi di riferimento (M4 Max, Snapdragon 8 Elite).
- Regressione: Per le lingue con compressione quasi paritaria (Inglese, codice, principali lingue europee), il tempo di decodifica per carattere regredisce fino a circa il 9%.

Risultati Negativi e Ablazioni
Il paper riporta due risultati negativi critici che hanno plasmato la ricetta finale:

Addestramento dell'Embedding Completo nello Stadio 1: Addestrare tutte le righe di embedding (incluse le righe copiate dalla sorgente) mentre il corpo è congelato ha causato una degradazione delle capacità generative (es. collasso di MATH500, HumanEval+) e una severa ripetizione, nonostante l'accuratezza nei test a scelta multipla rimanesse intatta. Limitare l'addestramento solo alle nuove righe è stato necessario.
Mix di Dati dello Stadio 2: L'uso di un mix prevalentemente inglese per il pre-addestramento continuato dello Stadio 2 ha causato un "collasso generativo" (perdita di ragionamento e generazione multilingue) nonostante il mantenimento o il miglioramento dei punteggi a scelta multipla. Era richiesto un mix multilingue bilanciato per preservare la qualità generativa.

Significatività e Claim
Gli autori affermano che questo è il primo resoconto di una ricetta lato modello per l'espansione in-place, via continued-BPE, del tokenizer a scala di produzione (specificamente per un MoE on-device da 8B).

Efficienza: Dimostra che l'espansione del vocabolario può essere ottenuta senza scartare la computazione accumulata nel pre-addestramento, a patto che il tokenizer sia costruito come una continuazione dei merge sorgente.
Deployment: Offre una soluzione pratica per i modelli on-device per supportare lingue aggiuntive in modo efficiente, scambiando un piccolo costo uniforme per token con enormi guadagni di efficienza su script specifici.
Insight sulla Valutazione: Il lavoro evidenzia come i comuni benchmark a scelta multipla (come MMLU) possano non rilevare la degradazione delle capacità generative durante l'adattamento del vocabolario, rendendo necessaria l'inclusione di benchmark generativi nella valutazione.

Gli autori rilasciano i pesi del modello (LFM2.5-8B-A1B) e il tokenizer espanso, notando che la ricetta è progettata specificamente per scenari in cui il produttore del modello controlla l'aggiornamento del tokenizer, piuttosto che per l'adattamento a arbitrari tokenizer di terze parti.