Riepilogo Tecnico: La Tassa del Tokenizer su 24 Lingue Europee

Enunciato del Problema

I tokenizer impongono un costo economico e tecnico nascosto all'elaborazione del linguaggio naturale (NLP) non inglese, in particolare per le lingue a morfologia ricca. Questa "tassa del tokenizer" deriva dalla fertilità—il numero di token di sotto-parola generati per parola. Mentre il testo inglese viene tokenizzato in modo efficiente (circa 1,2 token/parola), le lingue con morfologia complessa o sottorappresentate nei dati di pre-addestramento possono sostenere costi 2,5 volte superiori. Studi precedenti (Petrov et al., 2023; Ahia et al., 2023) hanno documentato queste disparità, ma si sono basati su fonti testuali eterogenee, rendendo difficile isolare il contributo del tokenizer dalla variazione dei contenuti. Inoltre, il specifico "penale ucraino" rispetto alle lingue slave cognate e la coerenza cross-linguale degli effetti dell'apprendimento few-shot sono rimasti non quantificati in un contesto controllato.

Metodologia

Lo studio adotta un disegno sperimentale cross-linguale controllato per misurare la fertilità e gli effetti a valle su dieci modelli fondazionali e 25 lingue europee.

• Modelli: Sono stati valutati dieci modelli, inclusi sette accessibili tramite AWS Bedrock (Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Nova Pro, Qwen3 32B, Qwen3 235B) e tre misurati localmente utilizzando tokenizer pubblici (GPT-4o, Gemma 2 27B, DeepSeek V3).
• Dataset:
  • Misurazione della Fertilità: Testo parallelo SIB-200 (25 lingue UE + ucraino) e Wikipedia ucraina (registro enciclopedico). I testi sono stati concatenati in blocchi di circa 6.000 caratteri per minimizzare l'overhead del prompt di sistema.
  • Classificazione: Classificazione per argomento SIB-200 (7 classi) su quattro lingue slave (ucraino, polacco, russo, ceco).
  • Competenza Linguistica: Benchmark ULP (347 domande a scelta multipla sulla grammatica ucraina).
• Disegno Sperimentale:
  1. Invarianza di Dominio: Misurazione della fertilità attraverso registri legali, giornalistici ed enciclopedici per testare la stabilità del ranking.
  2. Mappatura Cross-Linguale: Calcolo della fertilità media per 25 lingue per stabilire una gerarchia.
  3. Analisi dei Sotto-parole: Decomposizione di termini legali ucraini specifici per analizzare la preservazione dei confini morfologici.
  4. Valutazione Few-Shot: Confronto tra accuratezza zero-shot e few-shot su SIB-200 per determinare se i delta di prestazione dipendono dalla lingua o sono intrinseci al modello.
  5. Correlazione di Competenza: Correlazione dei tassi di fertilità con l'accuratezza grammaticale sul benchmark ULP.

Contributi Chiave

1. Mappa Controllata della Fertilità Cross-Linguale: La prima misurazione della fertilità del tokenizer su 25 lingue europee utilizzando testo parallelo, isolando il comportamento del tokenizer dalla variazione dei contenuti.
2. Validazione dell'Invarianza di Dominio: Dimostrazione che i ranking di fertilità sono stabili attraverso registri legali, giornalistici ed enciclopedici ($\rho > 0,97$), implicando che una singola misurazione è sufficiente per la previsione dei costi attraverso i domini.
3. Analisi Meccanicistica dei Sotto-parole: Identificazione del fatto che i tokenizer ad alta fertilità frammentano i confini morfologici a livelli arbitrari di byte piuttosto che preservare i morfemi, spiegando i divari di prestazione.
4. Effetti Few-Shot Intrinseci al Modello: Evidenza che gli effetti dell'apprendimento few-shot (miglioramento o degradazione) sono coerenti tra diverse lingue slave per un dato modello, indicando che l'effetto è guidato dall'architettura del modello piuttosto che dalle proprietà della lingua di input.
5. Quantificazione del Penale Ucraino: Quantificazione specifica del costo in token del 15–18% superiore per l'ucraino rispetto alle lingue slave cognate (polacco, ceco), attribuito alla sottorappresentazione nei dati di pre-addestramento.

Risultati

1. La Gerarchia della Tassa del Tokenizer

La fertilità copre un intervallo di 2,5× tra le lingue europee:

• Più Efficiente: Inglese (1,23 token/parola).
• Romanze: 1,5–1,7.
• Germaniche: 1,7–1,9.
• Slave: 2,2–2,5.
• Uraliche/Baltiche: 2,7–3,0.
• Più Costose: Greco e Maltese (~3,1).

Il Penale Ucraino: L'ucraino media 2,66 token/parola, pagando 15–18% in più rispetto al polacco (2,25) e al ceco (2,28). Questo divario persiste nonostante una complessità morfologica simile. L'analisi del corpus rivela che l'ucraino ha 2–6 volte meno dati di pre-addestramento rispetto al polacco nei principali corpus (mC4, OSCAR, CulturaX), portando a fusioni di sotto-parole meno ottimizzate.

2. Varianza del Modello e Frammentazione dei Sotto-parole

Il design del modello impatta significativamente la fertilità. Ad esempio, per il greco, la fertilità varia da 2,29 (Llama 4 Maverick) a 5,73 (Qwen3).

• Tokenizer Efficienti (es. Gemma 2, Llama 3.3): Preservano i confini dei morfemi (es. dividendo вiдповiдальнiсть in 3–4 token).
• Tokenizer Inefficienti (es. Qwen3, DeepSeek): Frammentano le parole ai confini dei byte (dividendo la stessa parola in 8–9 token), nonostante abbiano dimensioni di vocabolario comparabili o superiori.

3. Invarianza di Dominio

I ranking di fertilità sono perfettamente preservati ($\rho = 1,0$) attraverso testi giornalistici, legali ed enciclopedici. Sebbene i conteggi assoluti di token varino leggermente per dominio (il testo enciclopedico è generalmente più costoso a causa della diversità del vocabolario), l'ordinamento relativo dei costi dei modelli rimane costante.

4. Effetti Few-Shot Cross-Linguale

L'impatto del prompting few-shot è intrinseco al modello, non dipendente dalla lingua:

• Nemotron Super 3: Ha migliorato le prestazioni su tutte e quattro le lingue slave (media +10,5 punti percentuali).
• Llama 4 Maverick: Ha degradato le prestazioni su tutte e quattro le lingue slave (media -8,4 punti percentuali), con un significativo collasso delle classi verso categorie dominanti (es. scienza, politica).
• Questa coerenza tra scritture cirilliche e latine suggerisce che l'effetto è determinato da come il meccanismo di attenzione di un modello elabora il contenuto dimostrativo, non dalle proprietà morfologiche della lingua di input.

5. Competenza Linguistica

La correlazione tra bassa fertilità e alta accuratezza grammaticale (benchmark ULP) è debole ($\rho = -0,43$) e non statisticamente significativa ($p=0,34$). Sebbene Llama 4 Maverick (fertilità più bassa) abbia raggiunto la massima accuratezza (57,3%), i valori anomali come Nemotron (fertilità moderata, accuratezza più bassa) indicano che l'architettura e la composizione dei dati di addestramento sono predittori più forti della competenza rispetto all'efficienza di tokenizzazione da sola.

Significato e Affermazioni

Il documento afferma di fornire la prima mappa controllata e invariante di dominio della "tassa del tokenizer" in Europa. Il suo significato principale risiede in:

1. Impatto Economico: Stabilire che l'elaborazione di contenuti ucraini costa 2,2 volte di più rispetto all'inglese puramente a causa del design del tokenizer, un costo che si moltiplica attraverso le chiamate API.
2. Cambiamento Metodologico: Dimostrare che la fertilità è una proprietà stabile del vocabolario del tokenizer, permettendo ai praticanti di misurare il costo una volta e prevederlo attraverso tutti i domini di applicazione.
3. Rappresentazione dei Dati: Evidenziare che il "penale ucraino" non è solo una caratteristica linguistica ma una conseguenza diretta della sottorappresentazione nei corpus di pre-addestramento, che porta a vocabolari di sotto-parole subottimali.
4. Guida Pratica: Raccomandare ai praticanti di privilegiare approcci zero-shot per le lingue a morfologia ricca (poiché gli effetti few-shot sono imprevedibili e specifici del modello) e di prevedere un budget per la specifica tassa di token della lingua target.

Gli autori rilasciano tutte le misurazioni di fertilità e i dati di decomposizione dei sotto-parole come dataset pubblico per consentire la selezione di modelli e le politiche di instradamento consapevoli dei costi.