Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models

Sintesi Tecnica: Equità con Efficienza: Uno Studio Empirico sui Tokenizer per i Modelli Linguistici di Grandi Dimensioni Multilingue

Problematica
I modelli linguistici di grandi dimensioni (LLM) multilingue si affidano alla tokenizzazione sub-word per convertire il testo discreto in rappresentazioni neurali continue. Tuttavia, gli stati dell'arte utilizzano prevalentemente la codifica Byte-level Byte-Pair Encoding (BPE), una strategia che favorisce strutturalmente le lingue ad alta risorsa e gli script latini. Questo pregiudizio deriva dal fatto che i caratteri latini sono codificati come singoli byte, mentre i caratteri non latini richiedono spesso più byte. Di conseguenza, per i parlanti di lingue sottorappresentate, in particolare nel sud-est asiatico (SEA), questa disparità gonfia i costi di inferenza, degrada il ragionamento a lungo contesto e amplia il divario nelle capacità cross-lingue. Sebbene siano stati proposti diversi metodi di tokenizzazione equi — come il Parity-aware BPE, il Morphology-Driven Byte Encoding (MYTE) e il Byte Latent Transformer (BLT) — essi non sono stati confrontati sistematicamente in condizioni sperimentali uniformi per determinare la loro relativa efficacia nel bilanciare efficienza ed equità.

Metodologia
Questo studio presenta il primo confronto sistematico tra tokenizer equi attraverso un benchmark unificato che comprende 11 lingue del sud-est asiatico: inglese, birmano, cinese, indonesiano, khmer, lao, malese, tagalog, tamil, thailandese e vietnamita.

• Tokenizer Valutati: Lo studio confronta un baseline Byte-level BPE con tre approcci alternativi:
  • Parity-aware BPE (PA BPE): Ottimizza le frequenze di fusione (merge) per migliorare il tasso di compressione nel caso peggiore tra le lingue.
  • Morphology-Driven Byte Encoding (MYTE): Sostituisce i codici byte basati su caratteri con codici basati su morfemi per ottenere una copertura morfologica bilanciata.
  • Byte Latent Transformer (BLT): Opera direttamente su patch di byte dinamiche senza un vocabolario fisso, utilizzando un modello di entropia per la segmentazione.
• Disegno Sperimentale: Per garantire equità e riproducibilità, tutti i tokenizer sono stati addestrati sullo stesso dataset (1 milione di frasi da mC4). Successivamente, modelli decoder-only da 1,5 miliardi di parametri sono stati addestrati da zero utilizzando questi tokenizer su un dataset controllato di 100 milioni di frasi da FineWeb2. Le dimensioni del vocabolario sono state appaiate ove possibile (45k, 90k, 135k token), e i costi computazionali sono stati normalizzati a un equivalente di 8× NVIDIA H200.
• Metriche di Valutazione:
  • Intrinseche: Parità del tokenizer (rapporto di token per frase rispetto all'inglese), coefficiente di Gini (distribuzione dei costi di tokenizzazione) e tasso di compressione.
  • Estrinseche: Prestazioni downstream su classificazione in inglese (PIQA, HellaSwag, Arc-C), classificazione multilingue (XNLI, XCOPA, XStoryCloze) e traduzione automatica (punteggi BLEU e chrF) attraverso le 10 lingue non inglesi del sud-est asiatico.

Risultati Chiave

• Trade-off tra Efficienza ed Equità: Il Parity-aware BPE si colloca sulla frontiera di Pareto dello spazio efficienza-equità. Raggiunge il coefficiente di Gini più basso (indicando un'alta equità) mantenendo al contempo tassi di compressione competitivi paragonabili allo standard Byte-level BPE.
• Prestazioni Downstream:
  • Compiti in Inglese: Il Byte-level BPE standard ha ottenuto i punteggi più alti nei benchmark di classificazione in inglese, con vantaggi statisticamente significativi rispetto alle alternative nella maggior parte dei casi.
  • Compiti Multilingue: Le prestazioni dipendevano dal compito. MYTE ha superato significativamente gli altri tokenizer su XNLI (inferenza del linguaggio naturale), sfruttando le sue rappresentazioni morfologicamente più ricche per il ragionamento semantico. Tuttavia, il Byte-level BPE ha performato meglio su XCOPA e XStoryCloze, suggerendo che i suoi benefici di efficienza favoriscano compiti che richiedono ragionamento causale e narrativo.
  • Traduzione Automatica: MYTE ha ottenuto i punteoli BLEU più elevati in entrambe le direzioni di traduzione (EN→XX e XX→EN), beneficiando di una generazione più fine delle forme target morfologicamente complesse.
• Prestazioni di BLT: Nonostante la sua novità architettonica, BLT è stato meno performante nei compiti downstream. Gli autori attribuiscono ciò a un disallineamento del modello di entropia con i vincoli dei dati di addestramento limitati per le basse risorse, risultando in una scarsa equità e un'alta parità di token.
• Effetti di Scalabilità: L'aumento della dimensione del vocabolario ha migliorato l'efficienza per il Byte-level BPE ma ha esacerbato l'inequità per il Parity-aware BPE, poiché l'inglese ha acquisito più fusioni rispetto ad altre lingue. MYTE è rimasto relativamente insensibile alla scalabilità del vocabolario nell'intervallo testato.

Significatività e Rivendicazioni
Il documento sostiene che l'equità cross-lingue e l'efficienza della tokenizzazione non siano fondamentalmente in contrasto. I risultati offrono indicazioni pratiche per progettare modelli multilingue equi:

1. Il Parity-aware BPE è raccomandato come default responsabile per i modelli multilingue che mirano alle lingue del sud-est asiatico, grazie alla sua posizione favorevole nello spazio efficienza-equità e alle forti prestazioni downstream, a condizione che siano disponibili dati paralleli per l'addestramento.
2. MYTE è preferibile quando la morfologia e la qualità della traduzione sono critiche, assumendo che il budget computazionale possa accogliere il suo maggiore overhead di addestramento e la minore efficienza di compressione.
3. La Scelta del Tokenizer come Determinante: Lo studio stabilisce che la scelta del tokenizer è il fattore primario che influenza la parità del tokenizer, spiegando la maggior parte della varianza nei costi di inferenza tra le lingue. Questa scelta impatta direttamente l'accessibilità economica dei modelli multilingue per le comunità linguistiche sottorappresentate, poiché le API a prezzo di token impongono costi diseguali basati sul tipo di script quando si utilizzano tokenizer distorti.

Gli autori concludono che la tokenizzazione equa ha conseguenze dirette e quantificabili per le centinaia di milioni di parlanti del sud-est asiatico, e che affrontare il pregiudizio della tokenizzazione è una via percorribile verso sistemi di IA più inclusivi.