Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
Questo articolo quantifica l'importante sovraccarico di tokenizzazione affrontato dall'ucraino e da altre lingue cirilliche nei moderni sistemi di IA rispetto all'inglese, dimostrando che tale disparità deriva dall'allocazione dei dati di addestramento ma può essere efficacemente mitigata attraverso tecniche di compressione al tempo dell'inferenza o addestrando tokenizer BPE a livello di byte bilanciati.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Quando un computer legge una frase, non vede le parole come fa un essere umano. Invece, scompone il testo in piccoli frammenti chiamati token, che sono le unità di base che la macchina utilizza per comprendere il significato e calcolare i costi. Per le lingue scritte con l'alfabeto latino, come l'inglese, questi frammenti sono spesso efficienti perché le lettere stesse occupano pochissimo spazio nella memoria del computer. Tuttavia, per le lingue scritte con l'alfabeto cirillico, come l'ucraino, la situazione è diversa. I caratteri utilizzati in questi alfabeti richiedono più spazio digitale per essere memorizzati e, poiché la maggior parte dei dati utilizzati per addestrare l'intelligenza artificiale è in inglese, il computer ha imparato a gestire il testo inglese in modo molto efficiente, faticando invece con il cirillico. Ciò crea una tassa nascosta: per elaborare la stessa quantità di informazioni, un computer potrebbe dover scomporre una frase ucraina in quasi il doppio dei pezzi rispetto a una inglese, rendendo il processo più lento e costoso.
Un recente studio del ricercatore indipendente Ivan Dobrovolskyi indaga su questa disparità, concentrandosi specificamente sull'ucraino ma trarre conclusioni applicabili a molte altre lingue che utilizzano l'alfabeto cirillico. La ricerca pone una domanda semplice ma critica: perché il computer fatica così tanto con queste lingue e possiamo risolvere il problema senza aspettare una revisione completa della tecnologia? Lo studio suggerisce che il problema non riguarda solo la forma delle lettere o quanto spazio occupano, ma piuttosto il modo in cui il computer è stato istruito a leggerle. Analizzando come i diversi sistemi moderni scompongono il testo, il ricercatore ha scoperto che lo squilibrio deriva dai dati di addestramento stessi. Il computer ha visto molta più letteratura in inglese rispetto all'ucraino, quindi ha imparato meno scorciatoie per la lingua ucraina.
Per misurare l'entità del problema, il ricercatore ha testato nove diversi sistemi commerciali utilizzati da grandi aziende tecnologiche. Ha fornito a questi sistemi milioni di parole di testo ucraino e ha confrontato quanti pezzi ogni sistema creava rispetto ai pezzi creati per l'inglese. I risultati hanno mostrato un divario significativo. Sui sistemi più moderni, il testo ucraino richiedeva tra il 68% e il 121% in più di pezzi rispetto al testo inglese. Sui sistemi più vecchi, il divario era ancora più ampio, raggiungendo il 220% di pezzi in più. Ciò significa che per ogni dollaro speso per elaborare il testo inglese, un utente potrebbe spendere quasi il doppio per elaborare la stessa quantità di testo ucraino, semplicemente perché il computer deve compiere più lavoro per scomporre le parole.
Lo studio ha anche esaminato se il passaggio all'alfabeto latino, un processo noto come romanizzazione, avrebbe risolto il problema. Alcuni hanno suggerito che scrivere l'ucraino con lettere latine renderebbe la lettura per i computer più economica e veloce. Tuttavia, la ricerca ha trovato l'esatto opposto per i sistemi moderni. Poiché questi sistemi hanno già imparato modi efficienti per gestire le lettere cirilliche native presenti sul web ucraino, forzare il testo in lettere latine ha effettivamente confuso il computer. Ciò ha causato la scomposione del testo in ancora più pezzi, aumentando il costo fino al 19% su alcuni sistemi. Il computer funziona meglio con lo script che ha visto più spesso nei suoi dati di addestramento e, per l'ucraino, quello è lo script cirillico nativo.
Per capire se il problema potesse essere risolto alla radice, il ricercatore ha creato un nuovo sistema personalizzato progettato per trattare l'inglese e l'ucraino in modo uguale. Inveve di lasciare che il computer imparasse dalla vasta rete internet dominata dall'inglese, questo nuovo sistema è stato addestrato su un mix perfettamente bilanciato di testo inglese e ucraino. I risultati sono stati sorprendenti. Quando è stato utilizzato questo sistema bilanciato, il divario di efficienza si è ridotto drasticamente. Il testo ucraino non richiedeva più il doppio dei pezzi; richiedeva invece solo circa il 30% di pezzi in più rispetto all'inglese. Questo dimostra che l'alto costo non è un limite fisico inevitabile delle lettere stesse, ma è il risultato di come il computer è stato addestrato. Se i dati di addestramento sono bilanciati, il computer impara a essere efficiente per entrambe le lingue.
La ricerca ha anche esplorato un modo per ridurre i costi senza cambiare l'addestramento del computer. Utilizzando una tecnica che rimuove intelligentemente le parole non necessarie dal testo prima che il computer lo legga, i ricercatori sono riusciti a tagliare quasi la metà del testo ucraino. Fondamentalmente, questa compressione non ha compromesso la capacità del computer di trovare le risposte corrette in un test che coinvolgeva migliaia di prodotti reali e domande dei clienti. Il sistema recuperava comunque i prezzi, le valutazioni e i dettagli corretti con la stessa precisione con cui lo faceva con il testo completo e non compresso. Ciò suggerisce che, sebbene lo squilibrio dell'addestramento sia un problema profondo, esistono modi pratici per abbassare i costi fin da subito, mentre la tecnologia si evolve.
In definitiva, lo studio rivela che l'inefficienza nella lettura delle lingue cirilliche è un problema risolvibile di allocazione dei dati, non un difetto intrinseco degli script. Il computer non è rotto; è semplicemente influenzato dai dati che ha visto di più. Regolando i dati di addestramento per includere maggiormente queste lingue sottorappresentate, o utilizzando strumenti di compressione intelligenti, il divario digitale in termini di costo e velocità può essere colmato. Le scoperte offrono una chiara strada da seguire per rendere l'intelligenza artificiale più equa, garantendo che i benefici di questi potenti strumenti non siano limitati a coloro che scrivono negli script più comuni.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.