See the Text: From Tokenization to Visual Reading

1. Il Problema: I Limiti della Tokenizzazione Sub-word

I moderni Large Language Models (LLM) si basano sulla tokenizzazione sub-word (es. BPE, WordPiece), che frammenta il testo in unità discrete basate su un vocabolario fisso. Sebbene efficace per le lingue ad alta risorsa (come l'inglese), questo approccio presenta gravi svantaggi:

• Sovra-segmentazione nelle lingue a bassa risorsa: Le parole in lingue con meno dati di addestramento vengono spezzate in sequenze lunghe e linguisticamente prive di significato, aumentando il costo computazionale.
• Fragilità al rumore: La tokenizzazione sub-word è estremamente sensibile a errori di battitura, distorsioni dei font o variazioni visive, poiché un piccolo cambiamento può alterare completamente la sequenza di token.
• Perdita della struttura visiva: I modelli ignorano le forme visive, i layout e i pattern morfologici che gli esseri umani utilizzano per leggere in modo robusto (fenomeno della typoglycemia, dove le parole sono leggibili anche con lettere interne mescolate).
• Bias linguistico: I vocabolari sono sbilanciati a favore delle lingue ad alta risorsa, penalizzando quelle a bassa risorsa.

2. Metodologia: SEETOK (Vision-Centric Tokenization)

Gli autori propongono SEETOK, un metodo che abbandona la tokenizzazione simbolica a favore di un approccio centrato sulla visione, ispirato al modo in cui il cervello umano elabora il testo (Area della Forma Visiva delle Parole - VWFA).

Pipeline Tecnica:

1. Visual Rendering: Il testo di input non viene convertito in token ID, ma viene renderizzato come un'immagine RGB (visual-text).
2. Vision-Centric Tokenization: L'immagine viene elaborata da un codificatore visivo (pre-addestrato su modelli multimodali come Qwen2.5-VL o LLaVA) che estrae feature a livello di patch.
3. Proiettore MLP: Un proiettore aggrega le feature delle patch (tipicamente 4 patch adiacenti) e le mappa nello spazio di embedding dell'LLM, sostituendo la tokenizzazione testuale standard.
4. Instruction Tuning con LoRA: Poiché i modelli multimodali (MLLM) non sono stati addestrati a seguire istruzioni presentate come immagini, gli autori applicano LoRA (Low-Rank Adaptation) sia all'encoder visivo che all'LLM.
   • Nota cruciale: Il proiettore (projector) viene mantenuto congelato per preservare l'allineamento visivo-linguistico appreso durante il pre-addestramento su larga scala, evitando il "catastrophic forgetting".
5. Output: Il modello genera la risposta utilizzando la tokenizzazione testuale standard (detokenizzazione), mantenendo l'architettura esistente.

3. Contributi Chiave

• Paradigma Visivo: Sostituzione della tokenizzazione simbolica con una rappresentazione visiva, trattando il testo come un oggetto visivo da riconoscere.
• Efficienza e Compressione: Riduzione drastica del numero di token necessari. SEETOK utilizza 4.43 volte meno token rispetto alla tokenizzazione testuale standard per l'inglese e fino a 13.05 volte per lingue a bassa risorsa (es. Georgiano).
• Robustezza Intrinseca: La rappresentazione visiva preserva la struttura morfologica e spaziale delle parole, rendendo il modello molto più resistente a errori di battitura, rumore visivo e distorsioni.
• Generalizzazione Cross-Linguale: Eliminazione del bias verso le lingue ad alta risorsa, offrendo una rappresentazione compatta e uniforme per qualsiasi script.
• Consapevolezza Strutturale: Migliore capacità di comprendere la composizione interna delle parole (es. conteggio dei caratteri, riordino di parole mescolate), compiti in cui i token sub-word falliscono.

4. Risultati Sperimentali

Il metodo è stato valutato su modelli come Qwen2.5-VL, LLaVA-Next e JanusPro, con risultati superiori o comparabili alla baseline testuale:

• Prestazioni Generali: Su benchmark di ragionamento e QA (TriviaQA, MMLU, SST5), SEETOK raggiunge prestazioni pari o superiori alla tokenizzazione testuale, con un guadagno medio del 10.5% su alcuni task.
• Efficienza Computazionale:
  • Riduzione del 70.5% nei FLOPs (operazioni in virgola mobile).
  • Riduzione della latenza del 33.5%.
  • Riduzione dell'uso di memoria GPU, permettendo di gestire sequenze molto più lunghe (fino a 74k token contro i 50k della baseline) con la stessa memoria.
• Traduzione Multilingua:
  • Migliore qualità di traduzione (COMET-22) per 13 lingue (sia ad alta che a bassa risorsa).
  • Fertilità (Fertility): Riduzione del 86% del numero di token per parola. Per le lingue a bassa risorsa, la fertilità scende da ~3.88 (testo) a ~0.48 (visivo).
• Robustezza al Rumore: In presenza di attacchi visivi, errori di battitura o mescolamento di lettere, SEETOK mostra un calo di accuratezza significativamente inferiore rispetto ai modelli basati su testo.
• Task Strutturali: Migliori risultati nel conteggio dei caratteri e nel riordino di parole (unscrambling), dimostrando che il modello "vede" la struttura interna della parola.

5. Significato e Implicazioni

SEETOK segna un cambio di paradigma fondamentale:

1. Ispirazione Cognitiva: Si allontana dall'elaborazione simbolica astratta per avvicinarsi al modo in cui gli umani leggono (riconoscimento di forme visive), offrendo una maggiore resilienza al rumore.
2. Equità Linguistica: Risolve il problema della sovra-segmentazione nelle lingue a bassa risorsa, rendendo i modelli LLM più accessibili ed efficienti per tutto il panorama linguistico globale.
3. Ottimizzazione delle Risorse: Dimostra che è possibile ottenere prestazioni migliori riducendo drasticamente il costo computazionale e la memoria necessaria, aprendo la strada a modelli più scalabili.
4. Futuro della Ricerca: Suggerisce che la tokenizzazione visiva potrebbe diventare un'interfaccia unificata per l'elaborazione del linguaggio, integrando nativamente le capacità di lettura ottica (OCR) e di comprensione visiva nei modelli linguistici.

In sintesi, SEETOK dimostra che trattare il testo come immagini, sfruttando la potenza degli encoder visivi pre-addestrati, è un'alternativa superiore, più efficiente e robusta alla tokenizzazione sub-word tradizionale.