How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them

1. Il Problema

I modelli linguistici (LM) basati su testo, come GPT-4o o Llama, hanno dimostrato capacità sorprendenti nella generazione di contenuti fonologici (es. rime, conteggio delle sillabe), pur non essendo mai stati addestrati su dati audio. Tuttavia, la loro comprensione della struttura sonora delle parole rimane opaca.

Il paper identifica la tokenizzazione come il collo di bottiglia principale. I tokenizzatori moderni (basati su sub-parole come BPE o SentencePiece) segmentano il testo in base alla frequenza statistica dei caratteri, ignorando completamente la struttura fonologica naturale (sillabe, fonemi). Questo crea due problemi fondamentali:

1. Granularità troppo grossolana: I token possono essere troppo grandi per catturare informazioni fonologiche locali (es. la rima tra "nation" e "station" viene persa se i token non allineano le parti finali).
2. Disallineamento strutturale: I confini dei token spesso non coincidono con i confini delle sillabe naturali, rendendo difficile per il modello apprendere strutture prosodiche globali (es. il numero di sillabe in una parola).

2. Metodologia

Gli autori adottano un approccio sistematico diviso in tre fasi sperimentali:

A. Sondaggio delle Rappresentazioni Latenti (Probing)

Per valutare quanto bene i modelli codifichino le conoscenze fonologiche nei loro stati nascosti, utilizzano probe lineari (classificatori o regressori leggeri) addestrati sugli stati intermedi del modello. Vengono testati tre task:

1. Consapevolezza della Rima: Classificazione binaria per determinare se due parole fanno rima (indipendentemente dall'ortografia).
2. Conversione Grafema-Fonema (G2P): Regressione multi-etichetta per convertire una parola scritta nella sua trascrizione fonetica (ARPAbet).
3. Conteggio delle Sillabe: Regressione per prevedere il numero di sillabe di una parola.

B. Analisi dell'Impatto della Tokenizzazione

Per isolare l'effetto della tokenizzazione, gli autori introducono due approcci:

• Tokenizzazione a Caratteri Finiti: Sperimentano l'inserimento di delimiteri (es. slash /) tra i caratteri delle parole per forzare una granularità più fine, simulando un tokenizzazione a livello di carattere.
• Metrica STAD (Syllabification-Tokenization Alignment Distance): Introducono una nuova metrica quantitativa che misura la distanza di Hamming normalizzata tra i confini di tokenizzazione del modello e i confini delle sillabe naturali (basati sul dizionario CMU).
  • Ipotesi: Un STAD più alto (maggiore disallineamento) porta a prestazioni fonologiche peggiori.
• Analisi dei Cognati: Esaminano se parole con alta variabilità ortografica cross-linguistica (prestiti linguistici, cognati) tendano ad avere un STAD più alto, spiegando perché alcuni tokenizzatori falliscono su certe parole.

C. Miglioramento tramite Fine-Tuning

Poiché modificare il tokenizzatore di un modello fondazionale esistente è invasivo, gli autori propongono un metodo di fine-tuning leggero basato su LoRA (Low-Rank Adaptation).

• Strategia: Creano un dataset di istruzione che integra trascrizioni IPA (Alfabeto Fonetico Internazionale) all'interno di domande di ragionamento generale e task fonologici specifici.
• Obiettivo: Insegnare al modello a ragionare esplicitamente sulla struttura fonetica (IPA) senza sostituire il vocabolario originale, preservando al contempo le capacità di ragionamento generale.

3. Risultati Chiave

• Codifica delle Conoscenze Fonologiche: I modelli analizzati (da BERT a Llama 3) codificano effettivamente informazioni fonologiche nei loro stati nascosti, specialmente negli strati intermedi (20%-60% della profondità). Tuttavia, le prestazioni non sono perfette.
• Impatto della Granularità: L'uso di delimiteri per forzare una tokenizzazione a livello di carattere migliora significativamente la capacità di rilevare le rime in tutti i modelli testati, dimostrando che la granularità del token è un fattore limitante.
• Correlazione STAD-Prestazioni: È stata trovata una forte correlazione negativa tra STAD e prestazioni. Le parole con un basso STAD (token allineati alle sillabe) vengono processate molto meglio nei task di G2P e conteggio delle sillabe rispetto a quelle con alto STAD.
• Ruolo dei Prestiti Linguistici: Le parole con molti cognati o prestiti linguistici (alta variabilità ortografica) tendono ad avere un STAD più alto, confermando che la diversità linguistica nei dati di addestramento contribuisce al disallineamento della tokenizzazione.
• Efficacia del Fine-Tuning IPA: Il modello Llama3.1-8B fine-tunato con dati arricchiti da IPA (Llama3.1-8B-IPA) mostra miglioramenti consistenti in tutti e tre i task fonologici.
  • Migliora significativamente il conteggio delle sillabe e la conversione G2P, specialmente su parole con basso STAD.
  • Trade-off: Si osserva un calo minimo nelle capacità di ragionamento generale (1.1% su GSM8K e 0.9% su MMLU), indicando che il modello non soffre di "dimenticanza catastrofica" e mantiene la maggior parte delle sue abilità originali.

4. Contributi Principali

1. Diagnosi del Problema: Dimostrazione empirica che la tokenizzazione sub-parola limita sistematicamente la rappresentazione della conoscenza fonologica, sia a livello locale (rime) che globale (prosodia).
2. Nuova Metrica (STAD): Introduzione dello Syllabification-Tokenization Alignment Distance come strumento diagnostico semplice e misurabile per valutare la qualità fonologica di un tokenizzatore.
3. Analisi Linguistica: Collegamento tra la variabilità ortografica dei prestiti linguistici/cognati e il fallimento della tokenizzazione nel rispettare i confini sillabici.
4. Soluzione Pratica: Proposta di un metodo di fine-tuning "retrofit" leggero che infonde consapevolezza fonologica (tramite IPA) nei modelli esistenti senza richiedere la ricompilazione del tokenizzatore, offrendo un compromesso favorevole tra specializzazione e capacità generali.

5. Significato e Implicazioni

Questo lavoro sfida l'idea che i modelli linguistici puramente testuali non possano comprendere la fonologia, dimostrando invece che la conoscenza è presente ma "nascosta" o ostacolata dalla rappresentazione dei token.

Le implicazioni sono doppie:

• Progettazione dei Tokenizzatori: Suggerisce che i futuri tokenizzatori dovrebbero essere progettati tenendo conto dei confini fonologici (sillabici) piuttosto che solo della frequenza statistica.
• Addestramento e Inference: Dimostra che è possibile migliorare le capacità fonologiche dei modelli esistenti tramite un'adeguata supervisione esplicita (IPA) durante il fine-tuning, rendendo i modelli più robusti per applicazioni come la generazione di poesia, l'educazione linguistica e l'assistenza all'apprendimento, con un costo computazionale e di capacità generale minimo.

In sintesi, il paper fornisce una mappa chiara di come la struttura del testo (tokenizzazione) influenzi la comprensione del suono nei LM e offre una via pratica per colmare questo divario.