Multilingual Language Models Encode Script Over Linguistic Structure

Titolo: Encode Script Over Linguistic Structure

Autori: Aastha A K Verma, Anwoy Chatterjee, Mehak Gupta, Tanmoy Chakraborty (IIT Delhi)

---

1. Il Problema

Le Lingue Modelli (LM) multilingue organizzano le rappresentazioni di lingue tipologicamente e ortograficamente diverse in uno spazio dei parametri condiviso. Tuttavia, la natura di questa organizzazione interna rimane poco chiara. La domanda centrale è: le unità linguistiche interne ai modelli codificano l'identità linguistica astratta (struttura profonda, sintassi, genealogia) o sono principalmente guidate da segnali superficiali come l'ortografia (scrittura) e la forma delle parole?

Mentre la ricerca precedente ha dimostrato che è possibile identificare e manipolare neuroni specifici per la lingua, non è stato chiarito se queste unità siano sensibili alla struttura linguistica profonda o se reagiscano semplicemente alle caratteristiche superficiali del testo (es. lo script utilizzato).

2. Metodologia

Gli autori hanno analizzato modelli multilingue compatti e distillati (Llama-3.2-1B e Gemma-2-2B), dove i compromessi rappresentazionali sono più evidenti rispetto ai modelli su larga scala. L'analisi si è svolta a due livelli:

1. Neuroni grezzi (Raw Neurons): Attivazioni dirette dei sottolivelli MLP (Feed-Forward).
2. Feature Sparse: Rappresentazioni latenti sparse estratte tramite Sparse Autoencoders (SAE).

Per identificare le unità associate alla lingua, hanno utilizzato la metrica LAPE (Language Activation Probability Entropy) e la sua estensione SAE-LAPE, che selezionano neuroni o feature con bassa entropia di attivazione per una specifica lingua.

Hanno condotto quattro serie di esperimenti controllati:

• Perturbazione dello Script (Romanizzazione): Hanno convertito testi in script non latini (es. Hindi, Cinese, Russo) in caratteri latini (romanizzati), mantenendo invariato il contenuto lessicale e la struttura. Hanno misurato la sovrapposizione (Jaccard similarity) delle unità attivate tra input nativi e romanizzati.
• Perturbazione Strutturale (Shuffling): Hanno mescolato l'ordine delle parole all'interno delle frasi per testare la stabilità delle unità rispetto alla sintassi.
• Probing Tipologico: Hanno addestrato classificatori lineari per decodificare proprietà tipologiche (genealogia, fonologia, sintassi) dalle attivazioni dei neuroni, utilizzando i dati di lang2vec.
• Interventi Causali: Hanno eseguito ablazioni (rimozione o sostituzione delle attivazioni) su insiemi di neuroni definiti dalla loro invarianza (es. neuroni che rimangono attivi sia per script nativi che romanizzati) per misurare l'impatto sulla generazione (perplessità).

3. Risultati Chiave

A. L'Ortografia è un Barrier alla Astrazione Linguistica

• Frammentazione dello Script: Le unità associate alla lingua sono fortemente condizionate dallo script. Quando una lingua non latina viene romanizzata, attiva un insieme di neuroni quasi disgiunto rispetto all'input nativo.
• Nessuna Convergenza verso l'Inglese: Contrariamente alle aspettative, i testi romanizzati non si allineano né con le rappresentazioni native né con l'inglese. Creano invece un sottospazio latente isolato, condizionato dallo script, che rimane distinto anche nelle layer profonde.
• Conclusione: La "identità linguistica" nei modelli è frammentata: il modello tratta la stessa lingua scritta in script diversi come entità quasi separate.

B. Robustezza alla Struttura Sintattica

• Invarianza all'Ordine: Lo sconvolgimento dell'ordine delle parole (shuffling) ha un effetto limitato sull'identità delle unità linguistiche. La maggior parte dei neuroni associati alla lingua rimane stabile.
• Implicazione: Le rappresentazioni linguistiche dipendono più da statistiche lessicali e indizi ortografici che dalla struttura sintattica profonda. Le feature sparse mostrano una certa instabilità selettiva per le lingue con script latini, ma i neuroni grezzi rimangono robusti.

C. Accessibilità della Struttura Tipologica

• Emergenza Graduale: Le proprietà tipologiche (es. famiglia linguistica, fonologia) diventano linearmente accessibili man mano che si scende nelle layer profonde del modello.
• Correlazione con l'Invarianza: I neuroni che sono invarianti allo script (attivi sia per input nativi che romanizzati) mostrano la più forte allineamento con la struttura tipologica. Al contrario, i neuroni specifici per uno script codificano segnali tipologici più deboli.
• Gerarchia: Le proprietà genealogiche sono decodificabili già nelle layer iniziali, mentre quelle fonologiche più astratte emergono solo nelle layer più profonde.

D. Ruolo Causale nella Generazione

• Invarianza = Necessità Funzionale: Gli interventi causali rivelano che i neuroni invarianti alle perturbazioni superficiali (sia di script che di ordine delle parole) sono quelli causalmente necessari per una generazione stabile.
• Effetti delle Ablazioni:
  • Ablare i neuroni "overlap" (invarianti) causa gravi degradazioni, come il mescolamento di script all'interno delle parole (es. caratteri latini inseriti in parole in Devanagari) e cambi di lingua improvvisi.
  • Ablare i neuroni specifici per lo script o per l'ordine delle parole ha effetti minori o induce semplicemente un cambio di lingua senza degradare la coerenza strutturale.
• Paradosso: Sebbene la struttura tipologica sia accessibile (decodificabile) nelle layer profonde, non è l'unità che guida la generazione. La generazione dipende dalla robustezza alle variazioni superficiali.

4. Contributi Principali

1. Sfatare il Mito dell'Interlingua Unificata: Dimostrano che i modelli multilingue non convergono verso uno spazio latente astratto e agnostico alla lingua. Invece, organizzano le rappresentazioni attorno a segnali superficiali (script).
2. Distinzione tra Accessibilità e Necessità Funzionale: Evidenziano una separazione critica: la struttura linguistica profonda è presente e decodificabile (accessibilità), ma non è il motore primario della generazione (necessità funzionale). La generazione è guidata da unità invarianti alle perturbazioni superficiali.
3. Metodologia Integrata: Combinano l'identificazione di neuroni (LAPE), la decomposizione sparsa (SAE), il probing e gli interventi causali per fornire una visione olistica dell'organizzazione multilingue.
4. Frammentazione della Capacità: Introducono il concetto di "frammentazione della capacità", dove il modello alloca risorse separate per varianti ortografiche superficiali della stessa lingua, limitando l'efficienza dell'apprendimento cross-lingua.

5. Significato e Implicazioni

• Trasferimento Cross-Lingua: Il forte legame con l'ortografia suggerisce che il trasferimento tra lingue è più fragile di quanto si pensi. La semplice romanizzazione o normalizzazione dello script non garantisce un allineamento delle rappresentazioni interne.
• Sicurezza e Controllo: Le variazioni di script possono reindirizzare gli input attraverso percorsi interni diversi, spiegando perché prompt in lingue diverse o con script diversi possono alterare il comportamento del modello (inclusi i jailbreak). Il controllo della lingua potrebbe essere mediato dalla robustezza alle variazioni superficiali piuttosto che da moduli astratti.
• Sviluppo di Modelli: Per migliorare i modelli multilingue, è necessario affrontare la frammentazione rappresentazionale causata dallo script, piuttosto che affidarsi solo all'aumento della scala del modello.

In sintesi, il paper conclude che i modelli multilingue organizzano le loro rappresentazioni attorno alla forma superficiale (script), e che l'astrazione linguistica emerge gradualmente nelle layer profonde ma rimane distribuita e non si fonde in un'unica interlingua unificata. La stabilità della generazione dipende dall'invarianza rispetto alle perturbazioni superficiali, non dall'allineamento tipologico.