Sintesi Tecnica: Il Substrato Latino nei Large Language Models

Definizione del Problema

Molte lingue sono scritte in molteplici sistemi di scrittura (ad esempio, l'hindi in Devanagari e in Latino, il serbo in Cirillico e in Latino). Sebbene i Modelli Linguistici Multilingue (LLM) possano generare contenuti linguistici equivalenti attraverso questi distinti sistemi ortografici, i meccanismi interni che mediano la variazione di script rimangono scarsamente compresi. Studi precedenti suggeriscono che le rappresentazioni siano parzialmente condivise tra gli script, con fenomeni come la "romanizzazione latente" osservati dove gli strati intermedi rappresentano transitoriamente informazioni in forma latina. Tuttavia, non è chiaro come gli LLM instradino le informazioni tra gli script, se si affidino a rappresentazioni latenti condivise e se componenti architettoniche specifiche siano responsabili della selezione dello script.

Metodologia

Gli autori impiegano un approccio multifacettato che combina l'analisi rappresentazionale, lo steering lineare e la localizzazione meccanicistica su quattro LLM open-source istruiti per l'istruzione (Llama-3.1-8B/70B e Aya-Expanse-8B/32B), con un focus specifico su hindi e arabo.

1. Analisi dell'output per strato (Logit Lens): Utilizzando la tecnica del logit lens, gli autori decodificano le attivazioni degli strati intermedi per osservare la distribuzione del prossimo token durante i compiti di traslitterazione. Quantificano la "frazione latente" — la proporzione di timestep in cui i subword romanizzati appaiono nella top-1 predizione — per rilevare rappresentazioni latine intermedie.
2. Analisi Rappresentazionale:
   • Separabilità: Misurano la separabilità dello script utilizzando probe lineari, similitudine del coseno e rapporti discriminanti di Fisher sugli stati nascosti mediati (mean-pooled) di frasi native rispetto a quelle romanizzate.
   • Steering: Costruiscono vettori di steering lineare ($v_{nat2lat}$ e $v_{lat2nat}$) basati sulla differenza nelle rappresentazioni nascoste medie tra le classi di script. Questi vettori vengono applicati al residuo (residual stream) per testare se l'identità dello script possa essere invertita preservando la semantica.
   • Generalizzazione: I vettori di steering derivati da hindi e arabo vengono applicati a lingue non viste (ad esempio, russo, giapponese, thailandese) per testare assi di script indipendenti dalla lingua.
3. Analisi Meccanicistica (Activation Patching): Gli autori utilizzano il patching di attivazione controfattuale per localizzare specifici head di attenzione che mediano causalmente la scelta dello script. Scambiando le attivazioni tra esecuzioni native e latine, misurano il cambiamento nei log-odds di produrre token in script nativo rispetto a script latino. Validano questi risultati attraverso interventi mirati (azzeramento o patching di subset specifici di head) su prompt tenuti separati (held-out).

Risultati Chiave

1. Romanizzazione Latente

Durante i compiti di traslitterazione, i modelli mostrano costantemente una romanizzazione latente. Negli strati medi-superiori (ad esempio, strati 20–40 in Llama-3.1-8B), la predizione interna del modello si allinea transitoriamente con i subword romanizzati prima di impegnarsi sullo script target finale. Ciò suggerisce che lo script latino agisca come un ponte di rappresentazione intermedia condivisa durante la trasformazione dello script.

2. Asimmetria Rappresentazionale e Steering

• Separabilità: L'informazione dello script diventa sempre più separabile attraverso gli strati, con cluster distinti per diversi script che emergono principalmente nel terzo superiore della rete.
• Steering Lineare: Una semplice direzione di steering lineare può invertire lo script di output del modello pur preservando ampiamente il contenuto semantico.
• Asimmetria Direzionale: L'effetto di steering è asimmetrico. Convertire il non-latino in latino ($lat2nat$) è altamente affidabile e richiede una forza di intervento inferiore. Al contrario, convertire il latino in non-latino ($nat2lat$) è meno stabile e spesso produce output che derivano verso vari script non latini piuttosto che verso un singolo target. Ciò implica che il latino occupi una regione "diffusa" nello spazio di rappresentazione, mentre gli script non latini formino cluster più stretti e distinti.

3. Localizzazione Meccanicistica di un "Gate di Mediazione dello Script"

• Gate Non-Latino Compatto: L'analisi causale rivela che la generazione di script non latini è mediata da un piccolo e compatto insieme di head di attenzione negli strati tardivi (ad esempio, L30H20, L30H23, L26H7 in Llama-3.1-8B). Il patching di soli cinque di questi head è sufficiente per invertire lo script di output dal latino a uno script nativo (ad esempio, Devanagari) con un alto tasso di successo.
• Generazione Latina Diffusa: Al contrario, la generazione in script latino non dipende da un circuito specifico e localizzato. Invece, emerge da contributi diffusi e a bassa magnitudo da molti head. Rimuovere il "gate non-latino" causa il ripiego del modello verso l'output latino per una parte dei prompt, suggerendo che il latino sia il substrato di fallback del modello.
• Agnosticismo Linguistico: Gli head identificati si trasferiscono tra lingue e sistemi di scrittura non correlati. Gli head identificati usando hindi o arabo riescono a reindirizzare con successo gli script di output in russo (Cirillico), marathi (Devanagari), urdu (Perso-Arabo), greco e giapponese, indicando un meccanismo di routing dello script agnostico rispetto alla lingua.

Significato e Rivendicazioni

Il documento sostiene di fornire la prima analisi unificata di come gli LLM rappresentino e medino internamente molteplici script. La scoperta centrale è che lo script latino funziona come un substrato privilegiato per le rappresentazioni della lingua superficiale negli LLM.

• Substrato Privilegiato: Il modello organizza la variazione di script attorno a rappresentazioni latenti condivise allineate con il latino. Gli output non latini sono prodotti tramite un meccanismo di routing dedicato, identificabile e compatto (il "gate"), mentre gli output latini emergono dai percorsi di elaborazione predefiniti e diffusi della rete.
• Insight Meccanicistico: Il lavoro identifica un insieme specifico e trasferibile di head di attenzione che controllano causalmente la scelta dello script, dimostrando che il routing dello script è implementato da componenti agnostici rispetto alla lingua piuttosto che da percorsi di elaborazione completamente separati per ogni script.
• Implicazioni per la Comprensione: Queste scoperte suggeriscono che la dominanza dello script latino nei dati di pre-training abbia plasmato la geometria interna degli LLM, creando un'architettura asimmetrica dove il latino è lo "stato fondamentale" (ground state) e gli script non latini richiedono un gating attivo e localizzato per essere generati.

Gli autori segnalano limitazioni, tra cui il focus su specifici modelli open-source e lingue con convenzioni di romanizzazione consolidate, riconoscendo che modelli addestrati su distribuzioni di dati diverse o modelli chiusi potrebbero esibire meccanismi qualitativamente differenti.