Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs

Sintesi Tecnica: Il Ruolo dell'Allineamento Cross-Lingua nelle Prestazioni Multilingue degli LLM

Definizione del Problema
I Large Language Models (LLM) dimostrano capacità multilingue impressionanti, eseguendo con successo compiti di Natural Language Understanding (NLU) in lingue diverse dall'inglese nonostante siano stati addestrati prevalentemente su testi in inglese. Sebbene le architetture solo-encoder abbiano dimostrato che la conoscenza si trasferisce dalle lingue ad alta risorsa a quelle a bassa risorsa, i meccanismi che guidano questa generalizzazione negli LLM solo-decoder rimangono scarsamente compresi. Nello specifico, non è chiaro se la capacità di un LLM di allineare le rappresentazioni di input non inglesi con i loro corrispondenti paralleli in inglese influenzi causalmente le prestazioni su singoli casi di task. Studi precedenti hanno stabilito correlazioni tra l'allineamento cross-lingua e l'accuratezza multilingue a livello di lingua utilizzando metriche aggregate, ma tali studi non spiegano come l'allineamento delle rappresentazioni influenzi il comportamento del modello su specifiche istanze di NLU.

Metodologia
Gli autori propongono un framework per investigare l'allineamento cross-lingua a livello di istanza e stabilire un legame causale tra allineamento e successo del task.

1. Metriche di Allineamento a Livello di Istanza:
   Il documento introduce tre metriche per quantificare l'allineamento per compiti NLU discriminativi (Multiple-Choice Question Answering):

   • DALI (Discriminative Alignment Index): Un punteggio binario che indica se la similarità del coseno tra coppie premise-ending cross-lingue corrispondenti supera quella delle coppie non corrispondenti all'interno di una specifica istanza.
   • DALIst: Una variante più rigorosa di DALI che richiede che le coppie cross-lingue corrispondenti superino anche la similarità delle coppie non corrispondenti all'interno della stessa lingua, mitigando i falsi positivi causati dall'anisotropia nelle rappresentazioni dei transformer.
   • MEXAT: Una variante specifica per il task della metrica MEXA esistente, calcolata utilizzando le premesse del task piuttosto che corpora paralleli generici.

2. Disegno Sperimentale:

   • Dataset: Lo studio utilizza tre benchmark NLU multilingue (Belebele, Xstorycloze, Xcopa) contenenti coppie premise-option parallele in 24 lingue.
   • Categorizzazione dei Campioni: Le istanze sono categorizzate in Transfer Success (TS) (corretto sia in inglese che in non-inglese) e Transfer Failure (TF) (corretto in inglese, errato in non-inglese).
   • Analisi Associativa: Gli autori confrontano i punteggi di allineamento (DALI, DALIst, MEXAT) dei campioni TS e TF attraverso i layer del transformer per determinare se i trasferimenti di successo esibiscano un maggiore allineamento.
   • Activation Patching: Per stabilire la causalità, gli autori eseguono l'activation patching su istanze TF. Sostituiscono gli stati nascosti ($h^\lambda$) di un forward pass non-inglese fallito con gli stati corrispondenti di un forward pass inglese riuscito in specifici layer ($\lambda$).
   • Esperimenti di Controllo: Per garantire che il patching corregga sulla base dell'allineamento semantico e non semplicemente iniettando il token target (ad esempio, la scelta della risposta 'A' o 'B'), gli autori eseguono il controllo tramite patching utilizzando campioni inglesi non correlati che condividono lo stesso token target ma differiscono per semantica.

Risultati Chiave

• Associazione con il Successo: In 33 combinazioni lingua-benchmark-metrica, le istanze di Transfer Success (TS) mostrano costantemente punteggi di allineamento cross-lingua più elevati rispetto alle istanze di Transfer Failure (TF). Questa associazione è statisticamente significativa in 8 casi e positiva in 30, suggerendo che un migliore allineamento correla con un successo nel trasferimento.
• Effetti Specifici per Layer: L'analisi rivela che l'allineamento cross-lingua raggiunge il picco nei middle layers del transformer (approssimativamente tra i layer 14 e 25).
• Evidenza Causale tramite Patching:
  • Il patching delle attivazioni inglesi nei middle layer di istanze non-inglesi fallite aumenta significamente la probabilità che il modello passi alla risposta corretta.
  • Il "flip rate" (percentuale di predizioni corrette) è massimo quando il patching avviene in questi middle layer.
  • Specificità Semantica: Gli esperimenti di controllo dimostrano che i patch inglesi semanticamente equivalenti sono significativamente più efficaci nel correggere le predizioni rispetto ai patch di controllo (campioni inglesi non correlati con lo stesso token di risposta), confermando che la correzione è guidata dall'allineamento semantico e non dalla mera iniezione del token target.
• Analisi dell'Entropia: Le correzioni ottenute attraverso patch semanticamente equivalenti risultano in un'entropia di output inferiore (maggiore confidenza) rispetto ai patch di controllo, suggerendo che l'allineamento stabilizzi il processo decisionale del modello.

Contributi Chiave

1. Metriche a Livello di Istanza: L'introduzione di DALI e DALIst, che vanno oltre l'analisi aggregata a livello di lingua per quantificare l'allineamento su base singola per compiti discriminativi.
2. Validazione Causale: Fornire evidenza causale attraverso l'activation patching che il disallineamento nei middle layer è un driver primario dei fallimenti cross-lingua. Lo studio dimostra che "forzare" l'allineamento iniettando rappresentazioni inglesi può rettificare gli errori non-inglesi.
3. Chiarificazione del Meccanismo: Il lavoro supporta l'ipotesi che gli LLM solo-decoder elaborino il testo non-inglese effettuando un pivot implicito attraverso le rappresentazioni inglesi nei middle layer, dove avviene il ragionamento language-agnostic.

Significatività e Rivendicazioni
Il documento sostiene di colmare il divario tra gli studi correlazionali sull'allineamento multilingue e i meccanismi causali del comportamento del modello. Dimostrando che l'allineamento semantico cross-lingua nei layer medi localizzati contribuisce causalmente alla correttezza, gli autori argomentano che il "pivot attraverso l'inglese" non è solo un artefatto statistico ma un meccanismo funzionale per il ragionamento.

Gli autori inquadrano modestamente i loro risultati come prova che l'allineamento è una componente necessaria per il successo del trasferimento in compiti discriminativi. Notano che, sebbene il patching possa correggere gli errori, non corregge tutte le istanze, implicando che altri fattori possano contribuire al fallimento. Il documento conclude che questi risultati motivano ricerche future sullo steering al momento dell'inferenza per sfruttare attivazioni inglesi ad alta fedeltà per migliorare le prestazioni non-inglesi, pur mettendo in guardia contro potenziali svantaggi come l'inflazione della confidenza o la cancellazione della conoscenza locale non-inglese. Lo studio è limitato ai compiti NLU discriminativi e all'allineamento bilingue (non-inglese verso inglese), escludendo l'allineamento tra altre coppie linguistiche.