Language Steering for Multilingual In-Context Learning

Titolo: Language Steering for Multilingual In-Context Learning

Autori: Neeraja Kirtane, Kuan-Hao Huang (Texas A&M University)

---

1. Il Problema

I grandi modelli linguistici (LLM) mostrano capacità multilingue notevoli, ma persiste un divario significativo di prestazioni tra l'inglese (lingua ad alta risorsa) e le lingue a bassa risorsa. Questo squilibrio limita l'accesso equo alle tecnologie linguistiche.
La domanda centrale della ricerca è: questo divario riflette un limite fondamentale del modello o la conoscenza cross-linguale è già codificata internamente, ma non attivata correttamente?
Nello specifico, il paper si concentra sul Multilingual In-Context Learning (ICL), dove le dimostrazioni (few-shot) sono fornite in inglese (fonte), ma la query di test è in una lingua target diversa. Spesso, i modelli falliscono nel trasferire la comprensione del compito dalla lingua fonte a quella target, suggerendo che il modello fatica a "cambiare modalità" linguistica interna pur mantenendo la logica del compito.

2. Metodologia: Language Vectors

Gli autori propongono un approccio senza addestramento (training-free) basato sull'idea che l'identità linguistica occupi direzioni strutturate e separabili nello spazio di attivazione del modello.

Concetto Chiave

Se il modello opera in uno spazio semantico universale, passare da una lingua all'altra dovrebbe richiedere solo un semplice offset di attivazione.

Procedura in Tre Fasi

1. Estrazione (Extraction):

   • Vengono raccolti esempi paralleli (domanda-risposta) in inglese (fonte, $L_s$) e nella lingua target ($L_t$).
   • Si estraggono gli stati nascosti ($h$) dal modello LLM a un layer specifico $t$ per entrambi gli esempi.
   • Gli stati vengono aggregati tramite mean-pooling su tutti i token dell'esempio per ottenere un vettore rappresentativo per campione.

2. Computazione del Vettore (Vector Computation):

   • Si calcola la differenza media delle attivazioni tra gli esempi nella lingua target e quelli nella lingua fonte:
     $$v(t) = \frac{1}{N} \sum_{i=1}^{N} (h_i^{L_t}(t) - h_i^{L_s}(t))$$
   • Il risultato è un vettore di steering linguistico ($v(t)$) che codifica la direzione nello spazio delle rappresentazioni necessaria per passare dall'inglese alla lingua target.

3. Steering durante l'Inferenza (Inference-Time Steering):

   • Durante l'inferenza, quando si presenta un prompt con dimostrazioni in inglese e una domanda in lingua target, si aggiunge il vettore precalcolato agli stati nascosti a un layer specifico $t$.
   • La modifica è: $h'_p(t) = h_p(t) + \alpha \cdot v(t)$, dove $\alpha$ è un fattore di scala iperparametrico.
   • Questo spinge le rappresentazioni interne del modello verso la modalità della lingua target, facilitando il ragionamento nella lingua corretta senza aggiornare i parametri del modello.

3. Contributi Chiave

1. Introduzione dei "Language Vectors": Un metodo di steering che estende il lavoro precedente sull'attivazione steering al contesto dell'ICL multilingue, focalizzandosi sull'accuratezza del compito downstream piuttosto che sulla semplice fedeltà della lingua di output.
2. Valutazione Empirica Completa: Sperimentazioni su 3 dataset (MGSM per ragionamento matematico, MSVAMP per problemi aritmetici, XNLI per inferenza linguistica), 19 lingue e 3 modelli (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B).
3. Struttura Linguistica Interpretabile: Dimostrazione che i vettori codificano una struttura linguistica significativa:
   • Lingue strettamente correlate formano cluster compatti nello spazio vettoriale.
   • La norma del vettore riflette la distanza tipologica e scritturale dall'inglese.
4. Trasferibilità Cross-Task: I vettori calcolati su un compito (es. ragionamento matematico) funzionano efficacemente su altri compiti (es. inferenza), suggerendo che catturano l'identità linguistica generale e non solo rappresentazioni specifiche del task.

4. Risultati

• Miglioramenti di Prestazione: Il metodo proposto ha mostrato miglioramenti coerenti rispetto ai baseline (sia il baseline monolingue inglese che il baseline few-shot multilingue) su quasi tutte le lingue e i task.
  • I guadagni sono stati particolarmente significativi nel ragionamento matematico strutturato (MGSM), con miglioramenti fino al 5.4% rispetto al baseline.
  • Su XNLI e MSVAMP i miglioramenti sono stati più variabili ma generalmente positivi.
• Efficienza: Il metodo non richiede fine-tuning, aggiornamenti dei parametri o dati aggiuntivi oltre a un piccolo set di calcolo per derivare i vettori.
• Analisi dei Layer: I layer intermedi (es. layer 10 su Llama-3.1-8B) si sono rivelati i più efficaci per l'iniezione del vettore, specialmente per compiti di inferenza linguistica, mentre i layer più bassi sono stati preferibili per il ragionamento matematico.
• Geometria dei Vettori: L'analisi di clustering gerarchico ha mostrato che i vettori raggruppano le lingue in modo coerente con le famiglie linguistiche e le caratteristiche della scrittura (es. il cirillico per il russo, l'indoeuropeo per spagnolo/francese), confermando che l'identità linguistica è una direzione strutturata nello spazio di attivazione.

5. Significato e Implicazioni

Questo lavoro fornisce prove empiriche a sostegno dell'ipotesi che l'identità linguistica nei LLM sia codificata in direzioni lineari e separabili nello spazio di attivazione.

• Accessibilità: Offre una soluzione pratica ed economica per migliorare le prestazioni dei modelli su lingue a bassa risorsa senza costosi ri-addestramenti.
• Interpretabilità: Contribuisce alla comprensione meccanicistica di come i modelli gestiscono il multilinguismo, suggerendo che la conoscenza cross-linguale è presente ma "nascosta" e può essere sbloccata tramite interventi diretti sulle attivazioni.
• Limiti: L'approccio richiede dati paralleli per il calcolo dei vettori e la selezione degli iperparametri (layer, scala) deve essere fatta per ogni lingua, il che potrebbe limitare l'applicabilità immediata a lingue completamente prive di dati paralleli.

In sintesi, il paper dimostra che un semplice offset di attivazione può reindirizzare efficacemente la modalità linguistica di un modello, colmando il divario di prestazioni nell'in-context learning multilingue e rivelando una struttura geometrica ordinata nell'identità linguistica dei LLM.