Exploring Language-Agnosticity in Function Vectors: A Case Study in Machine Translation

Titolo: Esplorazione dell'agnosticità linguistica nei vettori di funzione: Uno studio caso nella traduzione automatica

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) multilingue hanno dimostrato che le loro rappresentazioni interne sono spesso "agnostiche rispetto alla lingua": concetti semantici simili in lingue diverse sono mappati in stati vicini nello spazio di attivazione, indipendentemente dall'identità linguistica. Tuttavia, rimane incerto se questa proprietà si estenda anche alle rappresentazioni a livello di compito, in particolare ai Vettori di Funzione (Function Vectors - FV).
I FV sono rappresentazioni vettoriali compatte di un compito, estratte da poche dimostrazioni nell'apprendimento contestuale (In-Context Learning - ICL), che possono essere aggiunte al flusso residuo del modello per indurre un comportamento target. La domanda di ricerca centrale è: un vettore di funzione estratto per tradurre dall'inglese a una specifica lingua (es. Inglese → Francese) può indurre correttamente traduzioni in altre lingue target non viste durante l'estrazione? In altre parole, la computazione sottostante alla traduzione è condivisa tra le lingue o è specifica per ogni coppia linguistica?

2. Metodologia

Gli autori hanno condotto uno studio empirico utilizzando la traduzione automatica come banco di prova, intervenendo su tre modelli LLM decoder-only multilingue: Gemma-2-2B, Llama-3.2-3B e Tiny Aya.

• Estrazione dei FV:

  • Sono stati utilizzati prompt di ICL per la traduzione parola-per-parola (es. "Q: eggs \n A: oeufs").
  • Per ogni compito di traduzione (es. EN→FR), è stato creato un set di prompt "corrotti" mescolando casualmente le parole target rispetto a quelle sorgente, rompendo la mappatura corretta.
  • Utilizzando la tecnica di activation patching, sono stati identificati i "testine di attenzione" (attention heads) il cui output, quando sostituito con la media dei prompt corretti, massimizza la probabilità della risposta corretta.
  • Il vettore di funzione ($v_t$) è definito come la somma degli output medi condizionati al compito di queste testine selezionate.

• Intervento e Valutazione:

  • Aggiunta: Il FV estratto da una direzione specifica (es. EN→FR) è stato aggiunto al flusso residuo durante l'inferenza.
  • Ablazione: È stata rimossa la componente del flusso residuo allineata alla direzione del FV per verificare il degrado delle prestazioni.
  • Metriche:
    • A livello di token: Variazione del rango ($\Delta rank$) del token di traduzione corretto nella distribuzione di probabilità del modello.
    • A livello di frase: Valutazione tramite BLEU e XCOMET su un dataset di 150 frasi (FLORES-200).
  • Scenari di Test:
    1. Trasferimento tra lingue target diverse (es. FV estratto da EN→FR usato per EN→HI, EN→RU, ecc.).
    2. Trasferimento da modello base a versione instruction-tuned.
    3. Generalizzazione da livello di parola a livello di frase.

3. Contributi Chiave

1. Dimostrazione dell'agnosticità linguistica dei FV: È stato provato che i vettori di funzione per la traduzione, estratti da una singola direzione (Inglese $\to$ X), promuovono sistematicamente le traduzioni corrette in molteplici lingue target non viste durante l'estrazione.
2. Analisi delle Testine di Attenzione Condivise: L'analisi ha rivelato un'alta sovrapposizione nelle testine di attenzione selezionate (top-10) tra diverse direzioni di traduzione (es. EN→FR, EN→DE, EN→ES), suggerendo che una parte significativa della computazione della traduzione risiede in meccanismi interni condivisi.
3. Robustezza e Specificità: L'effetto è stato confermato attraverso esperimenti di ablazione (che degradano la traduzione ma non altri compiti) e test di trasferimento su modelli instruction-tuned.
4. Generalizzazione Parziale: È stato mostrato che i FV estratti a livello di parola mantengono un effetto traslativo anche a livello di frase, sebbene con minore affidabilità rispetto al contesto controllato delle singole parole.

4. Risultati Principali

• Trasferimento Cross-Linguistico: L'aggiunta di un FV estratto da EN→FR ha migliorato il rango delle traduzioni corrette non solo in Francese, ma anche in Spagnolo, Tedesco, Italiano, Portoghese, Russo, Arabo, Cinese, Giapponese e Hindi.
• Concentrazione Strutturale: I benefici dell'intervento sono concentrati in una specifica fascia di strati intermedi del modello, coerentemente con studi precedenti sui circuiti di traduzione.
• Analisi degli Token: I token che guadagnano la maggiore probabilità dopo l'iniezione del FV sono traduzioni plausibili nella lingua target, e spesso appaiono traduzioni in lingue diverse da quella di estrazione, confermando un effetto multilingue ampio.
• Ablazione: Rimuovere il FV ha degradato le prestazioni di traduzione in tutte le lingue testate, ma ha lasciato inalterate le prestazioni su benchmark generici (es. MMLU, ARC, BoolQ), dimostrando che il vettore cattura uno spazio vettoriale specifico per la traduzione e non danneggia le capacità generali del modello.
• Trasferimento Base $\to$ Instruction-Tuned: I FV estratti dai modelli base sono stati efficaci anche sui modelli instruction-tuned, sebbene con un effetto leggermente più debole.
• Livello Frase: A livello di frase, l'intervento ha mostrato una generalizzazione parziale. Mentre le metriche semantiche (XCOMET) hanno mostrato che il significato era spesso preservato, le metriche basate sulla sovrapposizione superficiale (BLEU) sono state più basse, indicando che il FV guida il modello verso un comportamento di traduzione semanticamente valido, ma con meno controllo sulla forma superficiale rispetto a un prompt esplicito.

5. Significato e Implicazioni

Questo lavoro estende la comprensione dell'agnosticità linguistica dai livelli di rappresentazione statica e concetti grammaticali al livello di rappresentazioni di compiti dinamici (Function Vectors).

• Implicazioni Teoriche: Suggerisce che i LLM multilingue non codificano la traduzione come una serie di mappature isolate per coppia di lingue, ma possiedono uno spazio computazionale condiviso per l'operazione di traduzione. Questo spazio può essere attivato indipendentemente dalla lingua target specifica.
• Implicazioni Pratiche:
  • Efficienza: Permette di controllare il comportamento di traduzione in molte lingue utilizzando un singolo vettore estratto da una sola direzione, riducendo la necessità di estrazione e memorizzazione di FV specifici per ogni coppia linguistica.
  • Interpretabilità: Conferma che è possibile isolare e manipolare meccanismi causali specifici (come la traduzione) all'interno di modelli complessi senza compromettere le loro capacità generali.
  • Robustezza: Dimostra che queste rappresentazioni di compito sono robuste al passaggio da modelli base a versioni allineate e parzialmente scalabili da parole a frasi.

In sintesi, lo studio conferma che i meccanismi interni dei LLM per la traduzione sono profondamente condivisi tra le lingue, permettendo un controllo direzionale efficace e agnostico rispetto alla lingua target tramite l'uso di vettori di funzione.