Exploring Language-Agnosticity in Function Vectors: A Case Study in Machine Translation

Probleemstelling

Function Vectors (FV's) zijn vectorrepresentaties van taken die worden geëxtraheerd uit modelactivaties tijdens "in-context learning" (ICL). Ze kunnen worden toegevoegd aan de residustroom van een taalmodel om een specifiek gedrag (zoals vertalen) te induceren.
Hoewel eerdere studies hebben aangetoond dat interne representaties in meertalige Large Language Models (LLM's) vaak taalagnostisch zijn (d.w.z. dat semantische concepten onafhankelijk van de taal worden gecodeerd), is het onduidelijk of dit ook geldt voor taalniveau-representaties zoals Function Vectors.
De centrale vraag van dit onderzoek is: Vertonen Function Vectors voor machine vertaling taalagnostisch gedrag? Met andere woorden: werkt een FV die is getraind op één taalkoppeling (bijv. Engels → Frans) ook effectief voor andere doeltaalvarianten (bijv. Engels → Russisch of Engels → Hindi)?

Methodologie

De auteurs voeren een reeks experimenten uit met drie decoder-only meertalige LLM's: Gemma-2-2B, Llama-3.2-3B en Tiny Aya.

1. Extractie van Function Vectors (FV):

   • Ze gebruiken een ICL-prompt met paar-voor-paar voorbeelden (Engelse bronwoorden en hun vertalingen).
   • Om de FV te extraheren, wordt een "corrupted" dataset gemaakt waarbij de vertalingen willekeurig worden door elkaar gehaald (de bron-doel koppeling wordt verbroken).
   • Via activation patching worden de attention-heads geïdentificeerd die het grootste causale effect hebben op de kans van het juiste antwoordtoken.
   • De FV wordt berekend als de som van de gemiddelde output van deze geselecteerde heads en wordt toegevoegd aan de residustroom tijdens inferentie.

2. Experimentele Opzet:

   • Token-niveau: FV's worden getraind op één richting (bijv. EN→FR) en toegepast op een held-out set van 120 Engelse woorden in 10 verschillende doeltaalvarianten (o.a. Spaans, Duits, Russisch, Chinees, Hindi).
   • Meting: Het effect wordt gemeten aan de hand van de verandering in rangorde ($\Delta$rank) van het juiste vertalingstoken in de next-token distributie.
   • Ablatie: De FV wordt verwijderd uit de residustroom om te testen of dit de vertaalkwaliteit verslechtert.
   • Transfer: FV's getraind op basismodellen worden toegepast op instructie-getuned varianten.
   • Zin-niveau: De FV wordt toegepast op volledige zinnen (FLORES-200 dataset) om te testen of het effect generaliseert van woord- naar zin-niveau.

Belangrijkste Bijdragen

1. Aanwijzing van Taalagnostisch Gedrag: Het paper toont aan dat vertaal-FV's, getraind op één enkele Engelse naar X-richting, consistent de rangorde van correcte vertalingen verbeteren in meerdere onzichtbare doeltaalvarianten.
2. Validatie via Overlap: Er is een aanzienlijke overlap gevonden in de top-10 attention-heads die worden geselecteerd voor verschillende vertaaldirectionen, wat suggereert dat er een gedeelde subruimte bestaat voor vertaaltaken.
3. Robuustheid en Generalisatie: De auteurs tonen aan dat dit effect robuust is: het werkt ook bij ablatie (verwijdering verslechtert vertaling), het transferreert van basismodellen naar instructie-getuned modellen, en het generaliseert (hoewel beperkt) van woord- naar zin-niveau vertaling.

Resultaten

• Cross-linguale Transfer: FV's getraind op EN→FR, EN→DE of EN→ES verbeterden allemaal de rangorde van correcte vertalingen in andere talen (zoals Russisch, Hindi, Chinees). De verbetering was het grootst voor talen die in de "schone" (clean) modus een lagere rangorde hadden.
• Locatie in het Model: De positieve effecten van de FV-interventie waren geconcentreerd in een specifiek bandje van middellagen van het model, wat consistent is met eerdere bevindingen over vertalingsmechanismen.
• Ablatie: Het verwijderen van de FV leidde tot een consistente verslechtering van de vertaalkwaliteit over alle geteste talen, zonder dat dit een significant negatief effect had op andere NLP-taken (zoals gedefinieerd in benchmarks zoals MMLU, ARC, etc.). Dit bevestigt dat de FV een specifiek vertaalcomponent vastlegt.
• Token-analyse: De tokens die de grootste kansverhoging kregen na FV-interventie waren vaak plausibele vertalingen in verschillende talen, niet beperkt tot de taal waarin de FV was getraind.
• Zin-niveau: Bij zin-voor-zin vertaling was het effect aanwezig maar zwakker en minder betrouwbaar dan bij woord-voor-woord vertaling. De output behield vaak de semantische betekenis (gemeten met XCOMET), maar de oppervlaktevorm (BLEU-score) varieerde meer, waarschijnlijk door de complexiteit van zinsconstructie.

Betekenis en Conclusie

Dit onderzoek breidt het begrip van taalagnostischheid in LLM's uit. Waar eerdere studies zich richtten op statische representaties, grammaticale concepten en circuits, bewijst dit paper dat Function Vectors (dynamische taakrepresentaties) ook taalagnostisch zijn.

De bevindingen suggereren dat:

1. De computationele mechanismen voor vertaling gedeeld worden over talen binnen een model.
2. Men met één enkele FV (getraind op één taalkoppeling) vertaalfuncties kan "sturen" voor een breed scala aan talen.
3. Deze eigenschappen robuust zijn, zelfs bij overdracht naar instructie-getuned modellen.

Dit opent nieuwe mogelijkheden voor efficiëntere meertalige toepassingen, waarbij men niet per se aparte FV's hoeft te trainen voor elke mogelijke taalkombinatie, en biedt dieper inzicht in hoe LLM's taalkennis structureren.