Language Steering for Multilingual In-Context Learning

Titel: Taalsturing voor Meertalig In-Context Leren (Language Steering for Multilingual In-Context Learning)

Auteurs: Neeraja Kirtane en Kuan-Hao Huang (Texas A&M University)

---

1. Het Probleem

Grote Taalmodellen (LLM's) tonen opmerkelijke meertalige capaciteiten, maar er blijft een aanzienlijke prestatiekloof bestaan tussen Engels (een hoog-resourced taal) en laag-resourced talen. Deze dispariteit is vooral zichtbaar bij meertalig In-Context Leren (ICL). In een typisch ICL-scenario worden voorbeelden (demonstraties) in een hoog-resourced taal (zoals Engels) gepresenteerd, maar is de testvraag in een andere taal. Modellen falen vaak om hun taakbegrip succesvol over te dragen van de demonstratietaal naar de doeltaal, wat leidt tot een daling in prestaties.

De centrale onderzoeksvraag is: Is deze kloof een fundamentele beperking van het model, of zit de benodigde kennis al intern opgeslagen en wacht deze alleen op activering? De auteurs hypotheseren dat taalidentiteit een gescheiden richting inneemt in de activatieruimte van het model, en dat het toevoegen van een eenvoudige "offset" (verschuiving) aan de interne representaties voldoende zou moeten zijn om het model naar de doeltaal te sturen zonder het model opnieuw te trainen.

2. Methodologie: Taalvectoren (Language Vectors)

De auteurs stellen een training-vrije methode voor die gebruikmaakt van activatie-sturing (activation steering). Het proces verloopt in drie stappen (zoals geïllustreerd in Figuur 1 van het paper):

1. Extractie (Extraction):

   • Er worden parallelle voorbeelden verzameld in de brontaal (Engels) en de doeltaal.
   • Voor elk paar voorbeeld wordt de verborgen toestand (hidden state) geëxtraheerd op een specifieke laag $t$ van het LLM.
   • De auteurs gebruiken een mean-pooling over alle token-posities binnen een voorbeeld (in plaats van alleen het laatste token) om een enkele vector per voorbeeld te krijgen.

2. Vectorberekening (Vector Computation):

   • De taalvector $v(t)$ wordt offline berekend als het gemiddelde verschil in activaties tussen de doeltaal ($h^{L_t}$) en de brontaal ($h^{L_s}$) over $N$ voorbeelden:
     $$v(t) = \frac{1}{N} \sum_{i=1}^{N} (h^{L_t}_i(t) - h^{L_s}_i(t))$$
   • Deze vector representeert de richting in de activatieruimte die nodig is om van de Engelse representatie naar de doeltaal-representatie te verschuiven.

3. Sturing tijdens Inferentie (Inference-Time Steering):

   • Tijdens het genereren van een antwoord op een testvraag in de doeltaal (met Engelse few-shot voorbeelden), wordt de berekende vector toegevoegd aan de verborgen toestanden op specifieke token-posities:
     $$h'_p(t) = h_p(t) + \alpha \cdot v(t)$$
   • Hierbij is $\alpha$ een schalingsfactor (hyperparameter) die de sterkte van de sturing bepaalt.
   • De sturing kan worden toegepast op verschillende posities: alleen op de few-shot voorbeelden, alleen op de testvraag, op de grens ertussen, of op de volledige prompt.

3. Belangrijkste Bijdragen

1. Introductie van Taalvectoren: Een nieuwe, training-vrije aanpak voor meertalig ICL die eerder werk over activatiesturing uitbreidt naar een few-shot QA-formaat.
2. Uitgebreide Empirische Evaluatie: Tests uitgevoerd op drie datasets (MGSM voor wiskundig redeneren, MSVAMP voor rekenproblemen, XNLI voor natuurlijke taal-inferentie), 19 talen en drie modellen (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B).
3. Interpreteerbare Taalstructuur: Het aantonen dat de vectoren betekenisvolle linguïstische structuur coderen. Taalvectoren van taalkundig verwante talen vormen strakke clusters, en de norm van de vector correleert met de typologische afstand tot het Engels.
4. Cross-task Transfer: Het bewijs dat deze vectoren overdraagbaar zijn tussen verschillende taken (bijv. van wiskunde naar taal-inferentie), wat suggereert dat ze de taalidentiteit vangen en niet slechts taalspecifieke patronen.

4. Resultaten

De resultaten tonen consistente verbeteringen ten opzichte van baselines (zoals puur Engelse few-shot prompts en meertalige few-shot prompts):

• Prestatieverbetering: De methode verbetert de prestaties op bijna alle geteste talen en taken. De verbetering is het meest opvallend bij wiskundig redeneren (MGSM), waar de methode de baseline met ongeveer 2,9% tot 5,4% overtreft.
• Vergelijking met Baselines:
  • Op MGSM (wiskunde) presteert de methode consequent beter dan de meertalige few-shot baseline (MFS).
  • Op XNLI en MSVAMP zijn de resultaten gemengder; de methode presteert vaak beter dan de Engelse baseline, maar de MFS-baseline is soms concurrerend, vooral bij rekenproblemen waar diverse voorbeelden waardevol zijn.
• Cross-task Transfer: Vectoren berekend op de ene taak (bijv. MGSM) werken vaak goed op een andere taak (bijv. XNLI), wat bevestigt dat de vectoren algemene taalidentiteit vangen. Er is echter een uitzondering: vectoren van MSVAMP (wiskunde) werken slecht op XNLI, wat suggereert dat wiskundige vectoren taak-specifieke patronen bevatten die schadelijk kunnen zijn voor taalkundige inferentie.
• Interpretatie:
  • Laag-selectie: Vroege tot middelste lagen (bijv. laag 5-10) zijn het meest effectief voor sturing.
  • Linguïstische Clustering: Hierarchische clustering van de vectoren toont aan dat verwante talen (zoals Catalaans en Galicisch, of Hindi en Urdu) dicht bij elkaar liggen in de vectorruimte, terwijl talen met een ander schrift (zoals Japans of Thai) verder weg liggen, ongeacht de resourcetoestand.

5. Betekenis en Conclusie

Dit paper levert een sterk empirisch bewijs voor de hypothese dat taalidentiteit een gestructureerde en gescheiden richting inneemt in de activatieruimte van LLM's.

• Praktische Impact: De methode biedt een efficiënte manier om de prestaties van bestaande modellen in laag-resourced talen te verbeteren zonder de kosten en het datavolume van fine-tuning. Het is een "plug-and-play" oplossing die werkt tijdens de inferentie.
• Theoretische Inzicht: Het werk versterkt het begrip van mechanische interpreteerbaarheid (mechanistic interpretability) door te tonen dat concepten zoals "taal" lineair en manipuleerbaar zijn in de interne representaties van transformers.
• Toekomstperspectief: Hoewel de methode veelbelovend is, zijn er beperkingen, zoals de afhankelijkheid van parallelle data voor het berekenen van de vectoren en de noodzaak van validatie voor hyperparameters per taal. Toekomstig werk kan zich richten op het toepassen van deze techniek op generatieve taken (zoals samenvattingen) en het elimineren van de noodzaak voor parallelle data.

Kortom, de auteurs bewijzen dat een simpele verschuiving in de interne activaties van een model voldoende is om de "taalmodus" te veranderen en zo de kloof in meertalig in-context leren te overbruggen.