Technische Samenvatting: Cross-Lingual Activation Steering voor Multilinguale Taalmodellen

Probleemstelling

Grote taalmodellen (LLM's) vertonen aanzienlijke prestatieverschillen tussen dominante (hoog-resource) en niet-dominante (laag-resource) talen. Deze kloof wordt primair toegeschreven aan de scheefheid van de pre-training corpora naar dominante talen, wat leidt tot ongebalanceerde representaties waarbij gedeelde en taalspecifieke neuronen niet optimaal verdeeld zijn. Hoewel het uitbreiden van trainingsdata of het fine-tunen van modellen veelvoorkomende oplossingen zijn, zijn deze vaak kostenprohibitief of onhaalbaar vanwege dataschaarste. Bestaande interventies op neuron-niveau hebben gemengde resultaten opgeleverd, waarbij sommige benaderingen proberen activaties te overschrijven met statistische constanten, wat effectief de input-afhankelijke signalen wist.

Methodologie: Cross-Lingual Activation Steering (CLAS)

De auteurs stellen Cross-Lingual Activation Steering (CLAS) voor, een training-vrije interventie tijdens de inferentie, ontworpen om gedeelde en taalspecifieke representaties te herbalanceren zonder de modelgewichten aan te passen. CLAS werkt via drie primaire stadia:

1. Parallelle Input Constructie: De methode maakt gebruik van uitgelijnde meertalige inputs (parallelle zinnen over talen heen) om het gedrag van neuronen te analyseren. Deze inputs worden uitsluitend gebruikt voor het meten van activaties en worden niet gebruikt om het model bij te werken.
2. Neuron Categorisatie en Bridge Layer Selectie:
   • Neuronen worden op dataset-niveau gecategoriseerd (met behulp van 100 parallelle samples uit XQuAD) in vier groepen: dead (dood), language-specific (taalspecifiek), partial-shared (gedeeltelijk gedeeld) en all-shared (volledig gedeeld). In tegen tegenstelling tot eerder werk dat op instantie-niveau categoriseert, wijst deze benadering stabiele categorieën toe aan neuronen op basis van geaggregeerde statistieken.
   • Analyse toont aan dat partial-shared neuronen het meest prevalent zijn in specifieke "bridge layers" (bijv. lagen 24–29 in LLaMA, 24–25 in Qwen). Deze lagen worden geselecteerd voor interventie omdat ze een balans bieden tussen gedeelde structuur en taalspecifieke verwerking, waarbij de zeer gespecialiseerde laatste lagen worden vermeden.
3. Activation Steering Mechanisme:
   • Voor niet-anker talen past CLAS een deterministische modificatie toe op de intermediaire MLP-activaties ($h$) in de geselecteerde bridge layers.
   • Partial-shared aanpassing: Neuronen die de cross-linguale structuur coderen worden versterkt: $h_1 = h \odot (1 + \beta M_{shared})$.
   • Language-specific aanpassing: Neuronen die overgespecialiseerd zijn voor één enkele taal worden onderdrukt: $h_2 = h_1 \odot (1 - \gamma M_{spec})$.
   • Blending: De gemodificeerde activatie wordt vermengd met het originele signaal: $h_{final} = (1 - \alpha)h + \alpha h_2$.
   • De anker taal (meestal Engels) blijft ongewijzigd om als stabiel referentiepunt te dienen. De parameters $\beta$, $\gamma$ en $\alpha$ worden getuned via grid search.

Belangrijkste Bijdragen

• CLAS Framework: Introductie van een training-vrij mechanisme dat selectief neuron-activaties moduleert om cross-linguale transfer tijdens inferentie te verbeteren.
• Inzicht in Functionele Divergentie: Ontdekking dat effectieve cross-linguale transfer wordt gedreven door functionele divergentie in plaats van strikte geometrische uitlijning met de anker taal. Prestatiewinsten correleren met een toename van de scheiding van taalclusters in de representatieruimte.
• Empirische Validatie: Demonstratie van de effectiviteit van CLAS over diverse taken (classificatie en generatie) en modellen (LLaMA 3.1 8B en Qwen 2.5 7B), waarbij verbeteringen worden bereikt terwijl de stabiliteit in de anker taal behouden blijft.

Resultaten

De auteurs evalueerden CLAS op de XNLI (Natural Language Inference) en XQuAD (Question Answering) benchmarks.

• Classificatie (XNLI): CLAS behaalde gemiddelde nauwkeurigheidsverbeteringen van +1,93% voor LLaMA en +0,45% voor Qwen ten opzichte van de basismodellen. Deze winsten waren statistisch significant ($p < 0,05$ en $p < 0,001$, respectievelijk). Opmerkelijke verbeteringen werden waargenomen in talen zoals Urdu (+7,00), Chinees (+5,89) en Hindi (+5,80) voor LLaMA.
• Generatie (XQuAD): CLAS verbeterde de gemiddelde token-level F1-scores met +0,94 (LLaMA) en +1,10 (Qwen). Deze winsten waren echter niet statistisch significant vanwege de hogere variantie in generatieve taken. De resultaten vertoonden een hoge variabiliteit, waarbij sommige talen substantiële winsten lieten zien (bijv. Russisch +8,94 voor Qwen) terwijl andere achteruitgingen (bijv. Hindi -5,28 voor Qwen).
• Representatie Analyse:
  • Alignment: Tegen de intuïtie in dat modellen dichter bij het Engels zouden moeten uitlijnen, verlaagde CLAS over het algemeen de cosinus-gelijkenis met de Engelse anker taal.
  • Cluster Separatie: t-SNE visualisaties toonden aan dat CLAS de representaties hervormt door functionele divergentie te stimuleren. Talen die van ambigue, overlappende regio's naar afzonderlijke clusters bewogen, vertoonden de grootste prestatiewinsten.
  • Steering Richting: De optimale steering richting ($\alpha$) varieerde per taak en model; sommige instellingen profiteerden van het versterken van gedeelde representaties (positieve $\alpha$), terwijl andere de noodzaak hadden om taalspecifieke signalen te versterken (negatieve $\alpha$).

Betekenis en Claims

Het artikel claimt dat gerichte activatie-steering de latente meertalige capaciteit in bestaande modellen kan ontsluiten zonder de noodzaak van extra data of parameter-updates. De kernbetekenis ligt in het vinden dat functionele divergentie, in plaats van strikte uitlijning met een dominante taal, de sleutel is tot het verbeteren van de prestaties op niet-dominante talen.

De auteurs benadrukken dat hun benadering verschilt van eerdere neuron-interventies (bijv. Mondal et al., 2025) door de proportionaliteit van de werkelijke activaties van het model te behouden in plaats van ze te overschrijven met statische constanten. Dit stelt het model in staat om zijn input-afhankelijke structuur te behouden terwijl de bijdrage van gedeelde versus taalspecifieke kenmerken wordt geherbalanceerd.

Het werk concludeert dat hoewel CLAS een veelbelovend, lichtgewicht alternatief biedt voor fine-tuning, de effectiviteit taak-afhankelijk is en niet uniform is over alle talen, wat wijst op de noodzaak van zorgvuldige, taakbewuste interventiestrategieën.