LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them?

Titel: LINGUAMAP: Welke lagen van LLM's spreken jouw taal en hoe kun je ze afstemmen?

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: J. Ben Tamo, Daniel Carlander-Reuterfelt, Jonathan Rubin, Dezhi Hong, Mingxian Wang, Oleg Poliannikov (Georgia Tech & Amazon)

---

1. Het Probleem

Ondanks uitgebreide meertalige vooropleiding (pretraining), worstelen grote taalmodellen (LLMs) vaak met taalcontrol (language control). Dit is het vermogen van een model om te antwoorden in de beoogde taal, zelfs wanneer het de onderliggende taak correct oplost. De auteurs identificeren twee specifieke faalmodi:

• De meertalige transfer-bottleneck: Het model geeft het antwoord in de juiste taal, maar faalt in de taakoplossing (het kan de taak wel in het Engels oplossen).
• De taalkonsistentie-bottleneck: Het model geeft het juiste antwoord, maar dan in de verkeerde taal (vaak Engels), ondanks instructies in een andere taal.

Bestaande oplossingen zoals volledige fine-tuning zijn computergewijs duur, terwijl prompt-engineering vaak onvoldoende robuust is. Er is een gebrek aan inzicht in waar in het model deze taalcontrole plaatsvindt en hoe deze efficiënt kan worden aangepast.

2. Methodologie

De auteurs hanteren een drie-staps aanpak: evaluatie, interpretatie en selectieve fine-tuning.

A. Evaluatie Framework

Er wordt een protocol ontwikkeld met vier zero-shot promptvarianten om taalcontrole te testen op benchmarks zoals MMLU, MGSM en XQuAD:

1. Monolingual Direct Prompting: Instructies en inhoud in de doeltaal.
2. Code-Switched Prompting: Instructies in het Engels, inhoud in de doeltaal (testt robuustheid).
3. Bilingual Answer Prompting: Juiste antwoorden worden in zowel de doeltaal als het Engels aangeboden (testt taalvoorkeur).
4. English Distractor Prompting: Inhoud in de doeltaal, maar met incorrecte Engelse antwoordopties (testt weerstand tegen Engelse bias).

De metrics zijn Taaknauwkeurigheid (Task Accuracy) en Taalkonsistentie (Language Consistency).

B. Interpretatie en Analyse

Om de interne werking te doorgronden, gebruiken de auteurs twee technieken:

1. Logit Lens Analyse: Projectie van de hidden states van elke laag op het vocabulaire om de waarschijnlijkheid van tokens in verschillende talen te traceren tijdens de generatie.
2. Hidden State Similarity: Berekening van de cosinus-similariteit tussen hidden states van semantisch equivalente prompts in het Engels versus andere talen.

C. Selectieve Fine-tuning (Selective SFT)

Gebaseerd op de bevindingen, stellen de auteurs een methode voor waarbij alleen de laatste lagen van het model worden bijgestemd (fine-tuned), terwijl de eerdere lagen (die verantwoordelijk zijn voor semantische uitlijning en redenering) bevroren blijven. Dit wordt getest op Qwen-3-32B en Bloom-7.1B.

3. Belangrijkste Bevindingen en Resultaten

Interne Structuur: Drie Fasen

De analyse onthult een robuuste drie-fasen structuur in meertalige LLM's:

1. Vroege lagen: Aligneren inputs naar een gedeelde semantische ruimte (taal-agnostisch).
2. Middenlagen: Voeren de taakredenering uit (waarbij vaak een "Engelse denken"-bias optreedt, zelfs bij niet-Engelse inputs).
3. Late lagen: Besturen de taalspecifieke generatie. Het is hier dat de taalkeuze daadwerkelijk wordt bepaald.

Bij modellen zoals Qwen-3-32B domineert het Engels in de vroege en middenlagen, en verschuift de taalcontrole pas in de uiterste lagen (bijv. na laag 55). Bij Bloom-7.1B is er meer variatie, maar ook hier is taalcontrole een late eigenschap.

Resultaten van Selectieve Fine-tuning

De voorgestelde methode (Selectieve SFT op de laatste 3-5% van de parameters) levert opmerkelijke resultaten op:

• Taalkonsistentie: Wordt verhoogd van vaak <20% naar >98% over zes talen (Engels, Frans, Spaans, Arabisch, Hindi, Japans), zelfs onder moeilijke code-switched omstandigheden.
• Taaknauwkeurigheid: Blijft behouden en verbetert soms zelfs, zonder dat er sprake is van "catastrophic forgetting" van de redeneercapaciteiten.
• Efficiëntie: De prestaties zijn bijna identiek aan die van volledige fine-tuning (Full-scope SFT), maar vereist slechts 3-5% van de rekencapaciteit en parameters.
• Ablatie-studies: Het tonen aan dat willekeurige selectie van lagen (Random Selective SFT) leidt tot instabiliteit en prestatieverlies, wat bevestigt dat de taalcontrole specifiek in de late lagen is gelokaliseerd.

4. Bijdragen

1. Evaluatie Framework: Een gestructureerd protocol om taalcontrole-falen in mLLMs systematisch te diagnosticeren via promptvariatie.
2. Mechanistisch Inzicht: Validatie van een drie-fasen interne structuur (semantische uitlijning, redenering, taalgeneratie) en het lokaliseren van taalcontrole in de late lagen.
3. Efficiënte Oplossing: Introductie van Layer-wise Selective Fine-tuning, een methode die taalconsistentie corrigeert zonder de kernredenering te beschadigen en met een fractie van de kosten van volledige fine-tuning.

5. Betekenis en Impact

Dit werk biedt een cruciale doorbraak in de efficiënte aanpassing van meertalige modellen. Het toont aan dat taalcontrole een lokaal fenomeen is binnen de architectuur van een LLM, en niet een eigenschap die over het hele model moet worden herleerd.

• Kostenefficiëntie: Organisaties kunnen meertalige modellen aanpassen voor specifieke markten of talen met minimale rekencapaciteit.
• Betrouwbaarheid: Het lost het probleem op waarbij modellen correcte antwoorden geven in de verkeerde taal, wat essentieel is voor toepassing in niet-Engelse contexten.
• Toekomstgericht: De bevindingen bieden een blauwdruk voor het begrijpen van hoe "denken" (redeneren) en "spreken" (taalgeneratie) in neurale netwerken gescheiden zijn, wat nieuwe richtingen opent voor interpretability en modelcontrole.

Kortom, LinguaMap bewijst dat je niet het hele model hoeft te herschrijven om het te laten spreken in een andere taal; je hoeft alleen de "laatste knoppen" (de late lagen) aan te passen.