💬 NLP

Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs

Dit artikel introduceert de Discriminative Alignment Index ( $\DALI$ ) om aan te tonen dat de meertalige prestaties van grote taalmodellen causaal worden gedreven door de uitlijning van niet-Engelse representaties met het Engels in de middelste lagen, waarbij misuitlijning leidt tot fouten die gecorrigeerd kunnen worden via activation patching.

Oorspronkelijke auteurs: Kartik Ravisankar, Hyojung Han, Sarah Wiegreffe, Marine Carpuat

Gepubliceerd 2026-02-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kartik Ravisankar, Hyojung Han, Sarah Wiegreffe, Marine Carpuat

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Engels-Eerst" Brein

Stel je een briljante student voor (de AI) die naar een top school is gegaan waar 99% van de studieboeken in het Engels geschreven was. Ze leerden perfect Engels in wiskunde, wetenschap en logica.

Stel je nu voor dat deze student gevraagd wordt om een toets te maken in het Frans, Hindi of Thais. Tot iemands verbazing doen ze het best goed! Ze kunnen vragen correct beantwoorden, ook al hebben ze die talen nooit echt diepgaand bestudeerd.

Het Mysterie: Hoe begrijpt een brein dat voornamelijk in het Engels is getraind plotseling Frans? Vertaalt het het Frans in zijn hoofd naar het Engels, lost het het probleem op, en vertaalt het het antwoord dan weer terug? Of is het gewoon aan het gokken?

Dit artikel probeert die vraag te beantwoorden door precies te kijken naar hoe het brein van de AI werkt wanneer het van taal wisselt.

Het Kernidee: "Mentale Afstemming"

De onderzoekers ontdekten dat voor de AI om een vraag in een vreemde taal goed te beantwoorden, de interne "gedachten" (wiskundige representaties) over die vreemde zin perfect moeten uitlijnen met de gedachten over de Engelse versie van diezelfde zin.

Denk hierbij aan twee radiostations die hetzelfde liedje uitzenden.

Station A (Engels) speelt een helder, sterk signaal af.
Station B (Frans) speelt hetzelfde liedje, maar het signaal is wazig.
Afstemming: Als de AI Station B zo kan afstemmen dat het signaal perfect overeenkomt met het signaal van Station A, kan de AI het antwoord duidelijk "horen". Als de signalen niet synchroon lopen, raakt de AI in de war en kiest hij het verkeerde antwoord.

De Tools: De "Afstemmingsscore" (DALI)

Om dit te meten, hebben de onderzoekers een hulpmiddel uitgevonden genaamd DALI (Discriminative Alignment Index).

Stel je voor dat je een paar tweelingen hebt: de een spreekt Engels, de ander spreekt Frans. Je laat hen een foto van een kat zien en vraagt: "Is dit een kat of een hond?"

Succes: Als beide tweelingen naar "Kat" wijzen en hun interne "wijzende spieren" (neurale activaties) op exact dezelfde manier bewegen, is de Afstemmingsscore Hoog. De AI krijgt het antwoord goed.
Falen: Als de Engelse tweeling naar "Kat" wijst, maar de interne spieren van de Franse tweeling trekken richting "Hond" (of gewoon willekeurig trillen), is de Afstemmingsscore Laag. De AI krijgt het antwoord fout.

Het artikel stelde een simpele regel vast: Wanneer de AI een vraag in een vreemde taal goed beantwoordt, zijn de interne "Engelse" en "Vreemde" signalen perfect gesynchroniseerd. Wanneer de AI het fout doet, lopen ze niet synchroon.

Het Experiment: De "Brein-Ruil" (Activation Patching)

Dit is het coolste deel van het artikel. De onderzoekers wilden bewijzen dat deze "synchronisatie" daadwerkelijk de oorzaak is van het juiste antwoord, en niet alleen toevallig aanwezig is.

Ze gebruikten een techniek genaamd Activation Patching, wat een soort "hersentransplantatie" is voor een fractie van een seconde.

De Opzet: Ze vonden een vraag waarbij de AI het in het Engels goed had, maar in het Frans fout.
De Ruil: Ze namen de "hersenactiviteit" (de elektrische signalen) van de Engelse versie van de vraag op een specif kind moment in de verwerking van de AI en plugden deze direct in de hersenen van de Franse versie.
Het Resultaat: Plotseling begon de Franse versie van de AI het correcte antwoord te geven!

De Analogie: Stel je voor dat je een puzzel probeert op te lossen in een taal die je niet kent, en je komt er niet uit. Een vriend fluistert je de oplossing in het Engels toe. Plotseling begrijp je de puzzel en los je hem op. De onderzoekers bewezen dat de AI in feite "luisterde" naar zijn eigen Engelse brein om het Franse probleem op te lossen.

Waar gebeurt dit? De "Middelste Laag"

De AI is gebouwd als een meerverdiepingsgebouw met veel verdiepingen (lagen).

Onderste Verdiepingen: Deze gaan over basisletters en klanken.
Bovenste Verdiepingen: Deze beslissen over het uiteindelijke antwoord.
Middelste Verdiepingen: Hier vindt de magie plaats.

De onderzoekers ontdekten dat de "brein-ruil" alleen werkte als ze dit deden in de middelste verdiepingen.

Als ze de signalen te vroeg ruilden (onderste verdiepingen), hielp het niet.
Als ze de signalen te laat ruilden (bovenste verdiepingen), was de beslissing al genomen en was het te laat om iets te veranderen.
Het Zoete Punt: In het midden vertaalt de AI de vreemde taal naar "Engelse concepten" voordat er een beslissing wordt genomen. Als de signalen daar zijn uitgelijnd, slaagt de AI.

De "Controle"-test: Is het het Antwoord of de Betekenis?

De onderzoekers waren voorzichtig. Ze vroegen zich af: "Kopieert de AI alleen het woord 'Kat' uit het Engels, of begrijpt hij echt het concept van een kat?"

Ze deden een test waarbij ze de Engelse hersensignalen ruilden voor een andere vraag die hetzelfde antwoord had (bijv. de signalen van "Ik ben een kat" ruilen met "Ik ben een hond", waarbij beide het antwoord "A" hebben).

Resultaat: Deze "foute" ruil herstelde de Franse vraag niet.
Conclusie: De AI kopieert niet alleen de uiteindelijke antwoordletter; hij stemt daadwerkelijk de betekenis (het concept) van de zin af. De "mentale afstemming" gaat over het begrijpen van het idee, niet alleen over het woord.

Samenvatting van de Bevindingen

Afstemming is Cruciaal: Wanneer een AI een vreemde taal begrijpt, zijn zijn interne "Engelse gedachten" en "Vreemde gedachten" perfect gesynchroniseerd.
Causaliteit: Als je de vreemde taal dwingt om de Engelse "gedachten" te gebruiken in het midden van het proces, herstelt de AI zijn fouten.
De Middelste Laag: Deze synchronisatie vindt plaats in het midden van de verwerkingsketen van de AI, wat fungeert als een verborgen vertaalcentrum waar de AI in Engelse concepten denkt voordat hij de vreemde taal spreekt.

Kortom: De AI is als een polyglot die in stilte in het Engels denkt om problemen op te lossen, en dan de oplossing terugvertaalt. Als de vertaalbrug kapot is (niet is uitgelijnd), faalt de AI. Als de brug sterk is (wel is uitgelijnd), slaagt de AI.

Technische Samenvatting: De Rol van Kruislingse Uitlijning in de Meertalige Prestaties van LLM's

Probleemstelling
Large Language Models (LLM's) vertonen indrukwekkende meertalige capaciteiten en voeren succesvol Natural Language Understanding (NLU)-taken uit in talen andere dan het Engels, ondanks het feit dat ze voornamelijk zijn getraind op Engelse tekst. Terwijl encoder-only architecturen hebben aangetoond dat kennis overdraagt van hoog-resource naar laag-resource talen, blijven de mechanismen die deze generalisatie in decoder-only LLM's aansturen slecht begrepen. Specifiek is het onduidelijk of het vermogen van een LLM om representaties van niet-Engelse inputs uit te lijnen met hun parallelle Engelse tegenhangers een causale invloed heeft op de prestaties bij individuele taakinstanties. Eerder werk heeft correlaties vastgesteld tussen kruislingse uitlijning en meertalige nauwkeurigheid op taalniveau met behulp van geaggregeerde metrieken, maar deze studies verklaren niet hoe representatie-uitlijning het gedrag van het model op specifieke NLU-instanties beïnvloedt.

Methodologie
De auteurs stellen een raamwerk voor om kruislingse uitlijning op instantieniveau te onderzoeken en een causaal verband tussen uitlijning en taaksucces vast te stellen.

Uitlijningsmetrieken op Instantieniveau:
Het artikel introduceert drie metrieken om uitlijning te kwantificeren voor discriminatieve NLU-taken (Multiple-Choice Question Answering):
- DALI (Discriminative Alignment Index): Een binaire score die aangeeft of de cosinusgelijkenis van kruislingse gematchte premisse-einde paren groter is dan die van gemiste paren binnen een specifieke instantie.
- DALIst: Een striktere variant van DALI die vereist dat kruislingse gematchte paren ook de gelijkenis van gemiste paren binnen dezelfde taal overtreffen, wat valse positieven door anisotropie in transformer-representaties mitigeert.
- MEXAT: Een taakspecifieke variant van de bestaande MEXA-metriek, berekend met behulp van taak-premissen in plaats van generieke parallelle corpora.
Experimenteel Ontwerp:
- Datasets: De studie maakt gebruik van drie meertalige NLU-benchmarks (Belebele, Xstorycloze, Xcopa) die parallelle premisse-optie paren bevatten over 24 talen.
- Steekproefcategorisering: Instanties worden gecategoriseerd in Transfer Success (TS) (correct in zowel Engels als niet-Engels) en Transfer Failure (TF) (correct in Engels, incorrect in niet-Engels).
- Associatieve Analyse: De auteurs vergelijken de uitlijningsscores (DALI, DALIst, MEXAT) van TS- en TF-samples over transformer-lagen heen om te bepalen of succesvolle transfers een hogere uitlijning vertonen.
- Activation Patching: Om causaliteit vast te stellen, voeren de auteurs activation patching uit op TF-instanties. Ze vervangen de verborgen toestanden ( $h^\lambda$ ) van een falende niet-Engelse forward pass met de overeenkomstige toestanden van een succesvolle Engelse forward pass op specifieke lagen ( $\lambda$ ).
- Controle-experimenten: Om te waarborgen dat patches corrigeren op basis van semantische uitlijning en niet simpelweg de doel-token injecteren (bijv. het antwoord 'A' of 'B'), voeren de auteurs controle-patching uit met ongerelateerde Engelse samples die dezelfde doel-token delen maar andere semantiek hebben.

Belangrijkste Resultaten

Associatie met Succes: Over 33 taal-benchmark-metriek combinaties vertonen TS-instanties consistent hogheden kruislingse uitlijningsscores dan TF-instanties. Deze associatie is statistisch significant in 8 gevallen en positief in 30, wat suggereert dat betere uitlijning correleert met succesvolle generalisatie.
Laagspecifieke Effecten: De analyse laat zien dat kruislingse uitlijning piekt in de middelste lagen van de transformer (ongeveer lagen 14–25).
Causaal Bewijs via Patching:
- Het patchen van Engelse activaties in de middelste lagen van falende niet-Engelse instanties verhoogt significant de waarschijnlijkheid dat het model naar het juiste antwoord switcht.
- De "flip rate" (het percentage gecorrigeerde voorspellingen) is het hoogst wanneer patching plaatsvindt in deze middelste lagen.
- Semantische Specificiteit: Controle-experimenten demonstreren dat semantisch equivalente Engelse patches aanzienlijk effectiever zijn in het corrigeren van voorspellingen dan controle-patches (ongerelateerde Engelse samples met dezelfde antwoord-token). Dit bevestigt dat de correctie wordt gedreven door semantische uitlijning, en niet louter door de injectie van de doel-token.
Entropie-analyse: Correcties bereikt door semantisch equivalente patches resulteren in een lagere output-entropie (hogere zekerheid) vergeleken met controle-patches, wat suggereert dat uitlijning het besluitvormingsproces van het model stabiliseert.

Belangrijkste Bijdragen

Instantie-niveau Metrieken: De introductie van DALI en DALIst, die verder gaan dan taalniveau geaggregeerde analyse om uitlijning op een per-instantie basis te kwantificeren voor discriminatieve taken.
Causale Validatie: Het leveren van causaal bewijs door activation patching dat mislijning in middelste lagen een primaire drijfveer is van kruislingse fouten. De studie demonstreert dat het "forceren" van uitlijning door het injecteren van Engelse representaties fouten in niet-Engelse talen kan herstellen.
Mechanisme-verheldering: Het werk ondersteunt de hypothese dat decoder-only LLM's niet-Engelse tekst verwerken door impliciet te pivoteren via Engelse representaties in de middelste lagen, waar taal-agnostische redenering plaatsvindt.

Betekenis en Claims
Het artikel claimt de kloof te overbruggen tussen correlationele studies van meertalige uitlijning en de causale mechanismen van modelgedrag. Door aan te tonen dat kruislingse semantische uitlijning in gelokaliseerde middelste lagen causaal bijdraagt aan juistheid, argumenteren de auteurs dat de "pivot door Engels" niet slechts een statistisch artefact is, maar een functioneel mechanisme voor redeneren.

De auteurs kaderen hun bevindingen bescheiden als bewijs dat uitlijning een noodzakelijk onderdeel is voor succesvolle transfer in discriminatieve taken. Ze merken op dat hoewel patching fouten kan corrigeren, het niet alle instanties herstelt, wat impliceert dat andere factoren ook aan falen kunnen bijdragen. Het artikel concludeert dat deze bevindingen toekomstig werk stimuleren op het gebied van inference-time steering om hoogwaardige Engelse activaties te benutten voor het verbeteren van niet-Engelse prestaties, terwijl ze ook waarschuwen voor potentiële nadelen zoals opgeblazen vertrouwen of het wissen van lokale niet-Engelse kennis. De studie is beperkt tot discriminatieve NLU-taken en bilinguale uitlijning (niet-Engels naar Engels), waarbij uitlijning tussen andere taalparen wordt uitgesloten.