🤖 AI

Decided Upstream, Written Late: Locating and Pricing the Cross-Lingual Refusal Circuit of a Multilingual MoE

Dit artikel onthult dat de kruislingse veiligheidskloven in meertalige Mixture-of-Experts-modellen niet voortkomen uit een falen om schade te detecteren, maar uit een laat stadium van een taalspecifiek weigeringsmechanisme dat effectief en goedkoop gerepareerd kan worden door een specifiek aandachtgebaseerd "opposer"-circuit te dempen, in plaats van door de schrijver te versterken of chirurgische aanpassingen te maken.

Oorspronkelijke auteurs: Ramakrishna P. Kompella, Aadit Mahajan

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ramakrishna P. Kompella, Aadit Mahajan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers met ons kunnen praten in honderden verschillende talen, van Engels tot Hindi tot Tamil. Wetenschappers proberen deze computers te leren "goede burgers" te zijn — om "nee" te zeggen wanneer er om iets gemeens of gevaarlijks wordt gevraagd, zoals het schrijven van een nepnieuwsverhaal of het maken van een wapen. Dit vakgebied wordt AI-veiligheid genoemd. Lange tijd dachten onderzoekers dat als een computer leerde om "nee" te zeggen in het Engels, de computer automatisch ook zou weten hoe hij "nee" moest zeggen in elke andere taal, net zoals een mens die een regel in één taal leert, deze kan toepassen in een andere. Maar dat is niet altijd waar. Soms gedraagt de computer zich als een strikte bewaker in het Engels, maar wordt hij een makkelijk slachtoffer in andere talen. Dit artikel duikt in het "brein" van de computer om uit te zoeken waarom dit gebeurt en hoe we het kunnen oplossen zonder het vermogen van de computer om vloeiend te spreken te breken.

De onderzoekers bestudeerden een specifiek, zeer slim computermodel genaamd Sarvam-30B, dat is ontworpen om te redeneren en te spreken in veel Indiase talen. Ze wilden de mechanische "tandwielen" binnen het model begrijpen die beslissen of het model een slecht verzoek weigert of ermee instemt. Ze ontdekten dat de computer de aanvraag wél als slecht herkent, ongeacht de taal. Het probleem is niet dat de computer het gevaar niet detecteert; het probleem is dat het deel van de computer dat "nee" zegt, anders werkt afhankelijk van de taal, en dat dit heel laat in het denkproces gebeurt.

Hier is het verhaal van wat ze hebben gevonden, verteld via een eenvoudige analogie.

De Detective en de Klerk

Stel je het brein van de computer voor als een enorme fabriek met twee hoofdteams: De Detectives en De Klerken.

De Detectives werken in het midden van de fabriek. Hun taak is om naar elk verzoek te kijken en te vragen: "Is dit gevaarlijk?" De onderzoekers ontdekten dat deze Detectives geweldig zijn. Ze spotten het gevaar in het Engels, Hindi, Tamil en andere talen bijna exact op dezelfde manier. Als je hen zou vragen: "Is dit een slecht idee?", zouden ze in bijna elke taal naar precies dezelfde plek in hun geheugen wijzen. Sterker nog, het "gevaarsignaal" is zo sterk en gedeeld dat het bijna identiek is over alle talen heen.

De Klerken zijn echter degenen die daadwerkelijk het definitieve antwoord schrijven. Zij zijn degenen die "Ik kan dat niet doen" of "Natuurlijk, hier is..." typen. De onderzoekers ontdekten een grote verrassing: De Detectives en de Klerken spreken verschillende talen en werken volgens verschillende schema's.

Hoewel de Detectives in het midden van de fabriek duidelijk "GEVAAR!" roepen, zorgt dat er niet automatisch voor dat de Klerken stoppen met schrijven. De Klerken bevinden zich aan het uiterste einde van de lopende band. Ze lezen niet alleen het "Gevaar"-bord; ze moeten het weigeringswoord voor woord opbouwen terwijl de zin wordt gegenereerd.

Het "Late" Probleem

Het artikel laat zien dat als je probeert de computer te dwingen "nee" te zeggen door aan het begin van het proces (upstream) simpelweg "GEVAAR!" te roepen, dit niet werkt. Het is alsocht proberen een trein te stoppen door tegen de locomotief te schreeuwen, terwijl de remmen eigenlijk worden bediend door een schakelaar helemaal achteraan de trein. Het "Gevaar"-signaal vervaagt voordat het de Klerken bereikt.

In plaats daarvan wordt de weigering laat in het proces opgebouwd. De onderzoekers ontdekten dat de werkelijke verandering die een "Ja" in een "Nee" verandert, plaatsvindt in de laatste lagen van het brein van de computer, en dat deze een heel andere richting op beweegt dan het "Gevaar"-signaal. Het is alsof de Detectives naar het Noorden wijzen, maar de Klerken naar het Oosten lopen. De computer weet dat het verzoek slecht is, maar het mechanisme dat de actie daadwerkelijk stopt, is een apart proces in een latere fase dat in de war raakt door taalverschillen.

De Rem en de Motor

Om dit op te lossen, zochten de onderzoekers naar een manier om in de machine in te grijpen. Ze vonden een specifieke schakafsluiting — een klein, lokaal deel van het brein dat fungeert als een rem en een motor.

De Motor (De Schrijver): Dit deel probeert de computer aan te zetten tot het schrijven van de weigering.
De Rem (De Tegenspeler): Dit deel probeert de weigering te stoppen.

De onderzoekers testten drie manieren om de veiligheidskloof te dichten:

De Motor een klap geven: Ze probeerden het "Schrijver"-gedeelte sterker te maken, in de hoop dat het de computer zou dwingen "nee" te zeggen. Dit was een ramp. Het kostte veel energie (waardoor de spraak van de computer vreemd en spammy werd) en het werkte zelfs niet zo goed. Het was alsof je een auto een heuvel op probeert te duwen door de motor te laten loeien terwijl de handrem nog aan staat.
Chirurgie: Ze probeerden specifieke kleine onderdelen (genaamd "heads") die zij verantwoordelijk achtten, chirurgisch te verwijderen of te veranderen. Dit was nauwkeurig en goedkoop, maar deed niets. De computer bleef "ja" zeggen tegen slechte verzoeken.
De Rem loslaten: Ze ontdekten dat als ze simpelweg de "Tegenspeler" of de "Rem" aan het einde van het proces verzwakten (dampen), de computer plotseling correct "nee" begon te zeggen in alle talen. Dit was de magische sleutel. Het was goedkoop, effectief en verpest de vloeiende spraak van de computer niet.

Waarom dit belangrijk is voor verschillende talen

De reden hiervoor is dat hoewel de "Detectives" (het gevaarsignaal) gedeeld worden over alle talen, de "Klerken" en hun "Remmen" dat niet zijn. De onderzoekers ontdekten dat naarmate de computer dichter bij het schrijven van het definitieve antwoord komt, het pad dat hij aflegt zeer specifiek wordt voor de taal. In het Engels is het pad naar "nee" zeggen duidelijk. In andere talen is de "Rem" veel sterker, of is het pad geblokkeerd.

Door die specifieke "Rem" aan het einde van de lijn te verzwakken, konden de onderzoekers de computer ervoor zorgen dat hij in talen met minder bronmateriaal net zo goed slechte verzoeken weigerde als in het Engels, zonder de hele machine opnieuw te hoeven trainen.

Het Grotere Plaatje

Dit artikel vertelt ons niet alleen dat de veiligheidskloof bestaat; het laat ons zien waar deze zich bevindt en wat het kost om het te repareren. De belangrijkste les is dat veiligheid niet alleen gaat over het detecteren van gevaar; het gaat over hoe die detectie wordt omgezet in actie.

De onderzoekers testten dit idee ook op een volledig ander computermodel (Qwen3-30B-A3B) en vonden hetzelfde patroon: een gedeelde "Detective" en een late, taalspecifieke "Rem". Dit suggereert dat het repareren van AI-veiligheid geen enorme herziening van het hele systeem vereist. In plaats daarvan moeten we misschien gewoon de specifieke "rem" in elk model vinden en deze voorzichtig losser draaien, zodat de veiligheidsmechanismen natuurlijk kunnen werken in alle talen.

Kortom, de computer is niet dom of bevooroordeeld; het is simpelweg zo dat het deel dat "nee" zegt aan het einde van de zin verborgen zit, en dat het achterhoudend is vanwege een taalspecifieke rem. Zodra we weten waar we moeten kijken, kunnen we het oplossen.

Technisch overzicht: Bovenstrooms besloten, laat geschreven

Probleemstelling

De veiligheidsafstemming (safety alignment) in meertalige large language models (LLMs) is ongelijkmatig. Terwijl frontmodellen betrouwbaar schadelijke verzoeken in het Engels weigeren, voldoen ze vaak aan identieke verzoeken in minder ondersteunde talen (bijv. Indiase talen). Deze "cross-linguale veiligheidskloof" vormt een kritieke kwetsbaarheid voor meertalige implementaties. Het artikel onderzoekt of deze kloof voortkomt uit een falen in het detecteren van schade of een falen in het mechanisme dat de weigering uitvoert. Specifiek onderzoeken de auteurs Sarvam-30B, een 30-miljard parameter, 19-laags Mixture-of-Experts (MoE) redeneermodel dat is ontworpen voor Engels en belangrijke Indiase talen.

Methodologie

De auteurs maken gebruik van mechanistische interpreteerbaarheid om het weigeringsgedrag te traceren van schade-detectie tot de uiteindelijke generatie van een weigerings-token. Hun aanpak omvat:

Data en labels: Het gebruik van de TwinBreak corpus, die kwaadwillige prompts koppelt aan onschuldige tweelingen in zes talen (Engels, Hindi, Bengaals, Punjabi, Tamil, Malayalam). Outputs worden gelabeld als REFUSE (weigeren) of COMPLY (voldoen) via regex en een LLM-beoordelaar.
Directionele analyse:
- Schade-as ( $\hat{v}_{harm}$ ): Gedefinieerd als het verschil in gemiddelden tussen schadelijke en onschuldige prompts in de residual stream.
- Weigeringsrichting: Gedefinieerd als het verschil in gemiddelden tussen geweigerde en volgelijke generaties, onafhankelijk geconstrueerd van de schade-as.
Interventie en sturing:
- Upstream injectie: Het toevoegen van de schade-as vector aan specifieke lagen om te testen of detectie de weigering aanstuurt.
- Stapsgewijze toepassing: Het herhaaldelijk toepassen van de detectierichting bij elke autoregressieve decodestap.
- Circuit manipulatie: Het dempen of versterken van specifieke MoE-experts en aandachtshoofden (attention heads) die als cruciaal zijn geïdentificeerd voor het weigeringsproces.
Attributie: Het gebruik van Direct Logit Attribution (DLA) en gradiënt $\times$ activatie methoden om de weigerings-logit te deconstrueren naar bijdragen van specifieke MoE-blokken en aandachtshoofden.
Kostenmeting: Het evalueren van interventies op basis van weigeringsherstel (het omzetten van volgelijke kwaadwillige prompts naar weigering) en vloeiendheidskosten (gemeten als de WikiText-2 perplexiteitratio).
Cross-model validatie: Het repliceren van de pijplijn op een tweede, ongerelateerd MoE-model, Qwen3-30B-A3B, om generaliseerbaarheid te testen.

Belangrijkste bevindingen

1. Schadedetectie is gedeeld, maar weigeringsuitvoering is laat en orthogonaal

Detectie is taal-agnostisch: Het model detecteert schade in een midden-netwerkband (piekt rond Laag 11). De schade-as is bijna taal-invariant (cosinus-gelijkenis $\approx 0.9$ tussen Engels en Indiase talen bij L11).
Detectie $\neq$ Weigering: De richting die "schade" signaleert is orthogonaal aan de richting die daadwerkelijk de weigering schrijft.
- Schade-scheiding is een zwak signaal in middelste lagen (Cohen's $d \approx 0.95$ bij L9).
- De residuale verandering die overeenkomt met weigering is groot en groeit monotoon naar de late lagen (L18), maar staat bijna orthogonaal op de schade-as ( $|\cos| \le 0.10$ ).
Het "schrijven" wordt samengesteld: Weigering is geen enkelvoudige pass-through feed-forward uitlezing van detectie. Het injecteren van de schade-richting upstream (bijv. bij L10) in een enkele pass slaagt er niet in de output te bereiken. Echter, het herhaaldelijk toepassen van de detectierichting bij elke decodestap induceert succesvol weigering, wat aangeeft dat de beslissing wordt gerealiseerd over het autoregressieve traject.

2. Het weigeringscircuit: De Schrijver versus de Tegenstander

Attributie-analyse onthult een specifiek, lokaliseerbaar circuit in de late lagen (L14–L18):

De Schrijver: Een late MoE-blok (specifiek L18 en gedeelde experts in L15–L16) genereert een positieve bijdrage naar weigering toe.
De Tegenstander: Een laat aandachtsmecanisme genereert een sterke negatieve bijdrage, die de schrijver actief onderdrukt. Gradiënt- en projectiegebaseerde hoofdrangschikkingen identificeren L18 heads 53, 61, 17 en 27 als de specifieke componenten die in deze rol overlappen.
Taalspecificiteit: Hoewel het detectiesignaal gedeeld wordt, wordt de routing van experts in late lagen zeer taalspecifiek. De Jaccard-gelijkenis van top-K schade-expert routing tussen Indiase talen en Engels stort in van 0.43 bij L11 naar 0.03 bij L18.

3. Het prijzen van interventies (De Kostenkaart)

De auteurs "prijzen" verschillende interventiestrategieën door hun effectiviteit (herstel) te meten tegen hun kosten (perplexiteit):

De Tegenstander dempen (Goedkoop & Effectief): Het verminderen van de magnitude van de L18 aandacht-tegenstander (bijv. schalen met 0.5) herstelt 54% van de volgelijke kwaadwillige prompts met minimale vloeiendheidskosten (1.09 $\times$ perplexiteit). Dit is een "remverwijderingsstrategie".
De Schrijver versterken (Kostenmuur): Het versterken van de MoE-schrijver (bijv. schalen met 2) levert partiële onderdrukking op, maar tegen hoge kosten (2.16 $\times$ perplexiteit). Agressieve versterking (schalen met 3) laat de vloeiendheid instorten tot spam.
Scherpe Hoofd-bewerkingen (Inert): Het ableren of bewerken van specifieke toegeschreven hoofden resulteert in bijna nul herstel (0–3%) zonder verandering in perplexiteit, wat suggereert dat deze hoofden niet de enige drijvers van het gedrag zijn.
Upstream Seeding: Het herhaaldelijk toepassen van het detectiesignaal bij elke stap bereikt 0.65 herstel, hoewel de perplexiteitskosten hiervan niet zijn gemeten.

4. Cross-model Generalisatie

De organisatie van het circuit (een late MoE-schrijver die wordt tegengewerkt door late aandacht) wordt overgedragen naar Qwen3-30B-A3B.

Qwen3 vertoont ook een cross-linguale kloof en een late schrijver/tegenstander dynamiek (L47 schrijver versus L40 tegenstander).
Het dempen van de tegenstander is eveneens goedkoop (1.00 $\times$ perplexiteit), terwijl het versterken van de schrijver kostbaar is (1.20 $\times$ perplexiteit).
Beperking: De sterkte van de hefboom is architectuur-specifiek. In Qwen3 verzadigt het versterken van de schrijver snel en vernietigt het het model, terwijl de gedeelde expert van Sarvam-30B een schonere gedragsmatige omslag mogelijk maakt.

Betekenis en Claims

Het artikel herformuleert de cross-linguale veiligheidskloof niet als een detectiefout, maar als een ontkoppeling van detectie en uitvoering.

Mechanistisch Inzicht: Veiligheidsfuncties zijn niet monolithisch; ze zijn samengesteld uit een upstream, gedeeld detectiesignaal en een downstream, taal-specifiek executiecircuit.
Actieerbare Interpreteerbaarheid: De auteurs bieden een "kosten-gemeten kaart" voor veiligheidsreparatie. Ze stellen dat voor meertalige MoE-modellen de meest betaalbare en effectieve reparatie suppressief (het dempen van de late tegenstander) of seeding (het versterken van detectie tijdens de gehele generatie) is, in plaats van generatief (het dwingen van het model om weigering te schrijven bij de output).
Methodologische Overdraagbaarheid: De gradiënt-gebaseerde attributiemethode en de schrijver/tegenstander circuit-organisatie blijken robuust over verschillende MoE-architecturen, hoewel de specifieke hefboompunten afhangen van de interne routingdynamiek van het model.

De auteurs concluderen dat actieerbare veiligheidsreparatie vereist dat men begrijpt waar en te welke kosten men kan interveniëren in een berekening die zich ontvouwt over de generatie, in plaats van aan te nemen dat er één enkele "weigeringsfeature" bestaat die bewerkt kan worden.