💬 NLP

Refusal Direction is Universal Across Safety-Aligned Languages

Dit onderzoek toont aan dat de afwijzingsrichting in veilige grote taalmodellen universeel is, waarbij een vector afgeleid van het Engels of een andere taal effectief kan worden gebruikt om veiligheidsbeperkingen in veertien verschillende talen te omzeilen zonder aanvullende fine-tuning.

Oorspronkelijke auteurs: Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank

Gepubliceerd 2026-02-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: De "Nee"-Knop werkt overal hetzelfde

Stel je voor dat een grote taalmodel (zoals een slimme chatbot) een veiligheidsagent is. Deze agent heeft één specifieke taak: als iemand vraagt om iets gevaarlijks of gemeeds (bijvoorbeeld "Hoe maak ik een vuurwapen?"), moet de agent zeggen: "Nee, dat kan ik niet doen."

De onderzoekers van dit paper hebben ontdekt iets verrassends over hoe deze "Nee"-knop in de hersenen van de computer werkt, en dat werkt niet zoals je zou denken.

1. De "Nee"-Richting is Universeel (De Magische Kompasnaald)

In het verleden dachten onderzoekers dat de manier waarop een computer "Nee" zegt, per taal verschilt. Alsof de computer voor het Engels een andere "Nee"-knop heeft dan voor het Nederlands of het Japans.

Maar dit onderzoek toont aan dat er slechts één enkele, magische naald is in de digitale hersenen van de computer die de "Nee"-reactie aandrijft.

De Analogie: Denk aan een kompas. Of je nu in Nederland, Japan of Brazilië staat, de naald wijst altijd naar het Noorden. Zo werkt het ook met deze computer: de "Nee"-richting wijst altijd in dezelfde richting, ongeacht welke taal je spreekt.
Het Experiment: De onderzoekers haalden deze "Nee-naald" uit het Engels. Vervolgens stopten ze diezelfde naald in de computer terwijl deze in het Japans, het Thais of het Yoruba (een taal uit Nigeria) praatte.
Het Resultaat: De computer stopte plotseling met zeggen "Nee". Hij deed precies wat de gebruiker wilde, zelfs als de vraag in een heel andere taal was. Het bleek dat de "Nee"-knop voor alle talen eigenlijk dezelfde knop is.

2. Het Probleem: De Muur is te zwak (De "Scheiding")

Als de "Nee"-knop overal hetzelfde werkt, waarom kan de computer dan soms wel gevaarlijke dingen doen in andere talen?

Hier komt de tweede ontdekking: Het probleem zit niet in de knop, maar in de muur.

De Analogie: Stel je voor dat de computer een huis is met een muur. De "Nee"-knop is de deur die je dicht kunt doen om boze mensen buiten te houden.
- In het Engels is de muur heel stevig en de deur zit goed op slot. De computer ziet duidelijk het verschil tussen een "goede vraag" en een "gevaarlijke vraag".
- In andere talen (zoals het Yoruba of soms het Chinees) is de muur van de computer veel dunner en brozer. De computer ziet het verschil tussen "goed" en "slecht" niet zo scherp.
Het Gevolg: Omdat de muur zo zwak is, is het heel makkelijk om de deur open te duwen. Zelfs als je de "Nee"-knop (de magische naald) verwijdert, valt de computer al snel in de valkuil omdat hij niet goed kan zien wat gevaarlijk is in die specifieke taal.

3. De "Jailbreak" (Het Omzeilen van de Veiligheid)

De onderzoekers hebben laten zien dat hackers (of slechte gebruikers) dit kunnen gebruiken.

Als je de computer vraagt in het Engels, is hij veilig.
Maar als je vraagt in een taal waar de "muur" zwak is (zoals het Yoruba in dit onderzoek), en je gebruikt de "Nee-naald" uit het Engels om de computer te manipuleren, dan breekt de veiligheid volledig. De computer doet alles wat je vraagt, zelfs als het gevaarlijk is.

Samenvatting in een simpele zin

De manier waarop een computer "Nee" zegt, is voor alle talen hetzelfde (het is één universele richting), maar de computer is in veel andere talen niet goed genoeg getraind om te herkennen wat gevaarlijk is, waardoor die "Nee"-richting makkelijk te omzeilen is.

Wat betekent dit voor de toekomst?

Dit onderzoek is een waarschuwing. Het zegt ons dat we niet alleen moeten kijken naar het Engels als we AI veilig willen maken. We moeten de "muren" in alle talen versterken. Als we de computer leren om in alle talen duidelijk te zien wat goed en slecht is, wordt de "Nee"-knop pas echt onbreekbaar.

Kortom: De "Nee"-knop is universeel, maar de veiligheid van de computer hangt af van hoe goed hij begrijpt wat er in die specifieke taal gebeurt.

Titel: Refusal Direction is Universal Across Safety-Aligned Languages

Auteurs: Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank (LMU München & Munich Center for Machine Learning)

1. Het Probleem

Grote Taalmodellen (LLMs) zijn afhankelijk van afwijzingsmechanismen (refusal mechanisms) om schadelijke, onethische of beleidsschendende verzoeken te weigeren. Hoewel deze mechanismen effectief zijn in het Engels, zijn ze vaak kwetsbaar voor "jailbreak"-aanvallen, waarbij zorgvuldig geconstrueerde prompts de veiligheidsbeperkingen omzeilen.

Een groeiende zorg is de kruislinguale kwetsbaarheid: prompts in niet-Engelse talen kunnen vaak veiligheidsbeperkingen omzeilen die in het Engels wel werken. Bestaand onderzoek heeft aangetoond dat afwijzingsgedrag in LLMs wordt gecodeerd in een specifieke richting in de activatieruimte (de "refusal direction"). Echter, het is onduidelijk of deze richting universeel is voor alle talen of specifiek voor het Engels. Als afwijzingsrichtingen taalafhankelijk zijn, zouden we per taal aparte veiligheidsmaatregelen moeten ontwikkelen, wat inefficiënt is. Als ze universeel zijn, biedt dit nieuwe inzichten voor zowel aanvallen als verdediging.

2. Methodologie

De auteurs hebben een reeks experimenten uitgevoerd om de universaliteit van afwijzingsrichtingen te testen.

Dataset (PolyRefuse): Ze hebben een nieuw multilinguaal dataset ontwikkeld genaamd PolyRefuse. Dit bevat schadelijke en onschadelijke prompts die vanuit het Engels zijn vertaald naar 14 talen (waaronder Duits, Spaans, Frans, Japans, Chinees, Yoruba, etc.), afkomstig van bestaande benchmarks zoals ADVBENCH en MALICIOUSINSTRUCT.
Extractie van Afwijzingsrichting: Gebruikmakend van de difference-in-means methode, extraheren ze een vector ( $r$ ) die het verschil in activatie weergeeft tussen schadelijke prompts (die worden afgewezen) en onschadelijke prompts. Dit gebeurt op specifieke lagen en token-posities in het model.
Interventie-experimenten:
1. Cross-linguale Transfer (Engels -> Anders): Ze extraheren een afwijzingsvector uit het Engels en passen deze toe op andere talen door de vector te ablateren (verwijderen) uit de residustroom van het model. Dit zou de afwijzing moeten uitschakelen.
2. Universaliteitstest (Niet-Engels -> Anders): Ze extraheren vectoren uit drie veiligheids-uitgelijnde talen (Duits, Chinees, Thais) en testen of deze vectoren ook de afwijzing in andere talen kunnen uitschakelen of versterken.
3. Toevoegen van Vectoren: Ze testen ook het omgekeerde: het toevoegen van afwijzingsvectoren aan de activaties om de afwijzing te versterken.
Geometrische Analyse: Ze analyseren de geometrische structuur van de embeddings in de modelruimte. Ze gebruiken PCA (Principal Component Analysis) en berekenen de Silhouette Score om te meten hoe goed schadelijke en onschadelijke prompts van elkaar gescheiden zijn in verschillende talen. Ze berekenen ook de cosinus-ähnelijkheid tussen afwijzingsvectoren van verschillende talen.

3. Belangrijkste Bijdragen

Ontdekking van Universaliteit: Het paper toont aan dat de "refusal direction" (de vector die afwijzingsgedrag encodeert) universeel is voor veiligheids-uitgelijnde talen. Een vector die uit het Engels is gehaald, werkt bijna perfect om afwijzingen in andere talen (zoals Japans, Yoruba, Chinees) te omzeilen, zonder extra fine-tuning.
Bidirectionele Transfer: Niet alleen werkt Engels op andere talen, maar vectoren die uit elke veiligheids-uitgelijnde taal (bijv. Duits of Thais) worden gehaald, transfereren even effectief naar andere talen. Dit suggereert dat het mechanisme voor afwijzing taalonafhankelijk is binnen de representatieruimte van het model.
Identificatie van de Oorzaak van Kwetsbaarheid: De auteurs identificeren dat de reden waarom cross-linguale jailbreaks slagen, niet ligt in het ontbreken van een afwijzingsvector, maar in de onvoldoende scheiding tussen schadelijke en onschadelijke representaties in de embeddingruimte van niet-Engelse talen.
PolyRefuse Dataset: De publicatie van een uitgebreid, parallel multilinguaal dataset voor veiligheidsresearch.

4. Resultaten

Ablatie-experimenten: Wanneer de afwijzingsvector (uit het Engels of een andere taal) wordt verwijderd uit het model, stijgt de compliance rate (het percentage waarbij het model schadelijke verzoeken accepteert) in bijna alle talen naar boven de 90%, zelfs in talen waar het model oorspronkelijk al kwetsbaar was.
- Voorbeeld: In het model Llama3.1-8B steeg de compliance voor Yoruba (een taal met slechte veiligheidsuitlijning) van 82,9% naar nog hoger na ablatie, maar zelfs modellen met sterke veiligheid (zoals Gemma-2) werden volledig "gejailbreakt" door de Engelse vector te verwijderen.
Toevoegingsexperimenten: Het toevoegen van afwijzingsvectoren verlaagt de compliance rate over de hele linie, vaak tot bijna 0%, wat aantoont dat de richting controleerbaar is.
Geometrische Analyse:
- Parallelle Vectoren: De afwijzingsvectoren van verschillende talen zijn bijna perfect parallel in de embeddingruimte (hoge cosinus-ähnelijkheid). Dit verklaart waarom vectoren uit de ene taal werken in de andere.
- Scheidingsprobleem: Hoewel de richting van afwijzing hetzelfde is, is de scheidbaarheid van schadelijke en onschadelijke prompts in niet-Engelse talen veel slechter dan in het Engels. In het Engels vormen schadelijke en onschadelijke prompts duidelijke clusters. In talen zoals Yoruba of Thai overlappen deze clusters sterk.
- Silhouette Scores: De scores voor clusterkwaliteit zijn aanzienlijk lager voor niet-Engelse talen (bijv. 0,22 voor Yoruba vs. 0,49 voor Engels in Llama3.1), wat bevestigt dat het model moeite heeft om de intentie van de prompt in die talen correct te classificeren voordat het afwijzingsmechanisme wordt geactiveerd.

5. Betekenis en Conclusie

De bevindingen hebben grote gevolgen voor de veiligheid van LLMs:

Beveiligingsimplicaties: Het feit dat afwijzingsrichtingen universeel zijn, betekent dat een enkel vector-based jailbreak (gebaseerd op Engels) effectief is tegen alle talen. Dit maakt cross-linguale aanvallen extreem eenvoudig en potentieel gevaarlijk.
Verdedigingsimplicaties: Het verbeteren van de veiligheid in het Engels is noodzakelijk, maar niet voldoende. De echte zwakte ligt in de representatieve scheiding. Modellen leren wel hoe ze moeten afwijzen (de richting), maar falen in het herkennen wanneer ze moeten afwijzen in niet-Engelse talen (de scheiding tussen goed en kwaad).
Toekomstige Richting: Om robuuste multilinguale veiligheid te bereiken, moeten onderzoekers zich richten op het verbeteren van de geometrie van de embeddingruimte, zodat schadelijke en onschadelijke prompts in alle talen duidelijk gescheiden zijn, niet alleen in het Engels.

Kortom, het paper onthult dat de "motor" van afwijzing taalonafhankelijk is, maar de "sensor" die bepaalt of iets schadelijk is, in veel talen nog steeds onbetrouwbaar werkt.