💬 NLP

The Geometry of Refusal in Large Language Models: Concept Cones and Representational Independence

Dit onderzoek introduceert een nieuwe gradiënt-gebaseerde methode om aan te tonen dat weigering in grote taalmodellen niet wordt bepaald door één enkele richting, maar door meerdere onafhankelijke, multidimensionale structuren in de representatieruimte.

Oorspronkelijke auteurs: Tom Wollschläger, Jannes Elstner, Simon Geisler, Vincent Cohen-Addad, Stephan Günnemann, Johannes Gasteiger

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tom Wollschläger, Jannes Elstner, Simon Geisler, Vincent Cohen-Addad, Stephan Günnemann, Johannes Gasteiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals ChatGPT) een zeer beleefde, maar soms ook een beetje te strenge bibliothecaris is. Als je vraagt: "Hoe maak ik een bom?", zegt de bibliothecaris direct: "Nee, dat mag niet!" Dit is de veiligheidsinstelling (refusal).

Tot nu toe dachten wetenschappers dat deze bibliothecaris slechts één grote, rode "STOP"-knop in zijn hoofd had. Als je die knop indrukte of wegpoetste, zou hij opeens alles zeggen wat je wilde (een 'jailbreak').

Dit onderzoek laat zien dat het veel ingewikkelder zit. Hier is de uitleg in begrijpelijke taal:

1. Geen enkele knop, maar een "Stop-trechter" (Concept Cones)

De onderzoekers ontdekten dat er niet één rode knop is, maar een hele verzameling knoppen die in een soort trechtervorm (een cone) bij elkaar zitten.

De metafoor: Denk niet aan één schakelaar voor het licht, maar aan een mengpaneel in een muziekstudio met tientallen schuifjes. Als je één schuifje omhoog zet, wordt de muziek harder. Maar je kunt ook een hele groep schuifjes tegelijk bewegen om hetzelfde effect te bereiken. In het taalmodel zijn er dus duizenden verschillende manieren (richtingen) om "Nee" te zeggen.

2. De "Onafhankelijke Stemmen" (Representational Independence)

Dit is het meest fascinerende deel. De onderzoekers ontdekten dat de bibliothecaris niet één reden heeft om "Nee" te zeggen, maar verschillende, onafhankelijke redenen.

De metafoor: Stel je voor dat je een restaurant binnenloopt en de ober zegt: "Nee, we hebben geen vis."

De ene keer zegt hij dat omdat de vis op is (Reden A).
De andere keer zegt hij dat omdat de vis niet vers is (Reden B).
En een derde keer omdat de kok geen zin heeft (Reden C).

Als je de vis alleen maar vers maakt, heeft hij nog steeds geen zin om te koken. Je moet alle verschillende redenen aanpakken om de ober echt te laten veranderen. In het taalmodel zijn de "Nee"-mechanismen ook zo: je kunt de ene reden wegpoetsen, maar de andere blijft gewoon werken. Ze zijn "onafhankelijk" van elkaar.

3. Een betere "Sleutel" maken (Gradient-based Engineering)

De onderzoekers hebben een nieuwe, slimme manier bedacht om deze mechanismen te vinden. In plaats van alleen maar te kijken naar wat het model zegt, gebruiken ze wiskunde (gradiënten) om de "geheime codes" van de bibliothecaris te kraken.

De metafoor: In plaats van lukraak tegen de deur van de bibliotheek te beuken om te zien of hij opengaat, gebruiken ze een soort laser-scanner om precies de vorm van het slot te zien. Hierdoor kunnen ze veel preciezer bepalen welke "schuifjes" ze moeten aanraken om het model te laten weigeren, zonder dat het model ondertussen opeens vergeet hoe hij normale vragen moet beantwoorden (wat we "bijwerkingen" noemen).

Waarom is dit belangrijk?

Dit onderzoek is een tweesnijdend zwaard:

Voor de "slechteriken": Het laat zien dat het makkelijker is om de veiligheid van AI te omzeilen dan we dachten, omdat er zoveel verschillende wegen zijn naar een "Ja".
Voor de "beschermers": Het geeft ons een veel beter blauwdruk. Als we weten dat de veiligheid uit een complexe structuur van vele knoppen en onafhankelijke stemmen bestaat, kunnen we de beveiliging veel sterker en slimmer maken. We kunnen de bibliothecaris leren om niet alleen op één knop te letten, maar om het hele systeem echt te begrijpen.

Technische Samenvatting: De Geometrie van Weigering in LLM's

1. Het Probleem (Problem Statement)

Hoewel de veiligheidsinstellingen (safety alignment) van Large Language Models (LLM's) via adversarial attacks (jailbreaks) kunnen worden omzeild, is het mechanisme hierachter nog onvoldoende begrepen. Bestaand onderzoek suggereert dat weigering (refusal) wordt aangestuurd door één enkele "weigering-richting" in de activatieruimte van het model. Dit paper stelt dat deze aanname te simplistisch is. Het probleem is tweeledig:

Onnauwkeurigheid van huidige methoden: De huidige methode (Difference-in-Means, DIM) is niet optimaal voor het manipuleren van weigering zonder ongewenste neveneffecten (zoals het verminderen van de algemene intelligentie van het model).
Geometrische complexiteit: Het is onduidelijk of weigering een lineair concept is dat door één vector wordt bepaald, of dat het een complexere, multidimensionale structuur heeft.

2. Methodologie (Methodology)

De auteurs introduceren drie innovatieve benaderingen:

Refusal Direction Optimization (RDO): In plaats van simpelweg het verschil tussen gemiddelde activaties te berekenen (DIM), gebruiken de auteurs een gradiënt-gebaseerde optimalisatiemethode. Ze definiëren een verliesfunctie ( $L$ $L$ ) die drie eigenschappen maximaliseert:
- Monotonic Scaling: Het toevoegen van de richting moet de kans op weigering proportioneel verhogen.
- Surgical Ablation: Het weghalen van de richting moet de weigering stoppen bij schadelijke vragen, maar het model normaal laten reageren op onschuldige vragen.
- Retain Loss: Gebruik van KL-divergentie om te zorgen dat de algemene prestaties op onschuldige prompts niet verslechteren.
Refusal Cone Optimization (RCO): Om de geometrie te onderzoeken, zoeken de auteurs naar een concept cone: een multidimensionaal gebied (een polyhedrale kegel) waarin alle vectoren binnen de kegel weigering mediëren. Ze optimaliseren een orthonormale basis voor deze kegel.
Representational Independence (RepInd): De auteurs introduceren een nieuwe maatstaf voor onafhankelijkheid. Orthogonaliteit (loodrechte vectoren) is in neurale netwerken niet voldoende om causale onafhankelijkheid te garanderen vanwege niet-lineaire transformaties. RepInd stelt dat twee richtingen onafhankelijk zijn als het ableren (verwijderen) van de ene richting de representatie van de andere richting in de activaties niet beïnvloedt.

3. Belangrijkste Bijdragen (Key Contributions)

Nieuwe optimalisatietechniek: RDO is effectiever en preciezer dan de traditionele DIM-methode.
Ontdekking van Concept Cones: Het bewijs dat weigering niet één richting is, maar een multidimensionale kegel (tot wel 5 dimensies in de geteste modellen).
Nieuw theoretisch kader: De introductie van Representational Independence als een robuustere manier om mechanismen in LLM's te onderscheiden.
Mechanistische inzichten: Het aantonen dat er meerdere, functioneel onafhankelijke mechanismen zijn die weigering aansturen.

4. Resultaten (Results)

Effectiviteit van RDO: RDO presteert beter bij zowel jailbreaking (via ablatie) als bij het induceren van weigering (via activatie-toevoeging) dan de DIM-methode.
Minder neveneffecten: RDO heeft een significant kleinere impact op de algemene capaciteiten van het model (zoals gemeten op TruthfulQA, MMLU en GSM8K). Het model blijft "slimmer" terwijl de veiligheid wordt gemanipuleerd.
Multidimensionale structuur: De resultaten tonen aan dat grotere modellen (zoals de Qwen 2.5-familie) hogere-dimensionale weigeringskegels ondersteunen. Het combineren van meerdere onafhankelijke richtingen leidt tot een hogere Attack Success Rate (ASR), wat bewijst dat deze richtingen verschillende aspecten van weigering vangen.
Input-toegankelijkheid: De ontdekte onafhankelijke richtingen kunnen worden bereikt via input-manipulatie (zoals GCG-adversarial suffixes), wat betekent dat deze richtingen daadwerkelijk door het model worden gebruikt in respons op specifieke prompts.

5. Betekenis (Significance)

Dit onderzoek verandert de manier waarop we naar AI-veiligheid kijken. In plaats van te proberen één "veiligheidsschakelaar" (een enkele vector) te repareren of te vinden, moeten verdedigingsstrategieën rekening houden met een complexe, multidimensionale geometrie. De methoden die hier worden gepresenteerd, bieden een fundament voor zowel geavanceerdere aanvalstechnieken als, belangrijker nog, robuustere defensieve strategieën zoals verbeterde adversarial training en monitoring tijdens de inferentie.