🤖 machine learning

Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks

Dit artikel onthult dat de laagdimensionale, breekbare aard van weigeringsmechanismen in uitgelijnde taalmodellen voortkomt uit repetitieve weigeringsprefixes tijdens de training, en demonstreert dat het gebruik van diverse weigeringsprefixes de stabiele rang van activatie-updates kan verhogen, waardoor weigeringen robuuster worden tegen vectorablatie-aanvallen.

Oorspronkelijke auteurs: Andrey Labunets

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrey Labunets

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentiesystemen worden steeds krachtiger en zijn in staat om code te schrijven, medische diagnoses te stellen en creatieve inhoud te genereren. Met deze macht komt een aanzienlijke verantwoordelijkheid: ervoor zorgen dat deze machines niet leren om schadelijke instructies te genereren, zoals hoe men wapens bouwt of gevaarlijke biologische agentia creëert. Om dit te voorkomen, trainen ontwikkelaars modellen om onveilige verzoeken te herkennen en deze beleefd af te wijzen, een proces dat bekend staat als weigeringstraining (refusal training). Echter, een verontrustende kwetsbaarheid is naar voren gekomen. Onderzoekers hebben ontdekt dat in veel geavanceerde modellen dit weigeringsgedrag geen complex, gedistribueerd defensief netwerk is, maar eerder een enkel, smal pad in de interne denkruimte van het model. Als een aanvaller in staat is dit specifieke pad te identificeren en te blokkeren, kan het model worden misleid om de veiligheidsregels te negeren en aan gevaarlijke verzoeken te voldoen. Deze zwakte suggereert dat de manier waarop veiligheid wordt aangeleerd, juist een single point of failure kan creëren.

Een onderzoeker aan de UC San Diego zette zich in om te begrijpen waarom deze fragiele, enkelvoudige padstructuur ontstaat en of deze robuuster gemaakt kan worden. De focus lag op een specifiek type AI-model om de oorsprong van het weigeringsgedrag terug te traceren naar het trainingsproces zelf. Het onderzoek onthulde dat de geometrie van het weigeringsmechanisme een directe reflectie is van hoe het model heeft geleerd "nee" te zeggen. Specifiek ontdekten zij dat wanneer een model wordt getraind om een schadelijk verzoek te weigeren, de veranderingen die het aanbrengt in zijn interne staat sterk worden beïnvloed door het allereerste woord dat het gebruikt om de weigering te beginnen. Als de trainingsdata het model dwingen om elke weigering te beginnen met dezelfde frase, zoals "Het spijt me," worden de interne aanpassingen van het model zeer geconcentreerd. Deze concentratie creëert een laagdimensionale structuur, wat betekent dat het weigeringsgedrag afhankelijk is van een zeer klein aantal richtingen in de interne ruimte. Omdat het gedrag zo geconcentreerd is, is het voor een aanvaller gemakkelijk om die enkele richting te vinden en te neutraliseren, waardoor het weigeringsvermogen van het model effectief wordt omzeild (gejailbroken).

De onderzoeker testte deze theorie door te kijken naar hoe verschillende trainingspatronen het weerstandsvermogen van het model beïnvloedden. Zij observeerden dat wanneer de weigerings-trainingsdata repetitief was, waarbij het model leerde om elke weigering met hetzelfde token te beginnen, het resulterende veiligheidsmechanisme inderdaad broos was. De interne veranderingen waren zo gefocust dat het verwijderen van een enkele vector de weigeringscapaciteit volledig kon uitschakelen. Echter, toen zij diversiteit introduceerden in het trainingsproces, waarbij het model werd vereist om te leren van weigeringen die begonnen met veel verschillende woorden en frases, veranderde de uitkomst drastisch. Door het model te dwingen zijn leren te verdelen over een grotere verscheidenheid aan startpunten, werden de interne veranderingen meer verspreid. Dit verhoogde de effectieve rang van de interne aanpassingen van het model, waardoor het weigeringsmechanisme minder afhankelijk werd van een enkele richting.

Om te verifiëren dat deze diversiteit het model daadwerkelijk versterkte, voerde de onderzoeker gecontroleerde experimenten uit waarbij het model werd bijgeschaafd (fine-tuned) op datasets met variërende niveaus van weigeringsdiversiteit. Zij vonden een duidelijk patroon: modellen getraind met diverse weigeringsstarts waren aanzienlijk moeilijker te breken. Wanneer zij werden onderworpen aan hetzelfde type aanval dat de repetitieve modellen gemakkelijk kon omzeilen, behielden de diverse modellen hun weigeringsgedrag veel effectiever. De aanval, die werkte door één enkele richting eruit te projecteren, slaagde er niet in om de weigeringscapaciteit te verwijderen omdat het veiligheidssignaal nu verspreid was over vele richtingen in plaats van geconcentreerd in één richting. De onderzoeker mat dit met een concept genaamd 'stable rank', wat in essentie telt hoeveel onafhankelijke richtingen nodig zijn om het gedrag van het model te beschrijven. Zij vonden dat een hogere diversiteit leidde tot een hogere stable rank, en een hogere stable rank correleerde direct met een kleinere daling in de veiligheidsprestaties bij een aanval.

De studie onderzocht ook hoe deze veranderingen zich door de lagen van het model voortplanten. Zij ontdekten dat de diversiteit die aan het begin van het trainingsproces werd geïntroduceerd, in de vorm van gevarieerde eerste tokens, de interne staat van het model beïnvloedde tot diep in de laatste lagen. De veranderingen in de vroege lagen, waar het model het verzoek eerst verwerkt, werden versterkt naarmate ze door het netwerk bewogen, wat resulteerde in een robuuster weigeringsmechanisme bij het uiteindelijke beslissingspunt. Dit suggereert dat de manier waarop veiligheidsdata op tokenniveau is gestructureerd, een diepgaande en blijvende impact heeft op de algehele beveiligingsarchitectuur van het model. De onderzoeker merkte op dat hoewel deze aanpak geen immuniteit garandeert tegen alle mogelijke aanvallen, het een eenvoudige en effectieve hefboom biedt om modellen te harden tegen een specifieke en gevaarlijke klasse van kwetsbaarheden.

De bevindingen bieden een nieuw perspectief op AI-veiligheid, waarbij de focus verschuift van enkel wat het model wordt geleerd naar hoe het wordt geleerd. Het onderzoek suggereert dat de broosheid van de huidige veiligheidsafstemming (safety alignment) niet een onvermijdelijk gebrek van de technologie is, maar een gevolg van repetitieve trainingspatronen. Door de manier waarop modellen leren te weigeren te diversifiëren, kunnen ontwikkelaars veiligheidsmechanismen creëren die meer gedistribueerd zijn en daarom moeilijker te ontmantelen. Dit werk biedt een concrete, meetbare methode voor het verbeteren van de robuustheid van AI-systemen, en laat zien dat de weg naar veiligere modellen kan liggen in de eenvoudige handeling van het variëren van de woordenschat van de weigering. De studie concludeert dat het begrijpen van de geometrische relatie tussen trainingsdata en modelgedrag essentieel is voor het bouwen van defensies die bestand zijn tegen de evoluerende tactieken van degenen die zoeken naar manieren om krachtige kunstmatige intelligentie te misbruiken.

Technische Samenvatting: Weigeringsgeometrie weerspiegelt Weigeringstraining

Probleemstelling

Naarmate AI-modellen dual-use capaciteiten verwerven (bijv. exploitgeneratie, assistentie bij biologische wapens), wordt veiligheidsafstemming (safety alignment) cruciaal. Standaard afstemmingstechnieken trainen modellen om schadelijke instructies te weigeren. Recent werk heeft echter een kwetsbaarheid geïdentificeerd: in white-box settings kan het weigeringsgedrag van afgestemde taalmodellen worden gemedieerd door één enkele activatierichting of een laagdimensionale weigeringssubruimte. Het ableren van deze richting (het verwijderen van de projectie ervan uit de activaties) "jailbreakt" het model effectief, waarbij weigeringen worden onderdrukt terwijl andere capaciteiten behouden blijven.

Ondanks de prevalentie van dit fenomeen blijft de mechanistische oorsprong van waarom veiligheidskritische weigeringskenmerken concentreren in dergelijke laagdimensionale structuren over diverse schadelijke prompts heen, onduidelijk. Bovendien is het onbekend of deze broosheid een inherente eigenschap is van de modelarchitectuur of een gevolg van specifieke trainingsdynamiek, en of dit kan worden gemitigeerd.

Methodologie

De auteur voert een casestudy uit op het OLMo-2-0425-1B-Instruct model, waarbij analytische afleidingen worden gecombineerd met empirische validatie via frozen-model analyses en gecontroleerde synthetische fine-tuning.

Analytisch Kader

Het papier stelt dat de geometrie van weigeringsresiduen (de activatieverschillen tussen schadelijke en onschadelijke prompts) direct wordt gevormd door de gradiënten van het weigeringstrainingsproces.

Gradient-naar-Activatie Mapping: De auteur analyseert cross-entropy losses op de eerste tokens van weigeringscompletions. Zij leiden af dat de gradiënt-geïnduceerde activatie-updates ( $G$ ) voortvloeiend uit deze losses geometrisch moeten corresponderen met de weigeringsresiduen ( $\Delta H$ ). Specifiek hypothetiseren zij dat de weigeringssubruimte wordt benaderd door de teken-omgekeerde affine subruimte van deze gradiënt-updates.
Stable Rank en Concentratie: De kernbijdrage van de theoretische analyse is het koppelen van de stable rank (een maatstaf voor effectieve dimensionaliteit) van het weigeringsmechanisme aan de diversiteit van de weigeringstrainingsdata.
- Lemma 3.1: De stable rank van de one-hot matrix van weigerings-first tokens ( $E_r$ ) is omgekeerd evenredig met de maximale frequentie van een enkel token. Als alle weigeringen met hetzelfde token beginnen (bijv. "I'm sorry"), is de stable rank 1. Als de tokens divers zijn, neemt de stable rank toe.
- Propagatie: De auteur definieert stable rank transfer factors om te begrenzen hoe de stable rank van gradiënten door transformer-lagen propageert. Zij tonen aan dat onder geïdealiseerde omstandigheden de stable rank van de gradiënten van de laatste laag (gedreven door token-diversiteit) terug propageert naar eerdere lagen, wat de effectieve rank van het weigeringsmechanisme potentieel versterkt.

Experimentele Opzet

Modellen: OLMo-2-0425-1B en de bijbehorende checkpoints (Base, SFT, DPO, RLVR1, Instruct).
Datasets: AdvBench, WildJailbreak, XSTest, en een gecontroleerde CAMEL chemie-dataset voor fine-tuning.
Attack: Difference-in-means single-vector ablation. De aanvaller schat een weigeringsvector $\rho = \mu_{harm} - \mu_{benign}$ in en verwijdert de projectie daarvan uit de activaties tijdens runtime.
Metrics: Weigeringspercentage (refusal rate), schadelijkheidspercentage (harmfulness rate), weigeringsdelta (verandering in percentage na ablatie), stable rank van residuen ( $\Delta H$ ) en gradiënten ( $G$ ), en subspace overlap metrieken.

Belangrijkste Bijdragen en Resultaten

1. Training-Origin Geometrie

De studie bevestigt dat weigeringstrainingsgradiënten de weigeringssubruimte direct vormgeven.

Alignment: Het gemiddelde van gradiënt-geïnduceerde activatie-updates ( $G$ ) is negatief uitgelijnd met het difference-in-means weigeringsvector ( $\rho$ ), wat consistent is met het feit dat gradiëntafdaling (gradient descent) activaties beweegt tegenover de loss gradiënt.
Subspace Overlap: De hoofdrichtingen (rechter singuliere vectoren) van de gecentreerde gradiënt-updates ( $G_c$ ) en de gecentreerde weigeringsresiduen ( $\Delta H_c$ ) vertonen een significante overlap, met name in middelste en late lagen.
Rank Correspondentie: De stable ranks van $G$ en $\Delta H$ komen nauw overeen, wat de hypothese ondersteunt dat het weigeringsmechanisme een direct gevolg is van de trainingsupdates.

2. Prefix Concentratie en Spectrale Ineenstorting

Het papier identificeert repetitieve weigeringsstarts (bijv. alle weigeringen die beginnen met "I") als een primair mechanisme voor laag-rank weigeringsrepresentaties.

Token Diversiteit: Wanneer weigeringscompletions dezelfde eerste token delen, heeft de target matrix $E_r$ een stable rank van 1. Deze concentratie propageert door het netwerk, wat resulteert in laag-stable-rank gradiënten en activatie-updates.
Kwetsbaarheid: Een lage stable rank impliceert dat het weigeringsmechanisme geconcentreerd is in één enkele effectieve richting, waardoor het zeer vatbaar is voor single-vector ablation attacks.

3. Weigeringsdiversiteit als Hardening Lever

Door middel van gecontroleerde experimenten demonstreert de auteur dat het vergroten van de diversiteit van de eerste tokens van weigeringen de stable rank van het weigeringsmechanisme verhoogt en ablation attacks verzwakt.

Frozen Model Analyse: Door de eerste tokens van weigeringscompletions te variëren op een vaste set schadelijke prompts, toonde de auteur aan dat het vergroten van het aantal verschillende eerste tokens (van 1 naar 16) de stable rank van de weigeringsresiduen ( $\Delta H$ ) en gradiënt-updates ( $G$ ) verhoogde.
Ablatie Resistentie: Subsets met hogere stable ranks vertoonden kleinere "weigeringsdelta's" (de daling in weigeringspercentage na ablatie). Een hogere-rank residu-subruimte is moeilijker te onderdrukken met een enkele vector.
Gecontroleerde Fine-Tuning: De auteur fine-tunde het model op onschadelijke chemie-prompts gekoppeld aan weigeringscompletions met variërende token-diversiteit. Modellen getraind met diverse weigeringsstarts bereikten vergelijkbare baseline weigeringspercentages, maar vertoonden een significant verminderde kwetsbaarheid voor single-vector ablation vergeleken met modellen getraind met repetitieve starts.

4. Cross-Layer Stable Rank Transfer

De studie introduceert stable rank transfer factors om te kwantificeren hoe rank verandert over lagen heen.

Amplificatie: In veel settings wordt de stable rank van gradiënten versterkt naarmate ze backward propageert van de laatste laag naar de middelste lagen (bijv. een factor van ~2 van laag 15 naar laag 7).
Shared Maps: De auteur definieert "top-k source-subspace shared maps" om de cross-layer relatie tussen gradiënten te benaderen. Deze maps reconstrueren succesvol een betekenisvol component van de cross-layer relatie, wat de theoretische grenzen op rank-propagatie valideert.

Betekenis en Claims

Het papier claimt de kloof te overbruggen tussen de empirische observatie van laagdimensionale weigeringsmechanismen en de trainingsdynamiek die ze creëert.

Mechanistische Verklaring: Het werk biedt een mechanistische verklaring voor waarom weigeringsgedrag concentreert: het is een direct resultaat van de geometrie van de trainingsupdates, specif kind de concentratie van gradiënten veroorzaakt door repetitieve weigeringsprefixes in veiligheidsdatasets.
Defensie via Data Geometrie: De primaire bijdrage is de identificatie van een "hardening lever". De auteur stelt dat diverse weigeringsstarts de stable rank van het weigeringsmechanisme kunnen verhogen, waardoor het robuuster wordt tegen vector-ablatie attacks zonder noodzakelijkerwijs architecturale wijzigingen of complexe adversariële training te vereisen.
Beperkingen: De auteur is bescheiden in de claims en merkt op dat:
- Weigeringsdiversiteit alleen onwaarschijnlijk een volledige defensie zal zijn tegen alle jailbreaks (bijv. multi-vector ablatie of andere attack families).
- De studie een casestudy is op een specifieke modelfamilie (OLMo) en Engelse data.
- De bevindingen een correlatie beschrijven tussen eigenschappen van trainingsdata en robuustheid, wat suggereert dat principieel defensie-ontwerp rekening moet houden met de "geometrie van weigeringstrainingsupdates".

Samenvattend stelt het papier dat de broosheid van huidige veiligheidsafstemmingen niet een onvermijdelijke fout van de architectuur is, maar een gevolg van de concentratie van trainingsdata. Door de token-eigenschappen van de weigeringscompletions te diversifiëren, is het mogelijk om de effectieve dimensionaliteit van het weigeringsmechanisme te vergroten, waardoor de drempel voor single-vector ablation attacks wordt verhoogd.