Technische Samenvatting: De Geometrie van Weigering: Lineaire Instabiliteit in Veiligheid-afgestemde LLM's

Probleemstelling

Ondanks de brede adoptie van technieken voor veiligheidsafstemming (safety alignment), zoals Reinforcement Learning from Human Feedback (RLHF), blijft de mechanistische basis van hoe Large Language Models (LLM's) schadelijke queries weigeren opaak. Een cruciale openstaande vraag is of veiligheidsnaleving een diep semantisch begrip van schade vertegenwoordigt of slechts een oppervlakkige, manipuleerbare lineaire feature. Huidige adversariële aanvallen vertrouwen vaak op computationeel dure optimalisatie (bijv. GCG) of iteratieve zoekprocessen, wat mogelijk faalt tegen moderne veiligheidstraining. Dit werk onderzoekt of veiligheid is gecodeerd als een lineair geometrisch kenmerk in de activatieruimte van het model dat kan worden omzeild of versterkt door directe aritmetische interventie op de output-logits.

Methodologie: Contrastive Logit Steering (CLS)

De auteurs introduceren Contrastive Logit Steering (CLS), een zero-optimalisatie framework dat direct opereert op de output-distributie (logits) van het model in plaats van op interne verborgen activaties.

Kernmechanisme

1. Contrastive Prompting: Voor een gegeven gebruikersquery $q$ voert het model drie parallelle forward passes uit met verschillende systeemprompts:
   • Base ($s_{base}$): Een neutrale instructie (bijv. "Je bent een behulpzame assistent").
   • Unrestricted ($s_{+}$): Een adversariële instructie die veiligheidsbeveiligingen verwijdert.
   • Restricted ($s_{-}$): Een restrictieve instructie die extreme veiligheid afdwingt.
2. Vector Isolatie: Bij elke decoding-stap $t$ berekent de methode een instantane Steering Vector $v_t$ door de logits van de restrictieve stroom af te trekken van de onbeperkte stroom:
   $$v_t = z^+_t - z^-_t$$
   Deze vector isoleert de "Weigeringsrichting" (Refusal Direction)—de specifieke geometrische richting in de logit-ruimte die het binaire onderscheid tussen naleving en weigering codeert.
3. Logit Interventie: De base-logits van het model worden gemoduleerd door de geschaalde steering vector toe te voegen:
   $$\tilde{z}_t = z^{base}_t + \alpha \cdot v_t$$
   • Jailbreaking ($\alpha > 0$): Injecteert het "onbeperkte" gedrag, waardoor veiligheidstokens worden onderdrukt.
   • Hardening ($\alpha < 0$): Trekt het onbeperkte gedrag af, waardoor kunstmatig veiligheid wordt geïnduceerd.
4. Prefix Injectie: Om de initiële weigeringsreflex van het model te omzeilen (waarbij modellen vaak direct "Ik kan niet" outputen), dwingt de methode de eerste $k$ tokens naar een bevestigende prefix (bijv. "Natuurlijk") voordat de steering vector op de daaropvolgende tokens wordt toegepast.

Detectiemechanisme

Het framework maakt ook gebruik van de geometrische scheidbaarheid van weigering voor zero-shot detectie. Door een Global Refusal Vector te berekenen uit het verschil in de laatste laag van de verborgen toestanden tussen schadelijke en begunstige anker-queries, kan het systeem nieuwe queries classificeren op basis van cosinus-gelijkenis zonder een aparte classifier te trainen.

Belangrijkste Bijdragen

1. CLS als Diagnostische Probe: Het paper biedt een zero-shot, logit-niveau steering framework dat mechanistisch bewijs levert dat veiligheid in architecturen zoals Llama fungeert als een ondiepe "wrapper" in plaats van een diepe semantische beperking.
2. Topologie van Weigering: Door middel van KL-divergentie analyse over de netwerkdiepte identificeren de auteurs twee verschillende veiligheidstopologieën:
   • "Late Decision" Modellen (bijv. Llama-3.1): Deze modellen verwerken schadelijke en begunstige queries identiek voor ~95% van hun lagen, en divergeren pas bij de finale output head. Dit maakt ze zeer kwetsbaar voor logit-niveau steering.
   • "Early Divergence" Modellen (bijv. Qwen-2.5): Deze modellen integreren veiligheid halverwege de computatie (~40% diepte), waardoor ze significant robuuster zijn tegen lineaire steering omdat het weigeringsmechanisme verstrengeld is met redenering.
3. Empirische Baselines: Het werk biedt directe vergelijkingen met gevestigde activatie-niveau steering methoden (Arditi et al., 2024) en optimalisatie-gebaseerde aanvallen (GCG), waarbij wordt aangetoond dat logit-niveau interventie een grotere alignment-fragiliteit blootlegt.
4. Bidirectionele Controle: De methode maakt zowel aanval (jailbreaking) als defensie (safety hardening) mogelijk via een enkele vector. Het inverteren van de steering vector ($\alpha < 0$) bleek het model te "verharden" tegen jailbreaks en, contra-intuïtief genoeg, de respons-coherentie te verbeteren door ambiguïteit te verminderen.

Experimentele Resultaten

De auteurs evalueerden CLS over zeven modelfamilies (Gemma-3, Llama-3.1/3.2/3.3, Qwen-2.5) met gebruik van datasets zoals AdvBench, JailbreakBench en HarmBench.

• Attack Success Rate (ASR) vs. GCG: Op Llama-3.1-8B behaalde GCG slechts 5% ASR na 100 optimalisatiestappen, terwijl CLS 95% ASR behaalde in ongeveer één seconde (een versnelling van ~900x). Op Qwen-2.5-7B behaalde CLS 90% ASR vergeleken met 45% voor GCG.
• Vergelijking met Activation Steering: Wanneer vergeleken met Arditi et al. (2024), behaalde CLS substantieel hogere ASR op Llama 2 (73% vs. 22.6%) en Qwen 7B (91% vs. 79.2%). De auteurs schrijven het grotere gat op Llama toe aan de "Late Decision" topologie, waarbij het weigeringssignaal geconcentreerd is bij de output-laag, wat logit-niveau interventie effectiever maakt dan verborgen-toestand ablatie.
• Safety Hardening: Negatieve steering ($\alpha = -1.0$) verminderde de attack success rates tot enkel cijfers (bijv. Llama-3.3-70B daalde van 68.8% naar 9.4% ASR).
• Zero-Shot Detectie: Met de Global Refusal Vector behaalde de methode een F1-score van 0.92 op JailbreakBench voor het onderscheiden van kwaadwillige van begunstige prompts zonder een apart model te trainen.

Betekenis en Claims

Het paper betoogt dat huidige alignment-technieken een stuurbare "veiligheidsas" creëren die zowel een kritieke kwetsbaarheid als een precies primitief voor defensie dient.

• Mechanistisch Inzicht: De bevindingen suggereren dat voor veel modellen RLHF geen schadelijke kennis "ontleert", maar eerder een lineaire onderdrukkingsfeature toepast op de output-laag. De "Refusal Vector" vangt niet alleen veiligheidsnaleving, maar ook aarzeling en ambiguïteit; het verwijderen ervan kan paradoxaal genoeg de coherentie verbeteren.
• Architecturale Determinisme: Het verschil in kwetsbaarheid tussen Llama (Late Decision) en Qwen (Early Divergence) impliceert dat de diepte van de veiligheidsintegratie een deterministische factor is in stuurbaarheid, waarschijnlijk gevormd door zowel architectuur als traininginterventies.
• Defensie Implicatie: De auteurs stellen dat zolang veiligheid wordt geïmplementeerd als een scheidbare lineaire subspace, het kwetsbaar blijft voor geometrische interventie. Ze stellen voor dat toekomstige alignment-paradigma's veiligheid moeten verstrengelen met algemene capaciteit om weigering een diepe semantische eigenschap te maken in plaats van een verwijderbare oppervlakte-feature.

Het werk concludeert dat CLS een real-time primitief biedt voor het auditeren van onderdrukte capaciteiten en het dynamisch verharden van modellen, wat de fragiliteit van huidige veiligheidsimplementaties benadrukt.