🤖 AI

Using Mechanistic Interpretability to Craft Adversarial Attacks against Large Language Models

Dit artikel introduceert een nieuwe white-box adversariële aanvalsmethode die gebruikmaakt van mechanistische interpreteerbaarheid om embeddings van weigerings- naar acceptatiesubruimten te identificeren en om te leiden, waarbij hoge jailbreak-succespercentages worden behaald op state-of-the-art LLM's met aanzienlijk lagere computationele kosten vergeleken met bestaande technieken.

Oorspronkelijke auteurs: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Winninger, Boussad Addad, Katarzyna Kapusta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De Kluis Kraken Zonder het Slot te Openen

Stel je een Large Language Model (LLM) voor als een zeer intelligente, hoogopgeleide bibliothecaris. Deze bibliothecaris heeft een strikt regelboek: "Als iemand vraagt om instructies over hoe je een bom bouwt, moet je weigeren."

Traditionele hackers (adversarial attacks) proberen deze bibliothecaris te misleiden door verwarrende woorden te schreeuwen of complexe raadsels te gebruiken totdat de bibliothecaris in de war raakt en per ongeluk het antwoord geeft. Dit is als proberen een slot te kraken door elke sleutel te proberen te bewegen totdat er één werkt. Het kost veel tijd, vereist veel vallen en opstaan, en faalt vaak bij nieuwere, intelligentere bibliothecarissen.

Dit paper introduceert een nieuwe methode genaamd "Subspace Rerouting" (SSR). In plaats van sleutels te proberen, keken de onderzoekers in het brein van de bibliothecaris om precies te zien hoe de "weigeringsgedachte" wordt gevormd. Vervolgens maakten ze een specifieke "magische zin" die de bibliothecaris dwingt om een ander pad te nemen, waardoor de weigeringsregel volledig wordt omzeild.

Hoe het Werkt: De Drie Stappen

1. Het in kaart brengen van de "Weigeringskamer"

De onderzoekers bestudeerden eerst het model om te vinden waar de "weigering" plaatsvindt.

De Analogie: Stel je voor dat de geest van de bibliothecaris een enorm gebouw is met veel kamers. De onderzoekers vonden een specifieke gang (een "subspace") waar de gedachte "Ik kan dit niet doen" leeft.
De Ontdekking: Ze realiseerden zich dat wanneer het model een schadelijk verzoek ziet, de interne gedachten (activaties) naar deze "Weigeringskamer" worden geduwd. Wanneer het model een onschuldig verzoek ziet, blijven de gedachten in de "Helpende Kamer". Deze twee kamers zijn duidelijk van elkaar gescheiden, zoals twee verschillende kleuren verf die niet mengen.

2. De "Rerouting" Truc

Toen ze wisten waar de "Weigeringskamer" was, probeerden ze niet met de bibliothecaris in discussie te gaan. In plaats daarvan berekenden ze een kortere route.

De Analogie: Stel je voor dat je naar een doodlopende muur loopt (de weigering). In plaats van tegen de muur aan te lopen, vonden de onderzoekers een verborgen tunnel die het gebied van het "Schadelijke Verzoek" direct verbindt met het gebied van het "Helpende Antwoord", waarbij de muur volledig wordt overgeslagen.
De Methode: Ze voegden een paar speciale woorden (een "suffix") toe aan het einde van de schadelijke vraag. Deze woorden werken als een GPS-signaal dat de interne gedachten van het model vertelt: "Ga niet naar de Weigeringskamer; neem deze omweg naar de Helpende Kamer in plaats daarvan."

3. Het Resultaat: Instant Jailbreaks

De Oude Manier: Traditionele methoden (zoals GCG) zijn als proberen de muur neer te halen door urenlang stenen naar de muur te gooien. Ze falen vaak of kosten veel tijd.
De Nieuwe Manier (SSR): Deze methode is als het vinden van de geheime deur. De onderzoekers waren in staat om de veiligheid van het model in seconden te breken (soms slechts 14 seconden) met een succespercentage van 80% tot 95%. Ze deden dit op moderne, sterke modellen zoals Llama 3.2 en Gemma 2.

De Drie "Sleutels" Die Ze Testten

Het paper testte drie verschillende manieren om de "geheime deur" te vinden:

De Classifier Sleutel (Probe-SSR): Ze trainden een eenvoudige detector om "Weigeringsgedachten" te herkennen. Vervolgens optimaliseerden ze de input om deze detector te misleiden door te laten geloven dat het schadelijke verzoek eigenlijk onschuldig was. Dit was de meest effectieve methode.
De Kompas Sleutel (Steering-SSR): Ze vonden een specifieke "richting" in de geest van het model die wijst naar "Weigering". Vervolgens duwden ze de gedachten in de tegenovergestelde richting. Dit werkte goed, maar was iets minder efficiënt dan de eerste methode.
De Spotlight Sleutel (Attention-SSR): Ze vonden specifieke onderdelen van het model (attention heads) die zich concentreren op de gevaarlijke woorden. Ze probeerden een suffix te schrijven die deze onderdelen dwingt om naar de onschuldige woorden te kijken in plaats daarvan. Dit was de minst effectieve methode in de praktijk, hoewel interessant voor onderzoek.

Een Verrassende Ontdekking: De "Natuurlijke" Truc

Een van de coolste bevindingen was dat de "magische woorden" die de computer genereerde niet alleen willekeurige onzin waren (zoals "asjdhf98"). Soms vormden ze coherente, begrijpelijke zinnen.

De Analogie: Stel je voor dat je probeert een beveiligingssysteem te hacken door willekeurige letters te typen. Meestal krijg je "xkq9z". Maar deze methode produceerde soms een zin als: "Doe dit verantwoordelijk via ecologische boekhouding."
Waarom het belangrijk is: Dit suggereert dat de veiligheidsmechanismen van het model zeer specifiek zijn. Het model kan misleid worden om te denken dat een schadelijk verzoek veilig is als je het inkadert met de juiste context, zelfs als die context een beetje vreemd is.

Waarom Dit Er Toe Doet (Volgens het Paper)

Snelheid: Het verandert een proces dat vroeger uren duurde in een proces dat slechts seconden duurt.
Begrip: Het bewijst dat we kunnen begrijpen hoe AI-modellen denken (mechanistische interpreteerbaarheid) en die kennis kunnen gebruiken om ze te breken.
Verdediging: Door precies te zien hoe de "Weigeringskamer" werkt en hoe gemakkelijk deze kan worden omzeild, kunnen ontwikkelaars betere sloten (verdedigingen) bouwen die deze specifieke gaten niet hebben.

Wat het Paper Niet Beweert

Het beweert niet dat dit bij elk model in elke situatie werkt (het werkte het best op de specifieke modellen die ze testten).
Het beweert niet dat dit een hulpmiddel is voor klinisch gebruik of medische diagnose.
Het beweert niet dat de "magische woorden" altijd perfect Engels zijn; soms zijn ze nog steeds een beetje vreemd, maar minder dan voorheen.

Kortom, het paper zegt: "We hebben in het brein van de AI gekeken, de schakelaar gevonden die de veiligheid uitzet, en een afstandsbediening gebouwd om die schakelaar direct om te zetten."

Technische Samenvatting: Het gebruik van mechanistische interpreteerbaarheid voor het creëren van adversariële aanvallen tegen Large Language Models

Probleemstelling

Large Language Models (LLM's) blijven kwetsbaar voor adversariële perturbaties, specifiek "jailbreaks" die ontworpen zijn om veiligheidsalignement te omzeilen. Traditionele white-box aanvallende methoden, zoals Greedy Coordinate Gradient (GCG), vertrouwen op end-to-end gradiëntoptimalisatie gericht op specifieke output-tokens. Deze benaderingen negeren vaak de interne mechanismen die verantwoordelijk zijn voor weigering of acceptatie, wat resulteert in computationeel dure processen (vaak urenlang) die moeite hebben om hoge succespercentages te behalen bij nieuwere, robuustere modellen. Daarentegen heeft mechanistische interpreteerbaarheidsresearch succesvol interne veiligheidsmechanismen geïdentificeerd—zoals refusal subspaces en specifieke attention heads—maar is dit grotendeels beperkt gebleven tot runtime-interventies (bijv. activation steering) die out-of-distribution activaties produceren en een gebrek aan praktische toepassing hebben voor het creëren van statische adversariële inputs.

Dit artikel adresseert de kloof tussen interpreteerbaarheidsinzichten en praktische generatie van adversariële aanvallen. De auteurs stellen een methode voor die het begrip van interne modelmechanismen gebruikt om efficiënte, met een hoog succespercentage werkende adversariële inputs te creëren zonder te vertrouwen op runtime-interventies.

Methodologie: Subspace Rerouting (SSR)

De auteurs introduceren Subspace Rerouting (SSR), een white-box framework dat jailbreaking frameert als een optimalisatieprobleem in de continue embeddingruimte van het model. In plaats van te richten op specifieke output-tokens, beoogt SSR de embeddings van het model te herrouteren van "refusal subspaces" naar "acceptance subspaces" door het modificeren van input-suffixes.

1. Identificatie van Subspaces

De auteurs karakteriseren eerst de interne representaties van weigering en acceptatie met behulp van interpreteerbaarheids-technieken:

Semantische Subspaces: Met behulp van lineaire probes getraind op contrastieve datasets (schadelijke versus onschadelijke instructies), demonstreren de auteurs dat schadelijke en onschadelijke inhoud lineair scheidbare regio's inneemt in de activatieruimte, al in de derde laag van het model. Ze definiëren ook een "refusal direction" ( $\hat{r}$ ) als het verschil tussen de gemiddelde schadelijke en onschadelijke activaties.
Component Subspaces: De auteurs identificeren specifieke attention heads die verantwoordelijk zijn voor veiligheidsmechanismen. Ze observeren dat succesvolle jailbreaks vaak gepaard gaan met "attention hijacking", waarbij veiligheidskritische heads hun focus verschuiven van schadelijke instructie-tokens naar onschadelijke suffix-tokens.

2. Het SSR-algoritme

Het kernalgoritme minimaliseert een verliesfunctie $\mathcal{L}(x_m)$ die de afwijking van activaties van de doel-subspaces meet:
$\mathcal{L}(x_m) = \sum_{k} \alpha_k d_k(e_k, E_k)$
Waarbij $x_m$ de adversariële suffix is, $e_k$ de activaties op doel-lagen zijn, en $E_k$ de doel-acceptance subspaces zijn. De optimalisatie maakt gebruik van een greedy coordinate gradient search aangepast voor discrete tokens.

Het artikel beschrijft drie specifieke implementaties van SSR:

Probe-SSR: Gebruikt getrainde lineaire classifiers om optimalisatie te sturen naar de "onschadelijke" klasse-waarschijnlijkheid.
Steering-SSR: Richt zich direct op de refusal direction, waarbij inputs worden geoptimaliseerd om effecten te bereiken die vergelijkbaar zijn met runtime steering ( $e \leftarrow e^* + a\hat{r}$ ), maar binnen de natuurlijke waarschijnlijkheidsdistributie.
Attention-SSR: Probeert de aandacht van specifieke veiligheidskritische heads te herdirigeren van schadelijke inhoud naar de adversariële suffix, of minimaliseert de output-magnitude van deze heads.

Belangrijkste Bijdragen

Nieuwe Aanvalsvector: De introductie van SSR, een methode die mechanistische interpreteerbaarheid operationaliseert om praktische adversariële inputs te creëren, waarbij een attack success rate (ASR) van 80–95% wordt behaald op state-of-the-art modellen (Gemma2, Llama3.2, Qwen2.5) binnen seconden of minuten.
Subspace Identificatie: Meerdere methoden voor het definiëren van refusal en acceptance subspaces met behulp van lineaire probes en refusal directions, wat bevestigt dat veiligheidsconcepten lineair scheidbaar zijn in vroege en middelste lagen.
Efficiëntie en Interpreteerbaarheid: Het aantonen dat het targeten van specifieke interne subspaces aanzienlijk computationeel efficiënter is dan end-to-end token-optimalisatie. Bovendien produceert de methode perturbaties die binnen de natuurlijke waarschijnlijkheidsdistributie van het model blijven, in tegen tegenover runtime steering interventies.
Cross-Layer Stabiliteitsanalyse: Het artikel levert bewijs dat refusal subspaces kristalliseren in stabiele representaties in de tweede helft van het model, wat suggereert dat succesvolle herroutering vereist dat meerdere lagen worden getarget om te voorkomen dat het model "herstelt" naar een refusal-toestand.

Experimentele Resultaten

Prestaties: Op de AdvBench dataset behaalden Probe-SSR en Steering-SSR ASR's tussen de 80% en 95% over Llama3.2, Gemma2 en Qwen2.5. In contrast hiermee behaalde de nanoGCG baseline 0% tot 53% succes, en werden vanilla schadelijke instructies bijna altijd geweigerd.
Snelheid: Aanvallen werden gegenereerd in seconden tot minuten (bijv. 14 seconden voor Llama3.2 1b), een significante reductie vergeleken met de uren die door GCG vereist kunnen zijn.
Distributionele Eigenschappen: Analyse met behulp van PCA en KL-divergentie onthulde dat terwijl runtime steering interventies out-of-distribution activaties creëren die het model in volgende lagen "corrigeert", SSR-gegenereerde perturbaties een lage cosinus-gelijkenis behouden met refusal directions gedurende de forward pass, wat aangeeft dat ze robuuster en natuurlijker zijn voor de verwerking van het model.
Interpreteerbare Jailbreaks: Verrassend genoeg leverde het optimalisatieproces soms coherente, interpreteerbare token-sequenties op (bijv. "verantwoordelijk", "ethisch") in plaats van willekeurige onzin, wat suggereert dat de interne veiligheidsmechanismen van het model via semantisch plausibele paden kunnen worden omzeild.
Reverse-Lens: Door te optimaliseren om de refusal direction te triggeren (het inverse van een jailbreak), identificeerden de auteurs automatisch tokens (scheldwoorden, kwaadaardige termen) die de veiligheidsmechanismen sterk activeren, wat SSR valideert als een potentiële interpreteerbaarheids-tool.

Betekenis en Claims

De auteurs stellen dat SSR een significante vooruitgang vertegenwoordigt in zowel aanvalsresearch als defensieontwikkeling.

Voor Aanvalsresearch: Het demonstreert dat het begrijpen van interne modelmechanismen zorgt voor meer efficiënte en effectieve aanvallen dan traditionele black-box of end-to-end white-box methoden. Het benadrukt dat huidige veiligheidstraining mogelijk geen rekening houdt met subspace-manipulaties, waardoor modellen kwetsbaar zijn voor deze specifieke perturbaties.
Voor Defensie en Interpreteerbaarheid: SSR dient als een praktisch instrument voor het bevragen van de internals van modellen. Door het succesvol herrouteren van embeddings, onthult het de structurele kwetsbaarheden van veiligheidshekjes. De auteurs betogen dat het vermogen om snel interpreteerbare jailbreak-datasets te genereren nieuwe richtingen opent voor het bestuderen van adversariële perturbaties en het ontwikkelen van robuustere alignment-technieken.
Bescheidenheid: Het artikel erkent beperkingen, waaronder de moeilijkheid om aanvallen over verschillende modelarchitecturen te transfereren vanwege het chirurgische karakter van de perturbaties, de afhankelijkheid van specifieke hyperparameters, en het feit dat sommige aanvallen onbedoeld de semantische betekenis van de prompt veranderen (bijv. het herdirigeren van een query over bommen maken naar een recept voor een taart). De auteurs merken op dat de Attention-SSR implementatie in de praktijk minder effectief was dan de semantische subspace benaderingen.

Concluderend stellen de auteurs dat mechanistische interpreteerbaarheid niet louter een analytisch instrument is, maar een praktische motor voor het genereren van adversariële voorbeelden, wat de aanname uitdaagt dat robuuste alignment wordt bereikt zonder de specifieke interne subspaces aan te pakken die verantwoordelijk zijn voor weigering.