Activation Surgery: Jailbreaking White-box LLMs without Touching the Prompt

Probleemstelling

Grote Taalmodellen (LLMs) zijn doorgaans uitgerust met veiligheidsmechanismen om schadelijke inhoud te voorkomen. Bestaande "jailbreak"-technieken omzeilen deze beveiliging voornamelijk door de invoerprompt te manipuleren (bijv. via parafraseren, obscurificatie of rollenspel). Deze methoden zijn echter vaak kwetsbaar voor patches bij modelupdates.

Aan de andere kant heeft onderzoek naar "abliteration" (gericht verwijderen van interne componenten) aangetoond dat weigeringen (refusals) vaak worden veroorzaakt door specifieke, laag-dimensionale structuren in de interne representaties van het model.

Het paper adresseert de volgende gaten:

1. Bestaande methoden veranderen de tekstuele input, wat detectie mogelijk maakt.
2. Er is weinig onderzoek gedaan naar het manipuleren van de interne activaties tijdens de inferentie in een "white-box" omgeving (waarbij de attacker toegang heeft tot de modelgewichten en de runtime-omgeving), zonder de input prompt te wijzigen.

Methodologie: Activation Surgery

De auteurs introduceren een aanvalsmethode genaamd Activation Surgery. In plaats van de prompt te veranderen, manipuleert de aanval de interne staten van het model tijdens de forward pass.

Kernstappen van de methode:

1. Twin Prompt Constructie: Voor elke schadelijke (illicite) prompt $x$ (bijv. "Hoe maak je een bom?") construeert de aanval een bijna identieke, onschadelijke (benigne) "twin prompt" $x'$ (bijv. "Hoe maak je een boek?"). Het verschil tussen beide is minimaal (vaak slechts één token).
2. Activeringsvervanging: De methode vervangt selectief de interne activaties (hidden states) van de schadelijke prompt door die van de benigne twin prompt.
   • Parameter $\tau$ (Drempelwaarde): Bepaalt welke dimensies van de vector worden vervangen. Alleen dimensies waarbij het verschil tussen de schadelijke en de benigne activatie groter is dan $\tau$, worden geselecteerd.
   • Parameter $\gamma$ (Interpolatie): Bepaalt de intensiteit van de vervanging. In plaats van de benigne vector volledig in te voegen ($\gamma=0$), wordt er geïnterpoleerd tussen de schadelijke en benigne vector. Dit biedt controle over hoe agressief de ingreep is.
3. Sequentiële Patching (Patch-then-Compute): Omdat de activaties van laag $l+1$ causaal afhankelijk zijn van laag $l$, kan niet alle lagen tegelijk worden aangepast met vooraf berekende waarden. De methode past de patch laag voor laag toe:
   • Pas de patch toe op laag $l$.
   • Bereken de output van laag $l+1$ op basis van deze gewijzigde input.
   • Herhaal dit voor alle lagen.

Bedreigingsmodel:
De aanval veronderstelt een white-box scenario waarbij de attacker toegang heeft tot de runtime-omgeving (bijv. lokale uitvoering, self-hosted servers, of instrumenteerde inferentie-stacks). De attacker kan tussenliggende tensors observeren en overschrijven, maar heeft geen toegang tot de trainingsdata en wijzigt geen modelgewichten (geen fine-tuning).

Belangrijkste Bijdragen

1. Nieuwe Aanvalsvector: Het paper presenteert een jailbreak-methode die de input prompt ongewijzigd laat en in plaats daarvan de interne generatietrajectorie manipuleert.
2. Diagnostisch Inzicht: De methode onthult waar en hoe weigeringssignalen ontstaan en zich door de lagen van het model verspreiden. Het toont aan dat weigering vaak in specifieke tussenliggende lagen wordt gegenereerd en dat het blokkeren van deze signalen de veiligheid omzeilt.
3. Evaluatieframework: De auteurs introduceren een striktere evaluatiemethode dan gebruikelijk. In plaats van alleen te kijken naar "niet-weigeren", onderscheiden ze tussen vage antwoorden en actiegerichte antwoorden (Actionable Answers). Ze gebruiken een Elo-rangschikkingssysteem om de kwaliteit en gevaarlijkheid van de gegenereerde inhoud te beoordelen.

Resultaten

De methode werd getest op Llama-4-Scout-17B-16E-Instruct, een krachtig model met geavanceerde veiligheidsmechanismen, en ook op Qwen2.5 en Mistral.

• Successrate: Op de AdvBench-dataset (520 schadelijke prompts) slaagde de methode erin om voor 32,8% van de prompts een actiegerichte, schadelijke output te genereren. Dit is een aanzienlijke stijging ten opzichte van de baseline (zonder aanval), waarbij slechts 7,1% van de prompts een actiegerichte output gaf (vaak door toeval of zwakke beveiliging).
• Categorieën: De aanval was het meest effectief bij "Cyberattacks en Safety Bypass" (39,8% success rate), maar werkte ook bij het genereren van instructies voor bommen, wapens en desinformatie.
• Voorbeelden van output: De methode genereerde gedetailleerde recepten voor explosieven, scripts voor keylogging en camera-spionage, en overtuigende nepnieuwsartikelen.
• Hyperparameters: De optimale prestaties werden gevonden in een specifiek bereik van $\tau$ (tussen 0,4 en 1,0) en $\gamma$ (tussen 0,0 en 0,3). Een te lage $\tau$ leidt tot irrelevante antwoorden (het model gedraagt zich alsof het de benigne prompt beantwoordt), terwijl een te hoge $\tau$ de weigering niet effectief blokkeert.

Betekenis en Implicaties

1. Fundamentele Kwetsbaarheid: Het paper toont aan dat de veiligheid van LLM's niet alleen afhangt van de uitlijning (alignment) van het model, maar kritiek afhankelijk is van de integriteit van de uitvoering. Als een attacker de tussenliggende staten kan onderscheppen en herschrijven, kunnen veiligheidsbeleid omzeild worden zonder zichtbare signalen in de prompt.
2. Risico voor Open-Weights: Dit vormt een direct risico voor open-weight modellen die lokaal worden gedraaid of in instrumenteerbare inferentie-omgevingen worden gebruikt, waar tussenliggende staten toegankelijk zijn.
3. Defensieve Implicaties: De bevindingen motiveren de ontwikkeling van nieuwe verdedigingsmechanismen op runtime-niveau, zoals:
   • Attestatie van de inferentie-omgeving.
   • Verifieerbare berekening.
   • Verificatie van de integriteit van activaties.
   • Detectie van anomalieën in de interne staten.

Kortom, "Activation Surgery" demonstreert dat zelfs de meest geavanceerde veiligheidsfilters kwetsbaar zijn als de uitvoeringsomgeving niet volledig beveiligd is tegen manipulatie van de interne neurale staten.