💬 NLP

STACK: Adversarial Attacks on LLM Safeguard Pipelines

Dit artikel introduceert de STACK adversarial attack procedure, die succesvol een nieuw met few-shot prompting beveiligde LLM-safeguard pipeline compromitteert met een attack success rate van 71%, waarmee kritieke kwetsbaarheden in huidige frontier AI-verdedigingssystemen worden benadrukt en specifieke mitigaties worden voorgesteld.

Oorspronkelijke auteurs: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Gepubliceerd 2026-02-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer krachtige, behulpzame robotassistent bouwt. Je wilt dat hij slim is, maar je bent doodsbang dat hij per ongeluk (of met opzet) iemand instructies kan geven over het bouwen van een bom of het creëren van een gevaarlijk virus.

Om dit te voorkomen, vertrouwen de makers van de robot niet alleen op één "stop"-bord. In plaats daarvan bouwen ze een beveiligingspijplijn, vergelijkbaar met een meerlagige vesting. Dit paper, getiteld STACK, onderzoekt hoe goed deze vestingen daadwerkelijk standhouden tegen slimme hackers.

Hier is de uitsplitsing van het verhaal van het paper, met behulp van eenvoudige analogieën:

1. De Vesting: "Defense in Depth"

Beschouw het AI-veiligheidssysteem als een kasteel met drie bewakers die in een lijn staan:

Bewaker 1 (Input Classifier): Controleert de brief die je stuurt voordat deze de robot bereikt. Als de brief verdacht lijkt, stoppen ze het direct.
De Robot (Het Model): Als de brief door Bewaker 1 is gekomen, leest de robot de brief en schrijft een antwoord.
Bewaker 2 (Output Classifier): Controleert het antwoord van de robot voordat het naar jou gaat. Als het antwoord gevaarlijke instructies bevat, grijpt deze bewaker de brief terug.

Het idee is dat een slechterik om succesvol te zijn, beide bewakers en de robot moet misleiden. Dit wordt "Defense in Depth" genoemd (of het "Zwitserse kaas"-model), waarbij zelfs als één laag een gat heeft, de andere lagen de dreiging alsnog moeten vangen.

2. Het Probleem: De Bewakers zijn Slaperig

De onderzoekers bouwden een testversie van deze vesting met behulp van open-source tools (zoals een publiek blauwdruk). Ze ontdekten dat de "bewakers" (de veiligheidsclassifiers) vaak te makkelijk te misleiden waren.

Ze testten standaard trucjes (zoals het herformuleren van een vraag of het toevoegen van willekeurige typefouten) en ontdekten dat veel bestaande veiligheidsbewakers er niet in slaagden om ze te stoppen, vooral wanneer de aanvraag echt gevaarlijk was (zoals het vragen naar recepten voor chemische wapens).
Ze ontdekten echter ook dat een simpel trucje — het geven van een paar voorbeelden aan de bewaker van waar hij op moet letten (genaamd "few-shot prompting") — de bewaker veel scherper maakte. Deze simpele bewaker was beter dan de fancy, vooraf getrainde versies.

3. De Nieuwe Aanval: STACK (Staged AttaCK)

Dit is de belangrijkste ontdekking van het paper. De onderzoekers realiseerden zich dat hoewel de vesting sterk is, de bewakers de dingen afzonderlijk bekijken. Ze praten niet met elkaar tijdens de aanval.

Ze hebben een nieuwe hackmethode uitgevonden genaamd STACK (Staged AttaCK). In plaats van te proberen de hele vesting in één keer te breken, braken ze het laag voor laag af, zoals een dief die sloten in een specifieke volgorde kraakt:

Stap 1: De Robot misleiden. Eerst gebruikten ze een overtuigingstechniek om de robot ervan te overtuigen de gevaarlijke vraag te beantwoorden, waarbij de eigen veiligheidsregels van de robot worden genegeerd.
Stap 2: Bewaker 1 misleiden. Ze vonden een "magische zin" (een universele jailbreak) die, wanneer deze voor het bericht wordt toegevoegd, Bewaker 1 ervan overtuigt dat het bericht onschadelijk is.
Stap 3: Bewaker 2 misleiden. Dit was het moeilijkste deel. Ze moesten de robot een antwoord laten schrijven dat een "magische zin" aan het einde bevat die Bewaker 2 ervan overtuigt dat het antwoord veilig is.

De Analogie: Stel je voor dat je een verboden brief in een school wilt smokkelen.

Je schrijft de brief eerst op een manier zodat de leraar (de robot) hem zal lezen en beantwoorden.
Vervolgens wikkel je de brief in een verpakking die de beveiligingscamera bij de deur (Bewaker 1) ziet als een onschuldige lunchtrommel.
Ten slotte voeg je een specifieke stempel toe aan de achterkant van de brief die de beveiligingscamera bij de uitgang (Bewaker 2) ziet als een toestemmingsbrief.

Door deze drie specifieke trucjes te combineren, slaagden de onderzoekers erin de gehele vesting te omzeilen.

4. De Resultaten: Hoe goed werkte het?

De Vesting hield stand (Grotendeels): Wanneer ze standaard aanvallen gebruikten, werkte de vesting geweldig. De "few-shot" bewaker stopte 100% van de aanvallen op de meest gevaarlijke dataset.
STACK brak de Vesting: Wanneer ze hun nieuwe STACK-methode gebruikten, omzeilden ze de vesting 71% van de tijd.
De "Black Box" Verrassing: Zelfs toen de hackers de interne logica van de bewakers niet konden zien (een "black box"-scenario) en moesten raden welke bewaker hen had gestopt, slaagden ze nog steeds 33% van de tijd. Dit is angstaanjagend omdat het betekent dat je geen insider hoeft te zijn om het systeem te breken; je moet alleen slim zijn.

5. De Test in de Praktieve Wereld

De onderzoekers testten hun methode niet alleen op hun eigen speelgoedmodel. Ze probeerden hun methode op de echte, top-tier AI-modellen van grote bedrijven (zoals Anthropic's Opus 4 en OpenAI's GPT-5).

Ze ontdekten dat deze echte systemen ook informatie lekken (zoals hoe lang een aanvraag duurt om te verwerken of specifieke foutmeldingen) die een hacker vertelt welke bewaker hem heeft gestopt.
Met behulp van deze informatie slaagden ze erin om deze hoogbeveiligde systemen te omzeilen om gevaarlijke antwoorden te krijgen. De bedrijven erkenden de problemen en hebben ze gepatcht.

6. De Conclusie

Het paper concludeert met een paar eenvoudige lessen voor de bouwers van deze AI-vestingen:

Onthul je geheimen niet: Als je systeem een hacker vertelt "De Input-bewaker heeft je gestopt" versus "De Output-bewaker heeft je gestopt", geef je hem een kaart. Laat alle weigeringen er hetzelfde uitzien.
Laat hackers niet meekijken: Als je een "sibling model" (een iets kleiner model van je veiligheidsbewaker) publiekelijk uitgeeft, kunnen hackers hun aanvallen daarop trainen en die vervolgens tegen je hoofdmodel gebruiken.
Defense in Depth is goed, maar niet perfect: Het hebben van meerdere lagen beveiliging is beter dan helemaal niets, maar als de lagen niet met elkaar communiceren of als de bewakers te voorspelbaar zijn, kan een slimme, gefaseerde aanval er zo tussendoor glippen.

Kortom: Het paper laat zien dat hoewel AI-veiligheidslagen een goed idee zijn, ze momenteel kwetsbaar zijn voor een specifiek type "verdeel en heers"-aanval. Als je de lagen één voor één aanvalt, kun je het hele systeem verslaan.

Technische Samenvatting: STACK: Adversariële Aanvallen op LLM Safeguard Pipelines

Probleemstelling

Frontier AI-ontwikkelaars vertrouwen steeds vaker op "defense-in-depth" pipelines—gelaagde systemen van input-classifiers, generatieve modellen en output-classifiers—om het catastrofale misbruik van Large Language Models (LLM's) te voorkomen. Hoewel bedrijven zoals Anthropic en OpenAI dergelijke pipelines hebben ingezet voor modellen zoals Opus 4 en GPT-5, blijft de beveiliging van deze meerfasige verdedigingen onduidelijk. Eerder werk heeft deze pipelines grotendeels geëvalueerd met naïeve, niet-adaptieve aanvallen die ontworpen zijn voor systemen met een enkele laag, wat de robuustheid ervan mogelijk overschat. Er is een kritiek gat in het begrip van de vraag of gefaseerde aanvallen sequentiële waarborgen systematisch kunnen omzeilen, met name in realistische black-box dreigmodellen waarbij aanvallers geen directe toegang hebben tot individuele componenten maar wel kunnen afleiden welke fase een query blokkeerde.

Methodologie

Constructie van de Defense Pipeline

De auteurs hebben een open-source defense-in-depth pipeline geconstrueerd om als testbed te dienen. Deze pipeline omhult een doel-generatief model ( $m$ ) met twee classifiers:

Input Classifier ( $f_q$ ): Evalueert de gebruikersquery.
Output Classifier ( $f_r$ ): Evalueert de respons van het model.
De pipeline wijst elke query of respons af die boven een specifieke drempelwaarde scoort. De auteurs evalueerden diverse open-weight safeguard-modellen (bijv. Llama Guard, ShieldGemma) en introduceerden een nieuwe few-shot-prompted classifier gebruikmakend van het Gemma 2 base-model, die de gespecialiseerde guard-modellen zoals ShieldGemma overtrof.

De STACK Aanval

Het artikel introduceert STaged AttaCK (STACK), een methodologie die ontworpen is om defense-in-depth pipelines te verslaan door ze component voor component te breken. De aanval verloopt in drie fasen:

Jailbreak de Generatieve Model: Gebruik een niet-adaptieve aanval (bijv. Persuasive Adversarial Prompts, of PAP) om een schadelijke query te transformeren naar een vorm die het doelmodel wel zal beantwoorden.
Jailbreak de Input Classifier: Optimaliseer een universele adversariële string (Input Classifier Jailbreak, ICJ) die, wanneer voorafgevoegd aan de getransformeerde query, de input-filter omzeilt.
Jailbreak de Output Classifier: Optimaliseer een universele adversariële string (Output Classifier Jailbreak, OCJ) die het model wordt geïnstrueerd te herhalen in zijn output. Dit wordt bereikt door een prompt te construeren die het model dwingt de OCJ-string te produceren vóór het beantwoorden van de gebruikersquery.

De uiteindelijke aanval-payload concateneert de ICJ, een instructie tot herhaling, en de getransformeerde query.

Dreigmodellen

De studie evalueert STACK onder twee primaire dreigmodellen:

Black-Box Semi-Separable: De aanvaller heeft black-box toegang tot de volledige pipeline maar kan afleiden welke component (input classifier, model, of output classifier) een query heeft geweigerd (bijv. via afwijkende weigeringsberichten of timing). Dit reflecteert huidige API-gedragingen (bijv. Claude Opus 4).
Transfer (White-Box Proxy naar Black-Box Target): De aanvaller heeft volledige white-box toegang tot een proxy pipeline (andere model/classifier configuratie) om de aanval te trainen, en transfeert vervolgens de resulterende jailbreaks naar de target pipeline zonder directe toegang te hebben tot de interne gewichten van die laatste.

Belangrijkste Bijdragen

Open-Source Defense Pipeline: De auteurs creëerden een state-of-the-art open-source pipeline. Ze ontdekten dat een eenvoudige few-shot-prompted classifier (Gemma2) bestaande open-weight safeguard-modellen (zoals ShieldGemma) significant overtrof, waardoor de Attack Success Rate (ASR) op de ClearHarm dataset terugbracht naar 0% voor standaard aanvallen.
De STACK Procedure: Zij ontwikkelden een concrete implementatie van de gefaseerde aanvals-methodologie.
- Black-Box STACK: Bereikte een 71% ASR op de ClearHarm dataset tegen de robuuste Gemma2 pipeline, wat aantoont dat zelfs sterke verdedigingen omzeild kunnen worden als componenten sequentieel worden aangevallen.
- Transfer-STACK: Bereikte een 33% ASR in een zero-shot transfer setting, wat bewijst dat aanvallen tegen een proxy kunnen worden ontworate en succesvol kunnen worden getransfereerd naar een target pipeline zonder directe interactie met die pipeline.
Evaluatie van Frontier Modellen: De auteurs pasten de STACK-methodologie toe op Anthropic's Opus 4 en OpenAI's GPT-5. Ze identificeerden kwetsbaarheden in beide systemen, waarmee zij valideerden dat de component-gewijze aanpak effectief is tegen frontier deployments.

Resultaten

Baseline Aanvallen: Standaard black-box aanvallen (PAP, ReNeLLM, Best-of-N) faalden tegen de few-shot-prompted Gemma2 pipeline op de ClearHarm dataset (0% ASR), wat de effectiviteit van het defense-in-depth principe tegen niet-adaptieve dreigingen bevestigt.
STACK Prestaties:
- Tegen de Gemma2 pipeline omzeilde STACK de safeguards, met een 71% ASR.
- De aanval kostte ongeveer 507 H100 GPU-uren voor de black-box versie en 15 H100 GPU-uren voor de transfer versie.
- De transfer-aanval toonde aan dat aanvallers geen directe toegang nodig hebben tot de interne componenten van de target pipeline om te slagen, mits zij kunnen trainen op een voldoende gelijkaardige proxy.
Kwetsbaarheden in Frontier Modellen: De auteurs slaagden erin om schadelijke responsen op te roepen bij Opus 4 en GPT-5 met variaties van de component-gewijze aanval (bijv. het gebruik van ROT13-encoding om de output classifier van Opus 4 te omzeilen en image-based inputs voor de input classifier van GPT-5). Na openbaarmaking erkenden beide bedrijven de bevindingen en hebben zij mitigaties doorgevoerd.

Betekenis en Claims

Het artikel claimt dat hoewel defense-in-depth een geldige en noodzakelijke strategie is, bestaande open-weight safeguard-modellen onvoldoende zijn wanneer zij worden geconfronteerd met adaptieve, gefaseerde aanvallen. De auteurs benadrukken dat:

Defense-in-depth werkt tegen naïeve aanvallen: De few-shot-prompted classifier blokkeerde alle baseline aanvallen succesvol, wat de gelaagde aanpak valideert.
Gefaseerde aanvallen zijn een kritieke dreiging: De STACK-procedure demonstreert dat als een aanvaller kan identificeren welke component blokkeert (semi-separable access) of kan trainen op een proxy, zij zelfs de sterkste huidige pipelines kunnen omzeilen.
Mitigatie is mogelijk: De auteurs stellen specifieke tegenmaatregelen voor, zoals:
- Componentidentiteit verbergen: Zorgen dat weigeringsresponsen identiek lijken, ongeacht of de input classifier, het model, of de output classifier de blokkade heeft getriggerd.
- Side-channels elimineren: Queries door alle stadia van de pipeline laten lopen, zelfs als een vroeg stadium ze al heeft geweigerd, om timing-gebaseerde inferentie te voorkomen.
- Toegangscontrole: Het vermijden van de release van open-weight modellen die te veel lijken op de propriëtaire safeguards die in productie worden gebruikt, om de haalbaarheid van transfer-aanvallen te verminderen.

Het artikel concludeert dat hoewel defense-in-depth essentieel is, de beveiliging van deze pipelines momenteel fragiel is tegen geavanceerde, gefaseerde adversariële strategieën, wat vraat om robuustere classifier-ontwerpen en striktere toegangscontroles.