🤖 machine learning

Bypassing Prompt Guards in Production with Controlled-Release Prompting

Dit artikel introduceert "controlled-release prompting", een praktische aanval die de hulpbronnenasymmetrie tussen lichtgewicht inputfilters en grote taalmodellen exploiteert om prompt guards te omzeilen en auteursrechtelijk beschermde gegevens van grote AI-platforms te extraheren, waarmee wordt aangetoond dat theoretische onmogelijkheidsresultaten voor promptfiltering vertalen naar realiteit-gebaseerde kwetsbaarheden.

Oorspronkelijke auteurs: Jaiden Fairoze, Sanjam Garg, Keewoo Lee, Mingyuan Wang

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaiden Fairoze, Sanjam Garg, Keewoo Lee, Mingyuan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, krachtige robot hebt (het Hoofdmodel) die bijna alles kan, zoals verhalen schrijven, wiskundige problemen oplossen of zelfs advies geven. Maar omdat het zo krachtig is, kan het soms iets gevaarlijks of gemeens zeggen. Om dit te stoppen, plaatsen bedrijven een kleinere, snellere robot (het Guard-model) voor de grote robot. De taak van de kleine robot is om elke boodschap die je stuurt te lezen en te zeggen: "Nee, dat is slecht!" voordat de grote robot het ooit ziet.

De grote robot is als een supercomputer met een enorme hersenpan, terwijl de kleine robot als een snelle, efficiënte beveiligingsbeambte is die duizenden mensen per minuut moet controleren. Om het snel te houden, moet de beveiligingsbeambte eenvoudig en snel zijn.

De Grote Ontdekking

Dit paper vond een slimme truc om de beveiligingsbeambte te misleken zonder ooit de regels te breken of de robots te veranderen. De onderzoekers noemen dit "Controlled-Release Prompting."

Hier is de analogie:
Stel je voor dat je de grote robot een geheime, gevaarlijke instructie wilt geven, maar de beveiligingsbeambte kijkt mee.

De Oude Manier (Capaciteitsverschil): Je zou kunnen proberen een geheime taal te spreken die de bewaker niet kent (zoals een complexe code). Als de bewaker die taal leert, werkt deze truc niet meer.
De Nieuwe Manier (Resourceverschil): Dit paper gebruikt een andere truc. In plaats van een geheime taal te gebruiken, gebruiken ze een zeer lange, saaie puzzel.

Hoe de Truc Werkt

De onderzoekers sturen een bericht dat eruitziet als een saaie, onschuldige taak: "Ontcijfer deze lange lijst met door elkaar gehusselde letters één voor één om de verborgen boodschap te vinden."

De Beveiligingsbeambte (Guard-model): Deze robot is ontworied om snel te zijn. Hij ziet een lange, verwarrende lijst met letters. Om te begrijpen wat het betekent, zou hij moeten vertragen en veel stapsgewijze berekeningen moeten uitvoeren. Maar de bewaker is geprogrammeerd om snel te zijn! Hij heeft niet de tijd of energie om de hele puzzel op te lossen, dus kijkt hij alleen naar de oppervlakte, ziet "onschuldige letters" en laat het doorgaan.
De Grote Robot (Hoofdmodel): Deze robot is krachtig en geduldig. Hij heeft alle tijd en energie. Hij lost de puzzel met plezier, letter voor letter op, waardoor de verborgen gevaarlijke instructie wordt onthuld. Zodra de instructie in zijn geheugen wordt onthuld, volgt de grote robot de instructie op.

Het paper noemt dit een "Time-Lock Puzzle." Het is als een kluis die 10 minuten nodig heeft om te openen. De beveiligingsbeambte heeft slechts 1 seconde om de kluis te controleren, dus neemt hij aan dat hij leeg is. De grote robot heeft de hele dag, dus hij opent hem en vindt de schat (of in dit geval de gevaarlijke instructie).

Wat Ze Testten

De onderzoekers testten deze truc op vier echte chatbots (Google Gemini, DeepSeek, xAI Grok en Mistral).

Het Resultaat: De truc werkte bijna perfect. De beveiligingsbeambters slaagden er niet in om de gevaarlijke verzoeken te stoppen, en de grote robots volgden de instructies op.
De Vergelijking: Wanneer ze probeerden het gevaarlijke verzoek direct te sturen, of eenvoudige codes gebruikten, stopten de bewakers hen wel. Maar de "tedieuze puzzel"-truc glipte er dwars doorheen.

Andere Verrassingen

De onderzoekers ontdekten ook twee andere interessante zaken:

Auteursrechtelijke Diefstal: Ze gebruikten deze truc om de grote robot volledige auteursrechtelijk beschermde kinderboeken woord voor woord te laten reciteren. De robot had de boeken onthouden, en de "puzzel"-truc dwong hem ze uit te spugen, waardoor de auteursrechtfilters van de bewaker werden omzeild.
Denklekken: Sommige robots hebben een functie waarbij ze hun "denkproces" tonen (zoals een kladblok) voordat ze het uiteindelijke antwoord geven. De onderzoekers ontdekten dat zelfs als de robot in het uiteindelijke antwoord "Nee" zegt, hij het gevaarlijke antwoord vaak eerst in zijn "denknotities" heeft geschreven. Als je die notities kunt zien, zie je het gevaar alsnog.

De Belangrijkste Les

Het paper concludeert dat je niet kunt vertrouwen op een snelle, eenvoudige bewaker om een trage, krachtige robot te beschermen.

Het is geen bug die gemakkelijk kan worden opgelost door de bewaker gewoon slimmer te maken. Het probleem is fundamenteel: als de bewaker snel genoeg is om nuttig te zijn, zal hij altijd te traag zijn om de complexe puzzels te oplossen die de aanvaller creëert. De enige manier om dit echt te stoppen is door het uiteindelijke antwoord te controleren (output filtering) in plaats van alleen de vraag te controleren (input filtering), of door te accepteren dat beveiliging altijd evenveel rekenkracht vereist als de robot zelf.

Kortom: Als je probeert een reus te beschermen met een drempel, kan de reus er gewoon omheen lopen als je hem een lange genoeg weg geeft. Het paper laat zien dat deze "lange weg"-aanval vandaag de dag in de echte wereld werkt.

Technische Samenvatting: Omzeilen van Prompt Guards in Productie met Controlled-Release Prompting

Probleemstelling

Recente theoretische arbeid door Ball et al. [5] heeft een fundamentele barrière voor AI-alignment via inputfiltering vastgesteld: onder standaard cryptografische aannames kan geen enkele filter die aanzienlijk sneller draait dan het beschermde model, universeel onderscheid maken tussen adversariële prompts en benigne prompts. Deze onmogelijkheidshypothese rust op "time-lock puzzles" (TLP's), die een vaste hoeveelheid sequentiële berekening vereisen om op te lossen, waardoor adversariële prompts ontstaan die benigne lijken voor hulpbronnen-beperkte filters, maar kwaadaardige inhoud onthullen aan krachtigere modellen.

Het centrale probleem dat in dit artikel wordt behandeld, is of deze theoretische onmogelijkheid vertaals naar real-world kwetsbaarheden in uitgerolde Large Language Model (LLM) systemen. Specifiek onderzoeken de auteurs of de "resource asymmetry" (hulpbron-asymmetrie) tussen lichtgewicht inputfilters (guard modellen) en de hoofd-LLM's die zij beschermen, kan worden geëxploiteerd om veiligheidsmechanismen te omzeilen zonder het doelmodel te wijzigen.

Methodologie: Controlled-Release Prompting

De auteurs introduceren Controlled-Release Prompting, een praktische instantiatie van het theoretische kader die de hulpbron-asymmetrie exploiteert. In tegenstelling tot de theoretische constructie die het bouwen van een model met expliciete cryptografische decodeersubroutines vereist, richt deze aanval zich op ongewijzigde productiemodellen.

Kernmechanisme

De aanval berust op de observatie dat moderne LLM's over voldoende capaciteit beschikken om eenvoudige "pseudo-TLP's" op te lossen via meerstaps redenering. De auteurs maken gebruik van eenvoudige coderingen (bijv. substitutiecijfers) die functioneren als pseudo-TLP's:

Resource Cost (Hulpbronkosten): Decoderen vereist sequentiële inferentie-stappen ( $O(n)$ voor een prompt van lengte $n$ ), wat het computationele budget van lichtgewicht guard modellen overschrijdt.
Tractability (Behandelbaarheid): Het hoofd-LLM kan deze coderingen oplossen met behulp van zijn bestaande redeneercapaciteiten.

Aanvalsframework

De aanval volgt een tweefasige structuur (geïllustreerd in Figuur 1 van het artikel):

Injectie (Stap 1): De aanvaller dient een gecodeerde kwaadaardige prompt in (bijv. een jailbreak-template zoals "DAN" of "YESMAN" gecombineerd met een kwaadaardige intentie) samen met instructies om te decoderen. Het guard model ziet alleen een benigne decoderingsopdracht en kan deze niet blokkeren zonder een enorme klasse van legitieme codering/decoderingsoperaties te blokkeren. Het hoofd-LLM voert de decodering uit, waardoor de kwaadaardige prompt in zijn context wordt geplaatst.
Activatie (Stap 2): De aanvaller verwijst naar de gedecodeerde inhoud en verzoekt om uitvoering. Omdat de kwaadaardige inhoud nu in de gesprekscontext is ingebed als door het model gegenereerde tekst (en niet als nieuwe gebruikersinput), en vanwege de moeilijkheid van het model om data van instructies te onderscheiden, voert het model de jailbreak uit.

Varianten

De auteurs implementeren twee specifieke varianten om verschillende beperkingen in hulpbronnen te exploiteren:

Timed-Release Attacks: Pas substitutiecijfers toe karakter voor karakter, wat sequentiële decodering afdwingt. Dit exploiteert de inferentietijd-beperkingen, waardoor een pseudo-TLP ontstaat die de budgetten van guard modellen overschrijdt.
Spaced-Release Attacks: Vervang karakters door verbale beschrijvende tekst (bijv. "A" wordt "De eerste letter van het alfabet"), wat de promptlengte drastisch vergroot. Dit exploiteert de contextvenster-beperkingen in guard modellen die lange inputs afkappen of in stukjes verdelen.

Belangrijkste Bijdragen

Praktische Instantiatie van Theoretische Onmogelijkheid: Het artikel overbrugt de kloof tussen de theoretische resultaten van Ball et al. [5] en praktische beveiliging, door aan te tonen dat ongewijzigde productiemodellen kwetsbaar zijn voor hulpbron-asymmetrische aanvallen zonder dat daarvoor cryptografische TLP's of modelwijzigingen nodig zijn.
Validatie van Productiesystemen: De aanval werd getest op vier grote chatplatforms: Google Gemini, DeepSeek Chat, xAI Grok en Mistral Le Chat. De methode bereikte bijna perfecte succespercentages (12/12 kwaadaardige intenties voor drie platforms, 11/12 voor Mistral) waar baseline-methoden (ruwe kwaadaardige intenties, ruwe jailbreaks en eenvoudige codering-aanvallen) faalden.
Systematische Evaluatie van Guard Modellen: De auteurs evalueerden 14 open-weight prompt guard modellen (variërend van 22M tot 671B parameters) op 4.000 aanvals-prompts.
- Bevinding: Zelfs krachtige redeneermodellen (bijv. DeepSeek-R1) konden de aanvallen niet betrouwbaar detecteren zonder een verbijsterende latentie-overhead te veroorzaken (3x tot 70x trager dan snelle classifiers).
- Conclusie: Effectieve defensie vereist computationele hulpbronnen die vergelijkbaar zijn met het beschermde model, wat de efficiëntievoordelen die inputfiltering motiveren, ondermijnt.
Uitgebreide Kwetsbaarheidsanalyse:
- Extractie van Auteursrechtelijk Beschermde Data: De aanval maakte extractie van gememoriseerde auteursrechtelijk beschermde materiaal (kinderboeken) mogelijk met een gelijkenis van 89-94%, wat een blind spot in alignment met betrekking tot intellectueel eigendom benadrukt.
- Reasoning Token Leakage: De auteurs identificeerden dat modellen die "thinking tokens" blootstellen, kwaadaardige inhoud lekken via tussenliggende redeneringsstappen, zelfs wanneer de uiteindelijke outputs worden geredigeerd.

Resultaten

Attack Success Rates (ASR - Succesratio van de aanval):
- Google Gemini (2.5 Flash): 100% ASR voor timed-release aanvallen.
- DeepSeek Chat: 100% ASR.
- xAI Grok: 100% ASR.
- Mistral Le Chat: 92% ASR (één decodering-fout).
- Baseline Vergelijking: Ruwe kwaadaardige intenties werden geblokkeerd (0-50% ASR), en ruwe jailbreaks werden afgewezen op Gemini en DeepSeek (0% ASR). Eenvoudige codering-aanvallen (zonder de decode-dan-activeer structuur) faalden volledig op de meeste platforms (0% ASR), wat de noodzaak van de tweefasige structuur bewijst.
Resource Thresholds (Hulpbron-drempels): Empirische analyse onthulde duidelijke drempels voor de succesratio van de aanval. Timed-release aanvallen slaagden wanneer de promptlengtes de ~800 tokens overschreden, terwijl spaced-release aanvallen ~10.000+ tokens vereisten, wat overeenkomt met de bekende contextvenster en latentie-beperkingen van guard modellen (bijv. Meta's Prompt Guard 2 heeft een venster van 512 tokens).
Guard Model Prestaties: Speciaal ontwikkelde classifiers (bijv. Llama Prompt Guard 2, ShieldGemma) en LLM-gebaseerde classifiers faalden om controlled-release aanvallen te detecteren in "instant" modi. Zelfs de "thinking" modi van redeneermodellen faalden om aanvallen efficiënt te detecteren; ze vereisten duizenden redeneringstokens om detectie te bereiken, wat niet haalbaar is voor low-latency inputfiltering.

Betekenis en Claims

Het artikel claimt dat de kwetsbaarheid door hulpbron-asymmetrie geen bug is die gepatcht kan worden, maar een fundamenteel gevolg van het designpatroon dat filtering scheidt van generatie.

Inputfilters zijn Onvoldoende: De auteurs stellen dat inputfilters, hoewel waardevol voor efficiëntie, niet als de enige verdedigingslinie kunnen dienen. De onmogelijkheidshypothese impliceert dat geen enkele filter die aanzienlijk sneller draait dan het beschermde model, universeel adversariële prompts kan detecteren.
Verschuiving naar Output Preventie: De bevindingen ondersteunen een transitie van "detectie van kwaadaardige input" naar "preventie van kwaadaardige output". Platforms die weerstand toonden (OpenAI ChatGPT, Anthropic Claude, Meta AI) lijken multi-layered defensie toe te passen, inclus\ief outputfiltering.
Implicaties voor Open Source: De veiligheidskloof tussen open-source en gehoste commerciële modellen zal waarschijnlijk groter worden. Open-source bijdragers missen de middelen voor grootschalige training-gebaseerde alignment of outputfiltering, en inputfilters alleen blijken ineffectief tegen hulpbron-asymmetrische aanvallen.
Defensiestrategie: Het artikel suggereert dat effectieve defensie vereist dat inputfiltering wordt gecombineerd met training-gebaseerde alignment en outputfiltering. Het benadrukt ook de kritieke noodzaak om tussenliggende redeneringstokens te monitoren, niet alleen de uiteindelijke outputs, in systemen die "thinking" processen blootstellen.

Samenvattend biedt het artikel een empirische validatie dat de theoretische limieten van inputfiltering zich manifesteren in real-world systemen, waarbij wordt aangetoond dat eenvoudige hulpbron-asymmetrische aanvallen de geavanceerde veiligheidsmechanismen van belangrijke productiemodellen kunnen omzeilen.