💻 computer science

The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

Dit artikel bewijst dat het onmogelijk is om een continue, nutbehoudende wrapper-defensie te ontwerpen die prompt-injectie volledig voorkomt zonder een fundamenteel compromis tussen continuïteit, nutbehoud en volledige veiligheid, een conclusie die zowel theoretisch is afgeleid als empirisch en formeel is geverifieerd.

Oorspronkelijke auteurs: Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

Gepubliceerd 2026-04-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: Je kunt niet alles veilig maken zonder iets te breken

Stel je voor dat je een slimme poortwachter (een wrapper) voor een zeer creatieve, maar soms onvoorspelbare robot (een AI) plaatst. Je wilt dat deze poortwachter alle gevaarlijke vragen (zoals "Hoe maak ik een bom?") omzet in veilige vragen, terwijl hij normale vragen (zoals "Hoe maak ik een taart?") gewoon doorlaat zonder ze aan te raken.

De auteurs van dit paper bewijzen met wiskunde dat dit onmogelijk is, als je aan twee specifieke regels houdt:

Gladheid: De poortwachter moet soepel werken. Als een vraag net iets gevaarlijker is dan een veilige vraag, mag hij de reactie niet plotseling volledig veranderen.
Nuttigheid: Als een vraag al veilig is, mag de poortwachter hem niet veranderen. Je wilt immers dat je normale vragen precies hetzelfde antwoord krijgen.

Als je aan deze twee regels voldoet, is het wiskundig onmogelijk om 100% van de gevaarlijke vragen te blokkeren. Er blijft altijd een klein gat over.

De Analogie: De "Veilige Baan" en de "Kloof"

Laten we het beeld van een heuvelachtig landschap gebruiken:

Het landschap: Dit is de wereld van alle mogelijke vragen die je aan de AI kunt stellen.
De veilige zone (S): Dit is een groene, vlakke weide waar alles veilig is.
De gevaarlijke zone (U): Dit is een steile, donkere afgrond waar gevaarlijke antwoorden liggen.
De rand (B): De scherpe lijn waar de groene weide overgaat in de afgrond.

De taak van de poortwachter (D):
Hij moet iedereen die in de afgrond staat, terugduwen naar de weide. Maar hij heeft een strikte regel: Iedereen die al op de weide staat, mag hij niet aanraken.

Waarom faalt dit? (De "Trilemma")

Het paper noemt dit een Trilemma: je kunt maximaal twee van de drie volgende dingen hebben, maar nooit alle drie:

Soepel werken (Continuïteit): Geen schokkende bewegingen.
Niet aanraken wat veilig is (Nuttigheid): De weide blijft ongemoeid.
Alles redden (Volledigheid): Iedereen uit de afgrond halen.

Het probleem:
Omdat de poortwachter de mensen op de weide niet mag aanraken, en hij soepel moet werken, kan hij niet plotseling stoppen precies op de rand van de afgrond.

Stel je voor dat je een rubberen mat hebt die over de grond ligt. Als je de mat niet mag verplaatsen waar het gras groen is, en je moet de mat glad houden, dan moet de mat ook op de rand van de afgrond liggen.
Er is altijd een puntje op de rand (de "grens") dat de poortwachter niet kan verplaatsen. Als iemand daar staat met een vraag die net gevaarlijk genoeg is, laat de poortwachter die vraag gewoon door. De AI ziet de gevaarlijke vraag en geeft het gevaarlijke antwoord.

Dit noemen ze Boundary Fixation (Rand-Vaststelling). De poortwachter is "vastgeplakt" op de rand en kan die specifieke gevaarlijke vraag niet oplossen.

De 3 Stappen van het Falen

Het paper beschrijft drie niveaus van dit probleem, van klein naar groot:

Het Vastzitten: Er is altijd minstens één vraag op de rand die de poortwachter niet kan fixen. Hij laat hem door.
De Onveilige Band: Omdat de poortwachter soepel moet werken, kan hij mensen die net naast die vastzittende vraag staan, ook niet ver genoeg wegdrukken. Er ontstaat een smalle strook (een "band") rondom de rand waar de vragen nog steeds net te gevaarlijk zijn.
De Steile Wand: Soms is de afgrond zo steil dat de poortwachter, zelfs als hij zijn best doet, niet snel genoeg kan duwen. De gevaarlijke vraag "groeit" sneller dan de poortwachter hem kan bedwingen. Hierdoor blijft er een heel stuk van de afgrond bestaan dat nooit veilig wordt gemaakt.

Wat betekent dit voor de praktijk?

De auteurs zeggen niet dat we moeten stoppen met AI-beveiliging. Ze zeggen wel: Stop met proberen om 100% perfectie te bereiken met alleen een "wrapper" (een filter voor de AI).

In plaats daarvan moeten we slimme strategieën gebruiken:

Maak de rand minder gevaarlijk: Zorg dat de AI op de rand van de afgrond niet een bom maakt, maar gewoon beleefd zegt "Nee". Als de "gevaarlijke" vraag toch doorlaat, is het antwoord misschien nog steeds onschuldig.
Maak de afgrond minder steil: Train de AI zodat de overgang van veilig naar gevaarlijk geleidelijker verloopt, zodat de poortwachter meer tijd heeft om te reageren.
Gebruik andere methoden: De wiskunde geldt alleen voor filters die de input vooraf aanpassen. Als je de AI zelf traint om veiliger te zijn (zoals een mens die leert niet te liegen), of als je harde blokkades gebruikt (zoals een lijst met verboden woorden), dan werkt de wiskunde niet meer en kun je wél veilig zijn.

Samenvatting in één zin

Je kunt geen gladde, onzichtbare muur bouwen die alle gevaarlijke vragen stopt zonder ook de veilige vragen te veranderen; er zal altijd een klein gaatje in de muur blijven zitten waar de gevaarlijke vragen doorheen glippen.

Titel: Het Defensie-Trilemma: Waarom Prompt Injection-defensiewrappers falen

Auteurs: Manish Bhatt, Sarthak Munshi, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto.
Affiliaties: OWASP, Amazon Web Services, Cisco, Distributedapps.ai, Shrewd Security.

1. Het Probleem

De kernvraag van dit onderzoek is of het mogelijk is om een "wrapper" (een voorverwerkingslaag) rond een taalmodel (LLM) te bouwen die alle prompt-injectiekwetsbaarheden elimineert.

Huidige defensiestrategieën (zoals input-classificators, output-filters en constitutionele herschrijfpipelines) delen een gemeenschappelijke structuur: een functie $D: X \to X$ die invoer voor het model verwerkt. Deze functie probeert onveilige invoer om te zetten in veilige equivalenten, terwijl veilige invoer onveranderd blijft (behoud van bruikbaarheid).

De auteurs beweren dat dit fundamenteel onmogelijk is onder twee specifieke voorwaarden:

Continuïteit: Soortgelijke prompts moeten leiden tot soortgelijke herschrijvingen (geen abrupte sprongen).
Behoud van bruikbaarheid (Utility Preservation): Veilige prompts mogen niet worden gewijzigd ( $D(x) = x$ voor veilige $x$ ).

Het paper introduceert het concept van een Defensie-Trilemma: Je kunt maximaal twee van de volgende drie eigenschappen tegelijkertijd bezitten, maar nooit alle drie:

Continuïteit
Behoud van bruikbaarheid
Volledigheid (completeness: het garanderen dat elke output veilig is)

2. Methodologie

De auteurs gebruiken een strikt wiskundige benadering gebaseerd op topologie en analyse, geverifieerd met mechanische bewijsvoering.

Formeel Kader:
- $X$ : Een samenhangende (connected) topologische ruimte (de promptruimte).
- $f: X \to \mathbb{R}$ : Een continue "alignment deviation" functie die de mate van onveiligheid aangeeft.
- $\tau$ : Een drempelwaarde. $S_\tau$ is de veilige regio ( $f(x) < \tau$ ), $U_\tau$ is de onveilige regio ( $f(x) > \tau$ ), en $B_\tau$ is de grens ( $f(x) = \tau$ ).
- $D$ : De defensiefunctie (wrapper).
Bewijsvoering:
- De theorie is volledig mechanisch geverifieerd in Lean 4 met Mathlib (45 bestanden, ~350 stellingen, geen "admitted" proofs).
- Er wordt gebruik gemaakt van stellingen zoals de Tietze-extensiestelling om resultaten van discrete data naar continue ruimten te generaliseren.
- Er worden aannames gedaan over Lipschitz-continuïteit (voor het kwantificeren van veranderingen) en transversaliteit (voor het analyseren van de helling van de veiligheidsoppervlakken).
Empirische Validatie:
- De theorie is getoetst op drie LLM's: Llama-3-8B, GPT-OSS-20B en GPT-5-Mini, met behulp van een 2D-behaviorale ruimte (query-indirectie en autoriteitsframing).

3. Belangrijkste Bijdragen en Resultaten

De auteurs presenteren een hiërarchie van drie onmogelijkheidsresultaten die steeds sterker worden onder strengere aannames:

A. Grensfixatie (Boundary Fixation) - Stelling 4.1

Resultaat: Elke continue, bruikbaarheidsbehoudende defensie op een samenhangende ruimte moet minstens één punt op de veiligheidsgrens ( $f(z) = \tau$ ) onveranderd laten ( $D(z) = z$ ).
Redenering: Omdat de veilige regio open is en de defensie alle veilige punten vasthoudt, moet het verzamelpunt van de fixatiepunten (dat gesloten is) ook de rand van de veilige regio omvatten. In een samenhangende ruimte kan een niet-lege, echte open verzameling niet tegelijk gesloten zijn; dus moet de defensie "lekken" op de grens.
Conclusie: Er zijn altijd prompts op de drempel die niet worden opgelost.

B. $\epsilon$ -Robuuste Beperking ( $\epsilon$ -Robust Constraint) - Stelling 5.1

Resultaat: Onder Lipschitz-regelmaat (waarbij $f$ en $D$ beperkte hellingen hebben), kan de defensie de onveiligheid in de buurt van een vast punt $z$ niet uniform verlagen.
Formule: Voor punten binnen afstand $\delta$ van $z$ geldt: $f(D(x)) \geq \tau - LK\delta$ .
Conclusie: Er ontstaat een band rond de grens waar de defensie de onveiligheid slechts beperkt kan verminderen, maar niet volledig kan elimineren.

C. Persistent Onveilig Gebied (Persistent Unsafe Region) - Stelling 6.3

Resultaat: Als de "alignment surface" (de helling van de onveiligheid) steiler is dan de defensie kan compenseren (transversaliteitsvoorwaarde: $G > \ell(K+1)$ ), blijft er een gebied met positieve maat (volume) bestaan dat strikt onveilig blijft ( $f(D(x)) > \tau$ ).
Conclusie: Er is een meetbaar deel van de promptruimte dat na de defensie nog steeds onveilig is, ongeacht hoe slim de wrapper is.

D. Discrete Versie en Trilemma

Zelfs zonder topologie (op eindige verzamelingen) geldt een dilemma: een volledige defensie vereist dat de functie niet-injectief is (informatieverlies: verschillende inputs worden naar dezelfde output gemapt). Een injectieve (informatiebehoudende) defensie kan nooit volledig zijn.

E. Uitbreidingen

De resultaten zijn robuust en gelden ook voor:

Multi-turn interacties (elke beurt is een nieuw geval van grensfixatie).
Stochastische defensies (randomisatie helpt niet; verwachte waarden blijven aan de grens).
Pipelines van meerdere agenten (de foutmarge groeit exponentieel met de diepte van de pipeline).

4. Empirische Validatie

De auteurs toonden aan dat hun voorspellingen overeenkomen met gedrag van bestaande modellen:

Llama-3-8B: Toont een relatief vlak oppervlak (kleine $L$ ) met grote "basins" van veiligheid, maar met steile grenzen waar de theorie voorspelt dat onveiligheid persisteert.
GPT-OSS-20B: Toont een ruig landschap met veel kleine fragmenten, wat overeenkomt met de voorspelling van een grotere onveilige regio bij steilere oppervlakken.
GPT-5-Mini: Heeft een plafond bij een lagere drempel ($AD = 0.50$), waardoor de onveilige regio leeg is ( $U_\tau = \emptyset$ ). De theorie voorspelt correct dat er geen onmogelijkheid optreedt omdat er geen onveilige prompts bestaan binnen die drempel.

5. Betekenis en Praktische Implicaties

Dit paper verandert het paradigma van prompt-injectie-defensie:

Onmogelijkheid van Volledige Eliminatie: Het is wiskundig bewezen dat je geen continue wrapper kunt bouwen die alle onveiligheid verwijdert zonder de bruikbaarheid van veilige prompts te schaden.
Verschuiving van Eliminatie naar Beheer: De ingenieursoplossing is niet om de grens te verwijderen, maar om deze te "beheren":
- Maak de grens onschadelijk: Zorg dat gedrag op de drempel ( $f(z)=\tau$ ) een beleefde weigering is in plaats van schadelijk gedrag.
- Verminder de helling (Lipschitz constant): Zorg voor soepelere overgangen tussen veilig en onveilig.
- Verlaag de dimensie: Beperk de promptruimte (bijv. via gestructureerde API's) om de complexiteit te verlagen.
- Monitoring: In plaats van te proberen alles te blokkeren, moet men de afstand tot de grens monitoren en waarschuwen.
Scope van de Resultaten: De theorie geldt specifiek voor continue wrappers. Het sluit niet uit dat training-time alignment (RLHF), architecturale wijzigingen, discontinu filteren (bijv. harde blokkades) of menselijke interventie effectief kunnen zijn. Deze vallen buiten de wiskundige beperkingen van dit paper.

Conclusie: De "Manifold of Failure" is een structureel kenmerk van continue defensies in samenhangende ruimten. De toekomst van LLM-beveiliging ligt in het ontwerpen van systemen die rekening houden met deze fundamentele beperkingen, in plaats van te zoeken naar een "perfecte" wrapper die niet bestaat.