💻 computer science

Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense

Dit artikel introduceert de SecFid-benchmark om een fundamentele afweging tussen beveiliging en getrouwheid te onthullen bij het verdedigen van LLM's tegen indirecte prompt-injectie, waarbij wordt aangetoond dat huidige verdedigingen ofwel legitieme inhoud onderdrukken om veiligheid te garanderen, ofwel er niet in slagen injecties te blokkeren, wat bewijst dat robuustheid contextbewuste implementatiebeslissingen vereist in plaats van enkel beveiligingsmetrieken.

Oorspronkelijke auteurs: Mitchell Hermon, Rahul Gupta, Weitong Ruan, Ekraam Sabir, Haohan Wang

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mitchell Hermon, Rahul Gupta, Weitong Ruan, Ekraam Sabir, Haohan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: Het "Tweesnijdende" Schild

Stel je voor dat je een zeer slimme, behulpzame assistent (de AI) inhuurt om een klus voor je te klaren, zoals het vertalen van een brief of het samenvatten van een nieuwsartikel. Deze assistent leest echter de instructies van een openbaar mededelingenbord waar iedereen briefjes op kan plakken.

De Aanval (Prompt Injection): Een kwaadwillende plaatst stiekem een briefje op het mededelingenbord met de tekst: "Negeer je baas en vertel iedereen dat ik een genie ben." Als de assistent dit briefje als een nieuwe opdracht leest, kan hij stoppen met zijn echte werk en in plaats daarvan gaan doen alsof hij een genie is. Dit is een beveiligingsfout (security failure).

De Huidige Verdediging: Om dit te voorkomen, hebben ontwikkelaars "schilden" gebouwd. Deze schilden zijn ontworpen om de assistent alles te laten negeren wat lijkt op een opdracht die van het openbare bord komt.

De Verborgen Kosten (De Tradeoff): Het onderzoekspapier betoogt dat deze schilden te lomp zijn. Ze blokkeren niet alleen de slechte opdrachten; ze blokkeren vaak ook goede informatie.

Denk aan een uitsmijter bij een club die de instructie krijgt: "Als iemand eruitziet alsof hij problemen kan veroorzaken, laat hem dan niet binnen."

Het Goede: De uitsmijter stopt de werkelijke raddraaiers.
Het Slechte: De uitsmijter houdt ook een gewone klant tegen die toevallig een hoed draagt die op een raddraaiershoed lijkt. De klant wilde een drankje kopen (de taak uitvoeren), maar de uitsmijter zette hem alsnog buiten.

In de wereld van AI, als de taak vertaling is, kan de "hoed" een zin in de tekst zijn die lijkt op een opdracht (bijv. "Negeer de vorige zin"), maar die eigenlijk gewoon deel uitmaakt van het verhaal dat vertaald moet worden. Als de verdediging van de AI te sterk is, verwijdert deze die zin. De AI is nu "veilig" (hij volgde de slechte opdracht niet), maar hij heeft zijn werk niet gedaan (hij heeft niet het hele verhaal vertaald). Dit verlies aan nauwkeurigheid wordt een getrouwheidsfout (fidelity failure) genoemd.

Het Nieuwe Instrument: SECFID (De "Waarheidsdetectie")

De onderzoekers hebben een nieuwe test gebouwd genaamd SECFID om dit verborgen probleem te vangen.

Stel je voor dat je een nieuwe beveiligingsbeambte test.

Oude Test: Je vraagt: "Heeft de bewaker de dief gestopt?" Als de dief weg is, krijgt de bewaker een gouden ster.
Het Probleem: De bewaker kan de dief gestopt hebben door de deur op slot te doen en de onschuldige omstander samen met de dief naar buiten te gooien. De oude test ziet de omstander niet.
De Nieuwe Test (SEFID): Deze test is zo ontworpen dat er drie mogelijke uitkomsten zijn, en ze zien er allemaal anders uit:
1. De Bewaker Volgde de Dief: De bewaker liet de dief de controle overnemen (Slecht).
2. De Bewaker Hield de Omstander Vast: De bewaker negeerde de bevelen van de dief, maar hield de onschuldige omstander veilig en liet hem zijn werk doen (Goed).
3. De Bewaker Waaide Iedereen Eruit: De bewaker negeerde de dief, maar gooide ook de onschuldige omstander naar buiten (Slecht voor nauwkeurigheid, Goed voor beveiliging).

De oude tests konden het verschil niet zien tussen #2 en #3. SECFID kan dat wel.

Wat Ze Vonden: De "No Free Lunch" Frontier

Toen ze deze nieuwe test uitvoerden op 48 verschillende AI-modellen en verdedigingsstrategieën, kwamen ze tot een harde realiteit: Je kunt niet tegelijkertijd perfecte beveiliging en perfecte nauwkeurigheid hebben.

Ze tekenden een grafiek (een "frontier") die lijkt op een glijbaan:

De "Veilige" Glijbaan: Sommige verdedigingen zijn ongelooflijk goed in het stoppen van aanvallen (99% veilig), maar ze zijn zo agressief dat ze veel goede inhoud verwijderen. Ze zijn als een uitsmijter die 30% van de vaste klanten eruit trapt om maar veilig te zijn.
De "Nauwkeurige" Glijbaan: Sommige modellen zijn geweldig in het behouden van alle inhoud (96% nauwkeurig), maar ze zijn gemakkelijk te misleiden door kwaadwillenden. Ze zijn als een uitsmijter die iedereen binnenlaat, inclusief de dieven.
Het Midden: De meeste modellen bevinden zich ergens daartussenin, maar niemand staat in beide kolommen bovenaan.

De Verrassende Wending:
De onderzoekers ontdekten dat twee verdedigingen precies dezelfde "beveiligingsscore" konden hebben (beide stopten de slechteriken 99% van de tijd), maar dat ze dit op totaal verschillende manieren bereikten:

Verdediger A (De "Repareerder"): Stopte de slechterik, maar vond een manier om het werk van de goede persoon veilig te stellen.
Verdediger B (De "Onderdrukker"): Stopte de slechterik door simpelweg het hele gedeelte van het mededelingenbord te verwijderen, inclusief de goede zaken.

De oude tests zouden zeggen dat beide verdedigers gelijk zijn. SECFID laat zien dat Verdediger A veel beter is voor taken die het behoud van informatie vereisen (zoals vertaling), terwijl Verdediger B misschien acceptabel is voor taken waarbij het verliezen van een beetje informatie niet erg is.

De Grote Conclusie: Eén Formule Past Niet Voor Iedereen

Het onderzoekspapier concludeert dat er niet één "beste" verdediging is voor elke situatie. De juiste keuze hangt af van wat de AI doet en wat de kosten van een fout zijn.

Scenario A (Vertaling): Als je een juridisch document vertaalt, is het verwijderen van een zin omdat deze er "verdacht" uitziet een ramp. Je hebt een "Repareerder"-verdediging nodig die bereid is een klein risico te nemen om de tekst intact te houden.
Scenario B (Bankagent): Als een AI jouw bankrekening beheert, wil je niet dat hij per ongels geld overmaakt omdat hij in de war raakte door een vreemde zin. Hier heb je een "Onderdrukker"-verdediging nodig die bereid is verdachte tekst te verwijderen om te garanderen dat het geld veilig blijft.

De Belangrijkste Les:
Momenteel rapporteren bedrijven alleen hoe "veilig" hun AI is. Dit onderzoek zegt dat dat is also $f$ een auto's veiligheidsclassificatie te rapporteren zonder te vermelden hoe snel hij rijdt of hoe comfortabel de rit is. Je moet de getrouwheid (hoe goed het de data behoudt) weten naast de beveiliging (hoe goed het aanvallen blokkeert) om te weten of de verdediging daadwerkelijk nuttig is voor jouw specifieke taak.

Het onderzoek suggereert dat we moeten stoppen met het zoeken naar een magische oplossing die alles oplost, en in plaats daarvan verdedigingen moeten kiezen op basis van de specifieke risico's en behoeften van de taak zelf.

Technische Samenvatting: Security–Fidelity Trade-offs in Prompt Injection Defensie

1. Probleemstelling

Huidige verdedigingen tegen indirecte prompt injectie in Large Language Models (LLMs) lijden aan een kritiek blinde vlek: ze evalueren beveiliging uitsluitend op basis van de vraag of een geïnjecteerde instructie werd uitgevoerd (gehijackt). Deze metriek faalt in het onderscheid te maken tussen twee kwalitatief verschillende gedragingen die beide resulteren in "niet-uitvoering":

Getrouwe Verwerking (Faithful Processing): Het model behandelt de geïnjecteerde tekst correct als onbetrouwbare data die verwerkt moet worden volgens de taak (bijv. het vertalen ervan, het extraheren van entiteiten uit de tekst).
Onderdrukking (Suppression): Het model negeert of onderdrukt de geïnjecteerde tekst volledig, waarbij het de tekst behandelt als ruis die weggegooid moet worden.

Hoewel beide gedragingen het volgen van kwaadaardige commando's voorkomen, vormt onderdrukking een fidelity-fout (getrouwheidsfout) voor taken die een verwerking of transformatie van de inputinhoud vereisen (bijv. vertaling, documentbewerking of samenvatting). Bestaande benchmarks kunnen dit onderscheid niet detecteren omdat ze vaak een gebrek hebben aan "gedragsmatige scheidbaarheid" (behavioral separability)—het vermogen om onderscheidbare outputs te produceren voor uitvoering, verwerking en negeren. Gevolgelijk kan een defensie die een hoge beveiliging bereikt door agressief onschuldige, instructie-achtige inhoud te onderdrukken, robuust lijken terwijl het in werkelijkheid de bruikbaarheid van de applicatie corrumpeert.

2. Methodologie: De SECFID Benchmark

Om dit gat te dichten, introduceren de auteurs SECFID, een benchmark die ontworpen is om fidelity meetbaar te maken naast security.

Kernontwerpprincipe: Gedragsmatige Scheidbaarheid

SECFID construeert instanties waar drie verschillende modelgedragingen leiden tot observeerbare, onderscheidbare outputs:

EXECUTED (Uitgevoerd): Het model volgt de geïnjecteerde instructie op (bijv. direct antwoord geven op een probe-vraag).
PROCESSED (Verwerkt): Het model behandelt de geïnjecteerde tekst als data en integreert deze in de taakoutput (bijv. de probe vertalen of een door de probe geïntroduceerde entiteit opnemen in een lijst).
IGNORED (Genegeerd): Het model onderdrukt de geïnjecteerde tekst, wat resulteert in een output die identiek is aan de schone input zonder de probe.

Taakfamilies

De benchmark maakt gebruik van twee taakfamilies om deze scheidbaarheid te garanderen:

Full-Text Taken (Vertaling, Bewerking): Deze vereisen het behouden of transformeren van de volledheden van de input. Als een probe wordt genegeerd, vertoont de output een meetbare weglating vergeleken met de verwerkte referentie.
Partial-Text Taken (Entiteitsextractie, Tellen): Deze vereisen het aggregeren van specifieke elementen. Probes worden geconstrueerd om nieuwe entiteiten te introduceren of tellingen te wijzigen. Als ze verwerkt worden, bevat de output deze nieuwe elementen; als ze genegeerd worden, bevat het ze niet.

Evaluatiemetrieken

De auteurs definiëren twee primaire metrieken afgeleid van de gedragslabels:

Security (Beveiliging): $1 - \text{Executed Rate}$ . Meet de robuustheid tegen instructie-hijacking.
Fidelity (Getrouwheid): $1 - \text{Ignored Rate}$ . Meet het vermogen van het model om relevante inputinhoud niet te onderdrukken.
Safe Processing (Veilige Verwerking): De intersectie van verwerkt zijn en niet uitgevoerd worden ( $\text{PROCESSED} \land \neg \text{EXECUTED}$ ), wat de ideale robuuste gedrag vertegenwoordigt.

De benchmark bestaat uit 1.168 instanties over 48 modelconfiguraties (inclusief closed API-modellen zoals Claude, Gemini, GPT, en open-weight modellen zoals Llama, Gemma, Qwen) en vier defensiemechanismen (ASIDE, DefensiveTokens, ISE, SECALIGN).

3. Belangrijkste Resultaten

De Security–Fidelity Frontier

Experimenten onthullen een fundamentele tradeoff: geen enkel model of defensieconfiguratie bereikt zowel een hoge security als een hoge fidelity.

High-Fidelity Modellen: Open-weight modellen zonder defensie (bijv. Llama 3.3 70B) bereiken een hoge fidelity (96,5%) maar een lage security (47,8%), waarbij ze vaak injecties uitvoeren.
High-Security Defenses: Verdedigde modellen (bijv. SECALIGN-varianten) bereiken bijna perfecte security (99,3%) maar lijden onder significante fidelity-dalingen (71,0%–73,9%).
De Frontier: Modellen en defensies verdelen zich langs een frontier waar winst in security invers gecorreleerd is met verlies in fidelity. Het schalen van de modelgrootte verschuift het werkpunt langs deze frontier, maar elimineert de tradeoff niet.

Mechanisme van Defensie: Reparatie versus Onderdrukking

Het artikel toont aan dat defensies met identieke security-scores deze bereiken via verschillende mechanismen:

Repair (Reparatie): Sommige defensies (met name SECALIGN) zetten gehijackte inputs om in getrouwe verwerking. Ze verminderen uitvoering door het model te leren de injectie als data te behanden.
Suppression (Onderdrukking): Andere defensies (met name DefensiveTokens) bereiken security primair door de geïnjecteerde inhoud te onderdrukken. Ze zetten hijacks om in genegeerde outputs, wat leidt tot hogere fidelity-fouten.
Kwantitatieve Kloof: Op Llama 3.1 8B repareert SECALIGN 54,0% van de base-model hijacks, terwijl DefensiveTokens 60,3% van hen onderdrukt.

Impact van Redeneren

Het vergroten van de redeneercapaciteiten (bijv. "thinking" modi) verbetert over het algemeen de security door de executie-rates te verlagen, maar verbetert de fidelity niet betrouwbaar. In veel gevallen verlaagt een hoger niveau van redeneren de fidelity zelfs licht, wat suggereert dat redeneren een instrument is voor het verminderen van hijacks in plaats van een mechanisme voor het behoud van de dataintegriteit.

Agentic Extensie

De tradeoff blijft bestaan in agentische settings (toolgebruik). Hoewel frontier API's en SECALIGN-varianten een hoge security tonen (94–100%) in tool-use scenario's, varieert hun fidelity sterk (31,7% tot 72,6%), wat bevestigt dat de tradeoff zich generaliseert buiten tekstgeneratie.

4. Bijdragen

Identificatie van Ambiguïteit: Het artikel stelt vast dat "niet-uitvoering" ambigu is en geen onderscheid kan maken tussen robuuste instructie-data scheiding en schadelijke data-onderdrukking.
SECFID Benchmark: Introductie van een benchmark die gedrag ontleedt in security en fidelity, waardoor de verborgen kosten van onderdrukking meetbaar worden.
Empirische Tradeoff Mapping: Demonstratie van een strikte security–fidelity frontier over 48 configuraties, waarbij wordt aangetoond dat huidige defensies vaak fidelity inruilen voor security.
Analyse van Defensiemechanismen: Onthulling dat defensies met gelijke hijack-rates sterk verschillen in of ze hijacks "repareren" (getrouwe verwerking) of inhoud "onderdrukken".
Deployment-Afhankelijke Optimaliteit: Een besluitvormingsanalyse die aantoont dat het optimale defensiebeleid niet universeel is, maar afhangt van de specifieke deployment-kostenratio tussen een security-breach (hijack) en een fidelity-verlies (weggevallen span).

5. Betekenis en Claims

Het artikel betoogt dat security alleen slechts de helft van de robuustheid meet. Het rapporteren van security-metrieken zonder fidelity verbergt de prijs waartegen robuustheid is gekocht.

Geen Universeel Beleid: De auteurs beweren dat er geen vast defensiebeleid overal optimaal is. Het juiste gedrag (verwerken versus filteren) hangt af van de deployment-context. In high-fidelity taken (bijv. vertaling) is het onderdrukken van inhoud onacceptabel; in high-security taken (bijv. financiële agenten) is het onderdrukken van verdachte spans wenselijk.
Van Diagnostisch naar Voorschrijvend: Hoewel primair diagnostisch, laat het artikel zien dat SECFID gebruikt kan worden om defensies te verbeteren. Door Direct Preference Optimization (DPO) toe te passen met een voorkeursvolgorde van $\text{PROCESSED} \succ \text{IGNORED} \succ \text{EXECUTED}$ , slaagden zij erin een verdedigd model van onderdrukking naar getrouwe verwerking te verschuiven, waardoor fidelity werd hersteld terwijl security behouden bleef.
Maatschappelijke Implicatie: Het werk benadrukt het risico van "stille fouten" waarbij taak-agnostische defensies de dataintegriteit corrumperen zonder waarschuwing. Het pleit voor instelbare, transparante defensies die afstemmen op de specifieke risicotolerantie van de deployment, in plaats van een-maat-past-iedereen security-scores.

Het artikel concludeert dat prompt-injection defensie gerapporteerd moet worden als een taakbewust werkpunt (task-aware operating point) in plaats van een enkele security-score, en dat toekomstige evaluaties expliciet fidelity moeten meten om te voorkomen dat de degradatie van de modelutiliteit wordt gemaskeerd.