Technische Samenvatting: Verdediging tegen Prompt Injectie met DataFilter

1. Probleemstelling

Het paper behandelt de kritieke beveiligingskwetsbaarheid van prompt injectie in Large Language Model (LLM) agenten. Nu LLM's steeds vaker worden ingezet om taken te automatiseren (bijv. webnavigatie, tool calling) en te interageren met onbetrouwbare externe data (documenten, e-mails, tool outputs), kunnen aanvallers kwaadaardige instructies in deze data injecteren. Deze injecties overschrijven de oorspronkelijke vertrouwde gebruikersprompt, waardoor de agent wordt omgeleid naar onbedoelde, potentieel schadelijke acties zoals datalekken of het uitvoeren van malware.

Bestaande verdedigingen lijden onder aanzienlijke trade-offs:

• Systeemniveau-verdedigingen: Vereisen een niet-trivial herontwerp van het systeem en resulteren vaak in substantieel verlies van nut (utility) omdat ze de datastroomcontrole beperken.
• Modelniveau-verdedigingen (Fine-tuning): Vereisen toegang tot modelgewichten, waardoor ze niet toepasbaar zijn op propriëtaire black-box modellen.
• Detectiegebaseerde verdedigingen: Leiden vaak tot hoge fout-positieveven en resulteren zo in degradatie van het nut door legitieme inputs af te wijzen.
• Prompt-gebaseerde verdedigingen: Bieden over het algemeen zwakke beveiliging, waarbij de succesratio van aanvallen (ASR) vaak boven de 40% ligt.

De auteurs identificeren een gat voor een verdediging die model-agnostisch is (werkt op elke backend, inclusief propriëtaire modellen), nut-behoudend is en hoogwaardige beveiliging biedt zonder systeemherontwerp te vereisen.

2. Methodologie: DataFilter

De auteurs stellen DataFilter voor, een test-time, model-agnostische verdedigingsmechanisme. In tegen tegenstelling tot detectiesystemen die volledige inputs afwijzen, fungeert DataFilter als een filter die tussen de onbetrouwbare databron en de backend LLM zit.

Kernmechanisme

DataFilter neemt twee inputs:

1. Vertrouwde Instructie ($u$): De oorspronkelijke gebruikersprompt.
2. Onbetrouwbare Data ($x$): De externe data die potentieel injecties bevat.

De taak van de filter is het produceren van een gesaneerde versie van de data ($x_{clean}$) die kwaadaardige instructies verwijdert terwijl de relevante, onschadelijke inhoud met betrekking tot de vertrouwde instructie behouden blijft. Dit wordt geformuleerd als een conditioneel sequence-to-sequence generatieprobleem.

Trainingsproces (Supervised Fine-Tuning)

Het filtermodel (gebaseerd op Llama-3.1-8B-Instruct) wordt getraind via Supervised Fine-Tuning (SFT) op een aangepaste dataset die is geconstrueerd uit de Alpaca instruction-tuning dataset. De trainingsstrategie omvat vier belangrijke ontwerpdoelen om robuustheid te garanderen:

1. Behoud van Onschadelijke Content (Benign Preservation): Het model wordt getraind op niet-geïnjecteerde samples om te leren dat als data onschadelijk is, deze ongewijzigd moet worden uitgevoerd.
2. Voorkomen van Hallucinaties: Om te voorkomen dat het model de tekst "aanvult" nadat een injectie is verwijderd (een veelvoorkomend LLM-gedrag), bevat de trainingsdata samples waar onschadelijke data wordt afgebroken. Het model leert de afgebroken data exact zo uit te voeren zonder nieuwe tokens te genereren.
3. Voorkomen van Eindeloze Repetitie: Een speciaal End-of-Sequence token (<|end_of_data|>) is geïntroduceerd en getraind om ervoor te zorgen dat de filter de generatie onmiddellijk na de gesaneerde data stopt, wat oneindige loops voorkomt.
4. Positionele Generalisatie: Injecties worden gesimuleerd op willekeurige posities (begin, midden, eind) binnen de data om ervoor te zorgen dat de filter injecties kan identificeren en verwijderen, ongeacht hun locatie.

Het trainingsdoel minimaliseert de negatieve log-likelihood van het genereren van de grondwaarheid (ground-truth) schone data gegeven de prompt en de geïnjecteerde data-paar:
$$L(\theta) = -\log p_\theta(x_{clean} | \langle u, x \rangle)$$

Afhandeling van Gestructureerde Data

Voor agentische toepassingen waar data gestructureerd is (bijv. JSON), parseert DataFilter de structuur, filtert recursief de tekstinhoud van keys en values, en reconstrueert het object. Dit voorkomt de generatie van syntactisch ongeldige JSON.

3. Belangrijkste Bijdragen

• Een Nieuw Verdedigingsarchitectuur: DataFilter is de eerste model-agnostische verdediging die de beveiliging van systeemniveau-benaderingen combineert met het gemak van implementatie van modelniveau-benaderingen, zonder dat hiervoor de backend modelgewichten nodig zijn.
• Geavanceerde Filteringslogica: Door de filter te conditioneren op de vertrouwde gebruikersinstructie, kan het systeem onderscheid maken tussen imperatieve zinnen die kwaadaardige injecties zijn en zinnen die onschadelijke context vormen (bijv. "TODO"-lijsten in e-mails), een onderscheid waar eerdere methoden moeite mee hadden.
• Uitgebreide Evaluatie: Het paper evalueert de verdediging over meerdere benchmarks (SEP, InjecAgent, AgentDojo, AlpacaEval2) en tegen diverse aanvalvectoren (Straightforward, Ignore, Completion, Multi-Turn, en Context aanvallen).

4. Experimentele Resultaten

De auteurs evalueerden DataFilter tegen baselines inclusief PromptGuard, DataSentinel, Sandwich prompting, Spotlighting, Tool Filter, en het gelijktijdige werk PromptArmor.

Beveiligingsprestaties (Attack Success Rate - ASR)

• AgentDojo: DataFilter verminderde de ASR tot een gemiddelde van 0,4% (max 1,2%) over verschillende aanvalstypes, waarmee het PromptArmor (gem. 0,7%) versloeg en aanzienlijk beter presteerde dan detectiegebaseerde en prompt-gebaseerde verdedigingen (die vaak een ASR > 20% hadden).
• InjecAgent: DataFilter bereikte een ASR van 2,0% (Base attack) en 0,0% (Enhanced attack) op gpt-4o, en 2,1% en 1,2% op Llama-3.1-8B-Instruct.
• SEP (Instruction Following): DataFilter behield een lage ASR over alle zes de aanvalstypes voor zowel gpt-4o als Llama-3.1-8B-Instruct. Het was opvallend genoeg een van de weinige verdedigingen die effectief was tegen de Context attack, die legitieme instructies nabootst.
• Adaptieve Aanvallen: Zelfs onder door mensen ontworpen adaptieve aanvallen en sterke LLM-gebaseerde adaptieve aanvallen (met behulp van genetische algoritmen), behield DataFilter de laagste ASR onder alle geteste verdedigingen (83% vs 93% voor PromptArmor in het slechtste geval van een LLM-gebaseerde scenario), hoewel de auteurs opmerken dat geen enkele verdediging momenteel immuun is voor de meest geavanceerde adaptieve aanvallen.

Nut-Prestaties (Utility Performance)

• AgentDojo: DataFilter behield 79,4% onschadelijk nut (slechts een daling van ~2% vergeleken met het onverdedigde model), terwijl detectiegebaseerde verdedigingen zoals DataSentinel last hadden van ernstig nutverlies (36,6%) door fout-positieven.
• AlpacaEval2: DataFilter behield nutsscores die vergelijkbaar zijn met de onverdedigde baseline (54,1% voor gpt-4o), wat aantoont dat het filteringsproces de kwaliteit van responsen voor onschadelijke taken niet degradeert.

Trade-off

Zoals geïllustreerd in de figuren van het paper, bereikt DataFilter een superieure Security-Utility trade-off, waarbij het de "ideale verdediging" (nul ASR met nul verlies in nut) dichter benadert dan enige eerdere methode.

5. Betekenis en Claims

Het paper claimt dat DataFilter een praktische, plug-and-play verdediging biedt voor het beveiligen van commerciële black-box LLM's tegen prompt injectie. De betekenis ligt in:

1. Toegankelijkheid: Het vereist geen toegang tot modelgewichten, waardoor het inzetbaar is voor derde partijen die gebruikmaken van propriëtaire API's.
2. Effectiviteit: Het mitigeert succesvol een breed scala aan injectieaanvallen, inclus\ de contextueel relevante en moeilijk te detecteren aanvallen.
3. Nut-behoud: Het vermijdt het "over-refusal" probleem dat gebruikelijk is bij detectiegebaseerde systemen, waardoor agenten functioneel blijven voor legitieme taken.

De auteurs erkennen dat hoewel DataFilter robuust is tegen huidige aanvalvectoren, het nog steeds kwetsbaar kan zijn voor de meest geavanceerde adaptieve aanvallen, een beperking die gedeeld wordt door alle bestaande verdedigingen. Ze positioneren DataFilter echter als een sterke, directe oplossing voor de korte tot middellange termijn om productie-waardige LLM-agenten te beveiligen.