Technische Samenvatting: AgentWatcher

Probleemstelling

Toepassingen met Large Language Models (LLM's), in het bijzonder autonome agenten, zijn zeer kwetsbaar voor prompt injection attacks, waarbij aanvallers kwaadaardige instructies inbedden in ogenschijnlijk onschuldige externe inhoud (bijv. e-mails, code, webpagina's) om het gedrag van de agent te kapen. Hoewel er bestaande verdedigingsmechanismen zijn, kampen deze met twee kritieke beperkingen:

1. Schaalbaarheidsproblemen: State-of-the-art detectiemethoden lijden onder aanzienlijke prestatievermindering naarmate de contextlengte toeneemt, wat ze ongeschikt maakt voor agenttoepassingen met lange context.
2. Ondoorzichtigheid en gebrek aan expliciete regels: Veel methoden vertrouwen op impliciete geleerde representaties, wat resulteert in "black box"-beslissingen die moeilijk te interpreteren zijn. Andere methoden vertrouwen op overgesimplificeerde aannames (bijv. dat geïnjecteerde instructies de aandacht moeten afleiden) die falen in complexe real-world scenario's.

Methodologie: AgentWatcher

De auteurs stellen AgentWatcher voor, een op regels gebaseerde prompt injection monitor die is ontworpen om de beperkingen van schaalbaarheid en interpreteerbaarheid aan te pakken. Het framework werkt in twee afzonderlijke fasen:

1. Attributie van causaal belangrijke teksten

Om lange contexten efficiënt te verwerken, analyseert AgentWatcher niet de volledige geschiedenis. In plaats daarvan attribueert het de huidige actie van de agent ($a_t$) aan een kleine, causaal invloedrijke subset van de context ($C^*$).

• Mechanisme: Het systeem maakt gebruik van attention-gewichten van een attributie-LLM. Het identificeert sink tokens—tokens die een disproportioneel hoge aandacht ontvangen van de respons van het model (vaak delimiters of belangrijke aggregatiepunten).
• Sliding Window Strategie: In plaats van vaste partitionering (wat het risico met zich meebrengt dat geïnjecteerde instructies over segmenten worden gesplitst), gebruikt AgentWatcher een kleine sliding window om deze sink tokens te lokaliseren. Vervolgens breidt het de window uit om de omliggende tekst te behouden ($w_l$ tokens vóór en $w_r$ tokens na).
• Multi-Window Selectie: Om ervoor te zorgen dat de volledige geïnjecteerde prompt wordt gevangen, wordt het proces $K$ keer herhaald om $K$ niet-overlappende, hoog scorende uitgebreide windows te selecteren. Deze worden geconcateneerd om de geattribueerde context $C^*$ te vormen.

2. Op regels gebaseerde Prompt Injection Detectie

Zodra de compacte context $C^*$ is geëxtraheerd, voert een Monitor LLM de detectie uit.

• Inputs: De Monitor LLM ontvangt de doeltaak ($I_u$), de geattribueerde context ($C^*$), de actie van de agent ($a_t$) en een set expliciete, aanpasbare regels ($R$).
• Redeneerproces: De Monitor LLM redeneert of $C^*$ kwaadaardige instructies bevat op basis van de regels. Het geeft een binaire beslissing ("Ja" of "Nee") uit en extraheert, indien positief, de specifieke geïnjecteerde instructie.
• Regel-flexibiliteit: Regels kunnen handmatig worden gespecificeerd of automatisch worden gegenereerd. Ze maken genuanceerde onderscheid mogelijk, zoals het behandelen van inhoud van een vertrouwde bron (bijv. een e-mail van de gebruiker) als onschuldig, zelfs als deze instructies bevat, mits deze overeenkomt met de doeltaak.
• Fine-tuning: De Monitor LLM wordt verder gefinetuned met behulp van GRPO (Group Relative Policy Optimization) met een beloningsfunctie die zowel correcte classificatie als nauwkeurige extractie van de geïnjecteerde tekst aanmoedigt. Deze training vergroot de neiging van het model om expliciet de gebruikte regels in zijn redenering te citeren.

Belangrijkste Bijdragen

1. Schaalbare Detectie via Attributie: Door acties te attribueren aan kleine, causaal relevante tekstsegmenten met behulp van sink token detectie, behoudt AgentWatcher de effectiviteit van detectie in lang-context scenario's waar andere methoden falen.
2. Verklaarbare, op regels gebaseerde Redenering: Het systeem vervangt ondoorzichtige detectie door expliciete regelgebaseerde redenering. Dit maakt detectiebeslissingen interpreteerbaar en maakt maatwerk mogelijk op basis van specifieke agenttaken en vertrouwensgrenzen.
3. Uitgebreide Evaluatie: De auteurs evalueren AgentWatcher over vier agent benchmarks (AgentDojo, InjecAgent, WASP, AgentDyn) en zes lang-context begrip datasets (LongBench suite), waarbij de robuustheid tegen zowel directe als gecombineerde aanvallen wordt aangetoond.

Experimentele Resultaten

• Agent Benchmarks: Op AgentDojo verminderde AgentWatcher de Attack Success Rate (ASR) tot ≤1% terwijl het slechts een 2% utility loss veroorzaakte op onschuldige inputs. Het presteerde consequent beter dan baselines zoals PromptGuard, DataSentinel en PIGuard.
• Long-Context Datasets: AgentWatcher bereikte de beste trade-off tussen utility en ASR over alle geteste lang-context datasets (bijv. GovReport, HotpotQA), waarbij de ASR consistent werd teruggebracht tot maximaal 10% in diverse settings.
• Generalisatie: De methode bleef effectief over verschillende backbone LLM's (Qwen, GPT-4o, Claude, Gemini), waarbij de ASR consequent werd teruggebracht naar bijna nul terwijl de utility loss laag bleef.
• Ablatie-studies:
  • De specifieke attributiemethode (sink token detectie met sliding windows) bleek superieur aan vaste partitionering of gemiddelde attention-methoden.
  • GRPO fine-tuning verbeterde de robuustheid en de citatiecijfers van regels verder.
  • Het systeem is relatief ongevoelig voor hyperparameters (window groottes, aantal windows).
• Adaptieve Aanvallen: AgentWatcher demonstreerde veerkracht tegen heuristiek-gebaseerde adaptieve aanvallen (bijv. fake definities, safe environment framing) en optimalisatie-gebaseerde aanvallen (PAIR, TAP), grotendeels dankzij de duidelijke afbakening van de onbetrouwbare context in de prompt.

Betekenis en Claims

De paper claimt dat AgentWatcher een praktische richting biedt voor het beveiligen van LLM-agenten in real-world implementaties. Door context-attributie te combineren met regelgebaseerde redenering, pakt het de dubbele uitdagingen aan van schaalbaarheid (omgaan met lange contexten) en interpreteerbaarheid (het bieden van verklaarbare beveiligingsbeslissingen). De auteurs benadrukken dat hun aanpak complementair is aan preventie-gebaseerde verdedigingen en bestaande guardrails, en een flexibele laag van defense-in-depth biedt die kan worden aangepast aan specifieke agent-vereisten zonder dat er voor elke nieuwe taak een model-retraining nodig is.

De auteurs merken beperkingen op, specifiek de computationele kosten (ongeveer 8,2 seconden per detectie), wat suggereert dat de detector in de praktijk selectief moet worden aangeroepen voor high-risk tool calls in plaats van bij elke stap. Ze erkennen ook de inherente moeilijkheid om tussen onschuldige en kwaadaardige instructies te onderscheiden in edge cases waar de betrouwbaarheid van de context ambigu is.