Technische Samenvatting: AutoDojo: Adaptieve Aanvallen Legen Oppervlakkige Verdedigingen en Limieten van Gebruikers-Onderspecificatie Bloot bij LLM-agenten

1. Probleemstelling

Indirecte Prompt Injectie (IPI) vormt een kritieke beveiligingsdreiging voor Large Language Model (LLM) agenten, waarbij kwaadaardige instructies ingebed in onbetrouwbare externe data (bijv. opgehaalde documenten, tool-outputs) de executie-flow van de agent kapen. Hoewel een groeiende hoeveelheid literatuur verdedigingen voorstelt die worden gecategoriseerd in prompt-gebaseerde schema's, detectie/filteringmechanismen en systeemniveau-beperkingen, lijdt de evaluatie van deze verdedigingen aan een fundamentele fout: de afhankelijkheid van statische benchmarks.

Huidige benchmarks, zoals AgentDojo, maken gebruik van vaste, handgeschreven injectie-strings om een enkele geaggregeerde Attack Success Rate (ASR) te genereren. Dit statische evaluatieparadigma faalt in het beoordelen van robuustheid tegen adaptieve tegenstanders. Verdedigingen kunnen een lage ASR bereiken door te overfitten op oppervlakkige kenmerken van canonieke aanvalstrings (bijv. specifieke triggerwoorden of formattering), in plaats van robuust kwaadaardige intentie te identificeren. Bijgevolg kan de gerapporteerde effectiviteit van verdedigingen opgeblazen zijn, omdat ze niet de realiteit weerspiegelen waarin aanvallers hun strategieën aanpassen om specifieke verdedigingen te omzeilen.

2. Methodologie: Het AutoDojo Framework

Om de beperkingen van statische evaluatie aan te pakken, introduceren de auteurs AutoDojo, een adaptieve uitbreiding van de AgentDojo-benchmark. AutoDojo is ontworpen om elke seed-injectie te optimaliseren tegen een verdedigde agent onder een strikt black-box dreigingsmodel.

Dreigingsmodel

• Capaciteiten van de tegenstander: De aanvaller heeft geen toegang tot modelgewichten, gradiënten of interne defensielogica. Zij beschikken slechts over dezelfde query-toegang als een externe gebruiker: de mogelijkheid om kandidaat-content in te dienen en een binair succes/faal-signaal te observeren (of de agent de doelstelling van de aanvaller heeft uitgevoerd).
• Resources: De aanval is "goedkoop", waarbij een klein query-budget en een offline frontier LLM als optimizer wordt gebruikt, in plaats van grootschalige reinforcement learning of white-box toegang te vereisen.
• Doel: Maximaliseer de ASR door iteratief een injectie $x$ binnen een benegin vector $v$ te verfijnen om een specifieke taak $g$ uit te voeren (bijv. ongeautoriseerde tool-aanroepen).

Optimalisatie-loop

AutoDojo werkt als een LLM-in-de-loop evolutionair zoekproces:

1. Initialisatie: Een leaderboard van kandidaat-injecties wordt bezaaid met bestaande aanvallen (bijv. statische strings, TopicAttack, RLHammer).
2. Outcome Feedback: Kandidaten worden ingezet tegen de verdedigde agent. Het systeem scoort hen op basis van de ASR over een set van gebruikers-taakinstanties, wat een binair succes-signaal oplevert.
3. Diagnose: Een offline optimizer LLM analyseert de geschiedenis van het leaderboard om te hypothetiseren waarom bepaalde kandidaten slaagden of faalden en om de aard van de actieve verdediging af te leiden.
4. Generatie: Geleid door de diagnose genereert de optimizer een nieuwe kandidaat-injectie, waarbij potentieel van strategie wordt gewisseld (bijv. van een vloeiende paragraaf naar een dialoogformaat) als de huidige strategieën uitgeput zijn.

Deze loop herhaalt zich voor een vast, klein budget (bijv. 6 iteraties) en geeft de hoogst scorende injectie terug. Het framework ondersteunt het integreren van nieuwe aanvallen als ofwel seeds of strategie-beschrijvingen, waardoor het natuurlijk de vooruitgang in IPI-onderzoek kan absorberen.

3. Belangrijkste Bijdragen

Het paper levert vier primaire bijdragen:

1. AutoDojo Framework: Een efficiënt, black-box adaptief evaluatietool die seed-aanvallen optimaliseert tegen verdedigde agenten met behulp van enkel ASR-feedback, waarbij minimale API-calls en geen interne modelgegevens nodig zijn.
2. Taakspecificatie Taxonomie: Een nieuwe categorisering van gebruikers-taken gebaseerd op de precisie van de specificatie:
   • Volledig gespecificeerd: Actie en parameters zijn expliciet gedefinieerd door de gebruiker.
   • Param-open: Actie is gedefinieerd, maar parameters worden afgeleid van externe content.
   • Action-open: De gebruiker delegeert de actie zelf aan externe content (bijv. "doe wat het document zegt").
3. Uitgebreide Evaluatie: Een uitgebreide empirische studie van negen state-of-the-art verdedigingen over drie task-suites (Banking, Slack, Travel) en vijf target modellen.
4. Publieke Release: De release van AutoDojo, inclusioneel de optimalisatie-pipeline, een bibliotheek van vooraf geoptimaliseerde injecties en per-taak onderspecificatie-labels.

4. Experimentele Resultaten

Bevinding 1: Statische Verdedigingen Bieden Beperkte Bescherming

De studie demonstreert dat verdedigingen die sterke bescherming rapporteren tegen statische benchmarks, vaak falen onder adaptieve aanvallen.

• ASR Herstel: Tegen verdedigingen die de statische ASR tot bijna nul reduceren (bijv. PIGuard die de statische ASR reduceert tot 0.0% op GPT-4o-mini), herstelt AutoDojo een significante aanvalssucces (bijv. het verhogen van de ASR naar 28.0%).
• Filter Kwetsbaarheid: Speciaal ontwikkelde classificators (bijv. DataFilter, ProtectAI) die statische injecties effectief blokkeren, worden omzeild door AutoDoch, met ASR-stijgingen variërend van 2x tot bijna 3x (bijv. de DataFilter ASR stijgt van 12.6% naar 33.4%).
• Utility Kosten: Verdedigingen die succesvol statische aanvallen onderdrukken, brengen vaak hoge "clean utility" kosten met zich mee (het degraderen van benigne taakprestaties). Bijvoorbeeld, PIGuard en ProtectAI reduceerden de clean utility met 33–51% over verschillende modellen, wat suggereert dat ze benigne content even agressief filteren als kwaadaardige instructies.
• Optimization vs. Seeds: De prestatiewinsten worden primair gedreven door de optimalisatie-loop zelf, en niet louter door de kracht van de initiële seeds. AutoDojo presteert consequent beter dan zijn seed-aanvallen (TopicAttack, RLHammer) tegen filter-gebaseerde verdedigingen.

Bevinding 2: Gebruikers-Onderspecificatie Creëert Structurele Kwetsbaarheden

De effectiviteit van verdediging is sterk afhankelijk van de precisie van de taakspecificatie van de gebruiker.

• Action-Open Taken: De aanvalssuccesratio's zijn aanzienlijk hoger op "action-open" taken (waar de gebruiker de actie delegeert aan externe content) vergeleken met "fully-specified" taken.
• Filter Falen: Voor prompt-niveau en filter-gebaseerde verdedigingen is het gat tussen action-open en gespecificeerde taken groot. Bijvoorbeeld, op GPT-4o-mini met PIGuard, was de statische ASR 0% voor beide, maar onder AutoDojo sprong de ASR voor action-open taken naar 64.3%, terwijl deze 23.6% bleef voor gespecificeerde taken.
• Mechanisme: In action-open taken kan de injectie zich voordoen als gewone data in plaats van een expliciete instructie, waardoor verdedigingen die vertrouwen op het detecteren van instructie-achtige syntaxis worden omzeild.
• Systeem-niveau Veerkracht: Systeem-niveau verdedigingen (bijv. Progent, DRIFT), die de acties van de agent beperken op basis van een traject afgeleid van de gebruikersaanvraag, tonen grotere robuustheid. Ze elimineren vaak het gat tussen taaktypes omdat ze elke actie blokkeren die niet expliciet is geautoriseerd door de intentie van de gebruiker, ongeacht hoe de injectie is geformuleerd.

5. Betekenis en Claims

Het paper betoogt dat het huidige landschap van IPI-verdedigingsevaluatie misleidend is. De afhankelijkheid van statische, handgeschreven benchmarks overschat de robuustheid van veel verdedigingen, met name die welke vertrouwen op content filtering of prompt engineering.

• Oppervlakkige Robuustheid: Een lage statische ASR certificeert vaak slechts dat een verdediging werkt tegen een specifieke, bevroren aanval of dat het doelmodel inherent resistent is tegen die specifieke string, in plaats van dat het echte veiligheid aangeeft.
• Adaptieve Realiteit: Zelfs een lichtgewicht, black-box aanvaller (gesimuleerd door AutoDojo) is voldoende om de broosheid van veel verdedigingen bloot te leggen, waarbij hoge aanvalssuccesratio's worden hersteld waar statische evaluaties veiligheid suggereren.
• Structurele Limiet: Het paper identificeert een structurele beperking in agentic systemen: wanneer gebruikers taken onderspecificeren (acties delegeren aan externe content), worden verdedigingen op content-niveau onvoldoende omdat kwaadaardige instructies als benigne data geframed kunnen worden. Echte robuustheid, zo stellen de auteurs, vereist het binden van de acties van de agent aan de expliciete intentie van de gebruiker (systeem-niveau beperkingen), in plaats van het proberen te filteren van inputs.

De auteurs concluderen dat toekomstige verdedigingsevaluaties verder moeten gaan dan enkelvoudige geaggregeerde scores tegen vaste strings en dat zij adaptieve, black-box testen en decompositie door taakspecificatie-precisie moeten bevatten. AutoDojo wordt vrijgegeven om deze verschuiving te faciliteren, door een tool te bieden voor fijnmazige, adaptieve adversariële evaluatie.