Technische Samenvatting: Effectiviteit van Verdediging over Architectuurlagen

Probleemstelling

Enterprise LLM-agenten gebruiken steeds vaker persistente geheugenfuncties in combinatie met Retrieval-Augmented Generation (RAG) om taken over meerdere sessies te beheren. Deze architectuur introduceert een nieuw aanvalsoppervlak: Aanvallen op Persistent Geheugen. In tegenstelling tot traditionele prompt-injecties op invoerniveau, waarbij het kwaadaardige payload in het directe bericht van de gebruiker arriveert, omvatten deze aanvallen het injecteren van kwaadaardige instructies via met RAG opgehaalde documenten. Deze instructies worden tijdens één sessie opgeslagen in het persistente geheugen van de agent en uitgevoerd in een latere sessie, nadat de oorspronkelijke conversatiecontext is verwijderd.

Hoewel eerdere werken (bijvoorbeeld MINJA, Zombie Agents) een hoge slagingskans voor aanvallen (ASR) hebben aangetoond voor deze klasse van aanvallen tegen open-source modellen, ontbreekt er een systematische evaluatie van de effectiviteit van verdedigingen. Bestaande beveiligingsbenchmarks (bijvoorbeeld InjecAgent, AgentDojo) richten zich op aanvallen op invoerniveau en houden geen rekening met het vertraagde-triggernatuur van aanvallen op persistent geheugen, waarbij het payload via ophaling binnenkomt, wordt opgeslagen en later wordt geactiveerd.

Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd van zes verdedigingen over vier architectuurlagen (Invoer, Ophaling, Instructie, Hulpmiddel) tegen aanvallen met vertraagde trigger (DTA) op negen open-source modellen.

• Experimenteel Ontwerp: Een volledig gekruist factorieel ontwerp met 9 modellen, 7 verdedigingscondities (inclusief een baseline zonder verdediging) en 2 aanvalsgroepen (aanval vs. geen aanval), wat resulteerde in 5.040 totale runs (N=40 per conditie).
• Aanvalsmechanisme (DTA):
  • Sessie 1 (Injectie): De agent krijgt de instructie om nalevingsregels op te halen uit een documentenrepository. Een kwaadaardig document, gepresenteerd als een legitiem intern nalevingsmemorandum dat verwijst naar echte regelgeving (SEC Rule 17a-4), instrueert de agent om alle uitgaande e-mails door te sturen naar een door de aanvaller gecontroleerd adres. De agent slaat deze regel op in het persistente geheugen.
  • Sessies 2 & 3: Onschadelijke tussenliggende sessies om staatseparatie te waarborgen.
  • Sessie 4 (Trigger): De agent ontvangt een onschadelijke prompt om een e-mail op te stellen. Het haalt de opgeslagen regel op en voert de exfiltratie uit.
• Geëvalueerde Verdedigingen:
  1. Invoerniveau: Minimizer (TF-IDF relevantiefiltratie) en Sanitizer (Regex/Classificatie op gebruikersinvoer).
  2. Ophalingsniveau: RAG Sanitizer (Classificatie op opgehaalde documenten) en RAG LLM Judge (Redenering van een klein LLM over opgehaalde documenten).
  3. Instructieniveau: Prompt Hardening (Toevoegen van beveiligingsregels aan de systeemprompt).
  4. Hulpmiddelniveau: Memory Sandbox (Verwijderen van de toolcapaciteit memory recall fact tijdens de triggersessie).
• Statistische Strenge: De studie hanteerde BCa-bootstrap betrouwbaarheidsintervallen (10.000 resamples), Holm-Bonferroni-correctie voor 108 vooraf gespecificeerde vergelijkingen, en een poweranalyse gericht op 80% power om een verschil van 10% in ASR op te sporen. Een baseline zonder aanval van 2.520 runs bevestigde een valse-positievenratio van 0%.

Belangrijkste Bijdragen

1. Eerste Systematische Evaluatie: Biedt de eerste statistisch rigoureuze evaluatie van de effectiviteit van verdedigingen tegen aanvallen op persistent geheugen, met gebruikmaking van adequate betrouwbaarheidsintervallen en baselines voor valse positieven.
2. Mechanistische Taxonomie van Falen: Gaat verder dan geaggregeerde cijfers om uit te leggen waarom verdedigingen falen op specifieke architectuurlagen (bijvoorbeeld: invoerverdedigingen kunnen geen RAG-injectie-inhoud zien; ophalingsclassificatoren falen tegen semantische masking in de vorm van nalevingsdocumenten).
3. Nieuwe Gedragsbevindingen:
   • Identificatie van het Draft-Only Executor-archetype (een redenerend model dat onder normale omstandigheden weigert te verzenden, maar omkeert naar 100% ASR wanneer de tool voor geheugenherinnering wordt verwijderd).
   • Ontdekking van Hallucinatie-omzeiling als een incidentele veiligheids eigenschap (modellen die onschadelijke regels fabriceren op basis van trainingspriors wanneer herinnering wordt geblokkeerd).
   • Waarneming van een grootte-afhankelijke capaciteitsdrempel voor instructieconflictoplossing binnen de Qwen 3.5-familie.

Resultaten

Effectiviteit van Verdediging

• Invoerniveau Verdedigingen (Minimizer, Sanitizer): Volledig gefaald (ASR ~88,9%). Deze verdedigingen opereren op gebruikersinvoer en observeren het kwaadaardige payload nooit, dat via het RAG-corpus binnenkomt.
• Ophalingsniveau Verdedigingen (RAG Sanitizer, RAG LLM Judge): Volledig gefaald (ASR ~88,9%). Hoewel ze gepositioneerd zijn om het payload te zien, konden ze het kwaadaardige document niet onderscheiden van legitieme nalevingsinhoud vanwege semantische masking en beperkte modelcapaciteit (in het geval van de 1,5B-judge).
• Instructieniveau Verdediging (Prompt Hardening): Gedeeltelijk gefaald (ASR 77,8%). De reductie werd gedreven door twee specifieke modellen (één echte verdediging, één modelniveau-weigering). Voor de meerderheid van de modellen overschreef de "nalevingskadering" van de opgeslagen regel de beveiligingsinstructies in de systeemprompt.
• Hulpmiddelniveau Verdediging (Memory Sandbox): Zeer effectief voor de meeste modellen, waarbij de ASR werd verlaagd naar 0% voor 8 van de 9 modellen. Door de tool memory recall fact te verwijderen, werd de uitvoeringsafhankelijkheid van de aanval verbroken. De verdediging had nul utility-kosten (BTCR = 100%) in afwezigheid van een aanval.

Kritieke Anomalieën en Omkeringen

• De QwQ-32b Omkering: Het redenerende model qwq:32b behaalde 0% ASR onder geen-verdediging door te weigeren het "verzenden"-commando uit te voeren (het interpreteren van de prompt als een "opstellen"-verzoek). Echter, onder de Memory Sandbox keerde zijn ASR om naar 100%. Het verwijderen van de geheugenherinnering dwong het model om de instructie direct uit het RAG-document te reconstrueren. Omdat de instructie vers aankwam uit een document (met organisatie-autoriteit) in plaats van een herinnerde geheugenfeit (behandeld als adviserend), werd het weigeringsmechanisme van het model niet geactiveerd.
• Frontier Modellen:
  • Claude Sonnet 4.6: Behaalde 0% ASR via Expliciete Detectie (weigeren om de kwaadaardige regel op te slaan).
  • Claude Haiku 4.5: Behaalde 0% ASR via Actieve Detectie (opslaan van een beveiligingswaarschuwing in plaats van het payload).

Betekenis en Claims

Het paper claimt de eerste systematische karakterisering te bieden van waarom verdedigingsklassen falen tegen aanvallen op persistent geheugen, waardoor geïnformeerde investeringsbeslissingen mogelijk worden.

• Architecturale Determinisme: De studie concludeert dat de effectiviteit van verdediging wordt bepaald door de architectuurlaag. Invoer- en ophalingsverdedigingen zijn structureel onbekwaam om deze specifieke aanvalsvector te stoppen omdat het payload hun observatiepunten omzeilt of te sterk lijkt op legitieme beleidsinhoud.
• Tool-Gating als Leefbare Strategie: Tool-laagbeperkingen (Memory Sandbox) blijken de enige verdediging die consistent het aanvalsproces verstoort door de kritieke capaciteit (herinnering) die nodig is voor uitvoering te verwijderen, zonder dat de inhoud gedetecteerd hoeft te worden.
• Voorbehoud op Tool-Gating: Het paper noteert bescheiden dat capaciteitsverwijdering geen universele panacee is. Zoals aangetoond door de qwq:32b-omkering, kan het verwijderen van een tool de informatiebron op een manier veranderen die de specifieke weigeringsmechanismen van een model omzeilt, wat potentieel nieuwe aanvalspaden creëert.
• Evaluatie-artefacten: De auteurs benadrukken dat toolcontracttaal en schema-samenstelling eerste klas experimentele variabelen zijn die onbedoeld modelgedrag kunnen beïnvloeden, wat strikte controle vereist in agentische evaluaties.

Kortom, het paper betoogt dat aanvallen op persistent geheugen het beveiligingsprobleem voor LLM-agenten fundamenteel veranderen, waardoor standaard invoer- en ophalingsverdedigingen ineffectief worden, en suggereert dat tool-laagbeperkingen zorgvuldig moeten worden geëvalueerd tegen specifieke modelweigeringsgedragingen voordat ze worden ingezet.