Technische Samenvatting: Cross-Session Stored Prompt Injection in Agentic Systemen

1. Probleemdefinitie

Het paper identificeert een kritieke beveiligingskloof die ontstaat door de evolutie van Large Language Model (LLM) systemen van staatloze, sessie-gebonden assistenten naar stateful agentic systemen. Moderne agenten maken gebruik van langdurige contextuele artefacten—zoals geheugens, bestandssystemen, tools en gedeelde werkruimtes—om de staat over sessies heen te behouden. Terwijl bestaand onderzoek naar prompt injection zich richt op vluchtige, enkelvoudige sessie-dreigingen waarbij kwaadaardige instructies worden geïntroduceerd en direct worden geëxploiteerd, creëert deze verschuiving een nieuwe klasse kwetsbaarheden: Cross-Session Stored Prompt Injection (SPI).

Geïnspireerd door Stored Cross-Site Scripting (XSS) in web-systemen, vindt SPI plaats wanneer kwaadaardige inhoud wordt geschreven in de persistente systeemstaat tijdens één interactie en later wordt heropgenomen in de executiecontext van toekomstige sessies, gebruikers of taken. In tegenstelling tot traditionele aanvallen ontkoppelt SPI het injectie-event van het exploitatie-event, waardoor kwaadaardige instructies de gedragingen van de agent lang nadat de oorspronkelijke interactie van de aanvaller is beëindigd, stilzwijgend kunnen beïnvloeden. Het kernproblek is dat huidige beveiligingsmodellen uitgaan van een nauwe temporele koppeling tussen input en executie, en er geen rekening mee houden met hoe onbetrouwbare data vertrouwde, persistente systeemstaten (bijv. geheugen, AGENTS.md, tool-beschrijvingen) kan contamineren en vervolgens de besluitvorming van downstream agenten kan kapen.

2. Methodologie

Om deze dreiging systematisch te bestuderen, stellen de auteurs een formeel framework, een taxonomie en een empirische evaluatietoolkit voor.

2.1 Formalisering en Taxonomie

De auteurs formaliseren SPI als een proces in twee fasen: Unsafe Persistent Writes (het injecteren van kwaadaardige inhoud in langdurige staat) en Malicious Downstream Reactivation (het laden van die gecontamineerde staat in toekomstige executiecontexten). Ze ontwikkelen een taxonomie gebaseerd op drie dimensies:

1. Injection Source: Hoe kwaadaardige inhoud de systeemgrens oversteekt (User-Supplied Content, Extern Geconsumeerde Content, of Supply-Chain Installable Tools).
2. Persistent Context Channel: Waar de inhoud persisteert (Agent Memory [Working vs. Archival], Tool-Visible State, of File-Backed Context zoals AGENTS.md).
3. Context Incorporation Mechanism: Hoe de opgeslagen inhoud opnieuw wordt geïntroduceerd (Direct Loading [onvoorwaardelijk] vs. Conditional Loading [retrieval-afhankelijk]).

Verder categoriseren ze potentiële schade in Fact Manipulation (het wijzigen van gevestigde feiten), Preference Manipulation (het beïnvloeden van besluitvorming) en Action Scope Manipulation (het triggeren van onbedoeld toolgebruik of acties).

2.2 SPI-Benchmark en Sandbox Toolkit

De auteurs operationaliseren hun studie door de ontwikkeling van SPI-Benchmark, een gesandboxed evaluatieframework.

• Setup: De benchmark creëert geïsoleerde omgevingen over drie applicatiescenario's: e-commerce, reisboekingen en financieel portefeuillebeheer.
• Pipeline: De evaluatie volgt een levenscyclus van vier fasen:
  1. Environment Setup: Initialisatie van persistente opslagplaatsen (geheugen, bestandssysteem) en tool-backends.
  2. Injection: Een aanvaller dient een query in om kwaadaardige inhoud in een persistent kanaal te schrijven.
  3. Session Reset: De conversatiegeschiedenis wordt gewist, maar de sandbox-omgeving (bestanden, geheugen) blijft bestaan.
  4. Activation: Een schone "slachtoffer"-query wordt ingediend in een nieuwe sessie om te testen of de opgeslagen inhoud de gedragingen van de agent beïnvloedt.
• Metrics: Succes wordt gemeten via een decompositie van de aanvalscyclus:
  • Write Success Rate (WSR): De waarschijnlijkheid van succesvol schrijven naar persistente opslag.
  • Incorporation Rate (IR): De waarschijnlijkheid dat de opgeslagen inhoud in de context wordt geladen.
  • Activation Rate (AR): De waarschijnlijkheid dat de agent de beoogde uitkomst van de aanvaller uitvoert.
  • End-to-End Attack Success Rate (E2E-ASR): Het product van WSR, IR en AR.

3. Belangrijkste Resultaten

De auteurs evalueerden drie modellen (GLM-5.1, GPT-5-mini, MiniMax-M2.7) over 162 unieke SPI-gevallen.

• Algemene Kwetsbaarheid: Alle geteste modellen vertoonden een significante kwetsbaarheid, met een E2E-ASR variërend van 32,1% tot 42,0%.
• Ontkoppelde Fasen: De drie fasen (Write, Incorporation, Activation) zijn grotendeels ontkoppeld. Een hoge write success niet garandeert activatie. Bijvoorbeeld: MiniMax-M2.7 had de hoogste WSR (86,4%) maar een lagere E2E-ASR vanwege een lagere IR en AR, terwijl GLM-5.1 een lagere WSR compenseerde met een hoge downstream success.
• Variantie in Aanvalsdoel:
  • Fact Manipulation: Zeer effectief (74–82% E2E-ASR). Modellen behandelen geïnjecteerde feiten consistent als geldige wereldstaat zodra ze zijn opgenomen.
  • Preference Manipulation: Consistent moeilijk (0–11% E2E-ASR). Modellen hebben de neiging expliciete gebruikersrestricties boven geïnjecteerde voorkeuren te prioriteren.
  • Action Scope Manipulation: Toont een hoge variantie (18,5–40,7% E2E-ASR), afhankelijk van de interpretatie van de taakscope door het model.
• Persistence Channels: Direct-loading kanalen (bijv. Working Memory, File-Backed Context zoals AGENTS.md) zijn aanzienlijk gevaarlijker dan conditional kanalen (bijv. Archival Memory). Direct loading omzeilt de onzekerheid van retrieval-beslissingen, wat leidt tot hogere succespercentages.
• Aanvalstype: Contextual Disguise (het inkaderen van payloads als legitieme instructies) presteert consequent beter dan naïeve injectie, voornamelijk door de Write Success Rate (WSR) te verhogen, wat aangeeft dat bestaande alignment-mechanismen kwetsbaarder zijn voor het omzeilen van safeguards tijdens de write-tijd dan tijdens de execution-tijd.

4. Bijdragen

Het paper claimt de volgende bijdragen:

1. Identificatie en Formalisering: Het identificeert de overgang van stateless naar stateful agenten als een bron van een nieuwe fundamentele kwetsbaarheid, en definieert formeel Cross-Session Stored Prompt Injection (SPI).
2. Systematisch Framework: Het presenteert de eerste taxonomie die injectiebronnen, persistentiekanalen, incorporatiemechanismen en downstream schade verenigt, en vestigt daarmee een gemeenschappelijke taal voor het vakgebied.
3. Operationele Benchmark: Het introduceert SPI-Benchmark en een sandbox toolkit, wat de eerste kwantitatieve analyse van SPI over diverse modellen, doelen en kanalen mogelijk maakt.
4. Design Principe: Het benadrukt secure context management als een first-class design principe voor agentic systemen, en stelt dat beveiligingsrisico's niet alleen voortkomen uit kwaadaardige inputs, maar uit hoe architecturen de levenscyclus van persistente staat beheren.

5. Betekenis en Claims

Het paper betoogt dat SPI prompt injection fundamenteel transformeert van een efemere, model-niveau dreiging naar een langdurige, systeem-niveau kwetsbaarheid. De betekenis ligt in het besef dat in persistente agentic systemen het "aanvalsoppervlak" zich uitstrekt voorbij directe gebruikersinputs naar het eigen geheugen, de bestanden en de tool-artefacten van de agent.

De auteurs stellen dat de primaire beveiligingsuitdaging is verschoven van het louter filteren van kwaadaardige inputs naar het beheren van state contamination (staat-contaminatie) en context construction (context-constructie). Zij beweren dat persistentiemechanismen (geheugens, bestandssystemen) effectief onderdeel worden van het uitvoerbare aanvalsoppervlak. Het werk beoogt de gemeenschap te motiveren om verder te kijken dan sessie-gebonden beveiligingsaannames en systematische defensies, isolatiemechanismen en architecturale principes te ontwikkelen die specifiek gericht zijn op de uitvoering van persistente, cross-session agenten. Het paper concludeert door op te merken dat hoewel de taxonomie gebaseerd is op huidige ontwerpen, het snel evoluerende ecosysteem van agentic systemen suggereert dat dit dreigingslandschap zal blijven groeien.