💬 NLP

Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms

Dit paper introduceert CSTM-Bench, een benchmark en algoritme voor het detecteren van cross-sessie-bedreigingen in AI-agenten die traditionele, sessie-onafhankelijke beveiliging omzeilen door aanvallen over meerdere gesprekken te verspreiden.

Oorspronkelijke auteurs: Ari Azarafrooz

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ari Azarafrooz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat naïeve assistent hebt die voor je werkt. Deze assistent (een AI-agent) helpt je met e-mails, code schrijven of het beheren van je bankzaken. Om te voorkomen dat deze assistent iets stouts doet, heeft hij een "veiligheidscontroleur" aan zijn zijde.

Het probleem:
Deze veiligheidscontroleur kijkt alleen naar het moment. Hij kijkt naar elke zin die je zegt, alsof het een losse brief is. Als je zegt: "Kun je dit bestand openen?", denkt hij: "Geen probleem, dat is veilig."

Maar wat als een hacker niet één grote, slechte zin gebruikt, maar een geheime boodschap verspreidt over honderden gesprekken?

Vandaag vraagt hij: "Wat is de naam van onze server?" (Veilig).
Morgen vraagt hij: "Kun je de wachtwoorden van die server controleren?" (Klinkt als een normaal beheerdersverzoek, dus veilig).
Overmorgen vraagt hij: "Stuur die wachtwoorden naar mijn e-mailadres." (Ook veilig, want het is maar één zin).

Elke individuele zin is onschuldig. Maar als je ze allemaal samen zet, zie je een diefstalplan. De huidige veiligheidscontroleurs zien dit niet, omdat ze hun geheugen na elk gesprek resetten. Ze zijn als een bewaker die elke deur opent, maar nooit kijkt naar de hele route die iemand heeft afgelegd.

Wat doet dit onderzoek? (De CSTM-Bench)

De auteurs van dit paper hebben een gigantische testbaan (een benchmark) gebouwd om te zien hoe we dit probleem kunnen oplossen. Ze noemen het CSTM-Bench.

Stel je voor dat ze een spionnenwedstrijd organiseren:

De Spion (De Hacker): Ze laten een AI-spion 26 verschillende manieren bedenken om een geheim te stelen, verspreid over tientallen gesprekken.
De Testers (De Verdedigers): Ze testen drie soorten bewakers:
- De Eenzame Bewaker: Kijkt alleen naar de huidige zin (de huidige standaard).
- De Boekhouder: Leest alles wat ooit is gezegd, van begin tot eind, in één keer. (Dit is zwaar en traag).
- De Slimme Archivaris: Houdt een kleine, slimme lijst bij van de belangrijkste momenten.

De Grote Ontdekkingen

1. De "Boekhouder" faalt ook
Je zou denken: "Als we gewoon alles opslaan en later lezen, zijn we veilig."
Nee. De onderzoekers ontdekten dat als je duizenden zinnen opstapelt, de AI-veiligheidscontroleur verdwijnt in de massa. Het is alsof je een naald in een berg hooi probeert te vinden. De AI wordt overweldigd door de hoeveelheid tekst en vergeet de naald (de aanval) weer. Bovendien, als de hacker slim is, verandert hij de woorden net iets, zodat de "Boekhouder" denkt dat het allemaal normale gesprekken zijn.

2. De oplossing: De "Slimme Archivaris" (Coreset Memory)
De beste oplossing bleek niet om alles te onthouden, maar om slechts de belangrijkste stukjes te onthouden.
Stel je voor dat je een bewaker hebt die niet elke zin van een gesprek opschrijft, maar alleen de momenten waarop er iets vreemds of opvallends gebeurt.

Als iemand normaal vraagt naar het weer, schrijft hij niets op.
Als iemand plotseling vraagt om een wachtwoordbestand te kopiëren, schrijft hij dat op in zijn kleine, veilige notitieblok.

Deze "Slimme Archivaris" (in het paper de Coreset Memory Reader) slaagt erin om de aanval te zien, zelfs als de hacker de woorden verandert. Omdat hij zich alleen richt op de "pieken" in het gesprek, wordt hij niet verblind door de "hooiberg" van normale gesprekken.

Waarom is dit belangrijk voor jou?

Vandaag de dag worden AI's steeds slimmer en onthouden ze steeds meer. Maar hackers worden ook slimmer. Ze gaan niet meer voor de "grote klap" in één keer, maar voor de "druppel na druppel" methode.

Dit paper zegt: "We moeten stoppen met kijken naar elke druppel apart, en stoppen met proberen alles op te slaan. We moeten een slimme filter hebben die alleen de druppels onthoudt die er echt toe doen."

Samenvattend in één zin:
Om AI-agenten veilig te houden tegen hackers die hun plannen verspreiden over maanden van gesprekken, moeten we stoppen met het lezen van elke zin en beginnen met het slim selecteren van de belangrijkste momenten, zodat we het geheime patroon kunnen zien voordat het te laat is.

1. Het Probleem: Stateless Guardrails vs. Stateful Threats

Het paper identificeert een fundamentele architecturale zwakte in huidige AI-agent beveiligingssystemen. Bestaande "guardrails" (veiligheidsfilters) zijn stateless: ze beoordelen elk bericht in isolatie, zonder geheugen van eerdere sessies of interacties.

De Aanval: Aanvallers benutten dit door aanvallen te verspreiden over tientallen of honderden sessies. Geen enkel individueel bericht bevat het schadelijke "payload"; het gevaar ontstaat pas in de aggregate (de som van de delen). Voorbeelden zijn:
- Slow-drip prompt injections: Een jailbreak die over 50+ sessies wordt opgebouwd.
- Compositional exfiltration: Bestanden opvragen in sessie 1, configuraties lezen in sessie 2, en credentials in sessie 3 samenvatten en sturen.
- Semantische wassing (Laundering): Gevoelige data wordt in latere sessies omgezet in neutrale tekst voordat deze wordt uitgelekt.
Het Falen van Bestaande Oplossingen:
- Per-sessie judges: Zien geen enkel bericht als verdacht.
- SIEM (Security Information and Event Management): Werkt op basis van downstream logs (na de gebeurtenis). Bij AI-agenten is de intentie echter al in de input-prompt aanwezig voordat er een log wordt gegenereerd.
- Full-Log Correlators: Het simpelweg samenvoegen van alle logs in één lange prompt voor een LLM faalt door signaaldilutie (de aanval verdwijnt in de massa van onschadelijke berichten) en contextvenster-beperkingen (de oudste, cruciale delen van de aanval worden afgesneden).

2. Methodologie: CSTM-Bench

De auteurs introduceren CSTM-Bench (Cross-Session Threat Memory Benchmark), een dataset en evaluatieframework om cross-sessie dreigingen te meten.

Dataset Structuur:
- Bevat 26 uitvoerbare aanvalstaxonomieën, geclassificeerd op twee assen: Kill-chain stages (zoals recon, priv_esc, action) en een Cross-session Operations ontologie (accumulate, compose, launder, inject_on_reader).
- Identity Anchors: Elke scenario is gekoppeld aan één van zeven specifieke agent-rollen (bijv. customer_support, devops_agent, financial_advisor) met strikte beleidsregels. Dit definieert wat een "violation" is.
- Drie Scenario Klassen:
  1. Attack: Echte aanvalsscenario's.
  2. Benign-pristine: Zuivere, legitieme data.
  3. Benign-hard: Legitieme data die qua vorm (shape) lijkt op een aanval (confounders), om vals-positieven te testen.
Twee Splits (Shards):
1. Dilution: Test of een correlator signalen kan vinden in een grote hoeveelheid onschadelijke data (bij gelijke contextgrootte).
2. Cross-session (Adversariaal): Een gesloten-lus aanval waarbij een rewriter (Claude Opus) de oppervlakte van de berichten aanpast zodat ze door een per-sessie judge worden genegeerd, terwijl de cross-sessie artefacten behouden blijven. Dit creëert een regime waar cross-sessie correlatie de enige detectiemogelijkheid is.
Architecturale Vergelijking: Het benchmark vergelijkt drie lezers:
1. Per-session Judge: Staatlos, kijkt per sessie.
2. Full-Log Correlator: Kijkt naar alle logs in één keer (onbeperkt geheugen, maar contextvenster-beperkt).
3. Coreset Memory Reader: Een bounded-memory systeem dat een buffer van de K meest relevante fragmenten (bijv. K=50) behoudt en de rest verwijdert voordat het naar de correlator gaat.

3. Belangrijkste Bijdragen

Probleemformalisatie en Dataset: CSTM-Bench is de eerste benchmark die cross-sessie dreigingen formeel definieert en meetbaar maakt met ground-truth labels en een gespecialiseerde dataset (beschikbaar op Hugging Face).
Feasibility-studie van LLM-correlatoren: Het paper toont empirisch aan dat zelfs state-of-the-art LLMs (zoals Claude Sonnet 4.6) faalt bij cross-sessie detectie wanneer ze worden blootgesteld aan signaldilutie of adversariale herschrijving, zelfs binnen hun contextvenster.
Architecturale Richting en Kostenmeting:
- De auteurs stellen dat een bounded-memory Coreset de juiste architecturale oplossing is.
- Ze introduceren CSR_prefix (Coreset Stability Rate) als een nieuwe, LLM-vrije metriek. Deze meet hoe stabiel de volgorde van de buffer is tussen scans. Een stabiele buffer betekent dat de KV-cache (Key-Value cache) van de LLM hergebruikt kan worden, wat de operationele kosten drastisch verlaagt.
- CSTM Score: Een samengestelde metriek die detectiekwaliteit (F1-score) en operationele stabiliteit (CSR_prefix) combineert:
  $CSTM = 0.7 \cdot F1(CSDA@action, precision) + 0.3 \cdot CSR_{prefix}$

4. Resultaten

De experimenten leverden de volgende cruciale inzichten op:

Falenvan Bestaande Methoden:
- De Full-Log Correlator verloor ongeveer 50% van zijn herkenning (recall) wanneer hij van de "dilution" shard naar de "cross-session" shard ging. Hij werd blind voor de aanval omdat de herschreven sessies te veel leken op legitiem werk.
- De Per-session Judge viel ook terug van 100% naar ~54% recall op de cross-session shard.
Succes van de Coreset Reader:
- De Coreset Memory Reader (met een buffer van K=50) was de enige architectuur die zijn herkenning behield onder adversariaal druk.
- Op de cross-session shard bereikte de Coreset Reader een recall van 73,1% (19/26 scenario's), vergeleken met 50% voor de Full-Log Correlator en 53,8% voor de Per-session judge.
- De Coreset Reader slaagde erin scenario's te detecteren die zowel de per-sessie judge als de full-log correlator misten, omdat de buffer de "hoge signaal" fragmenten (de aanval) selectief behield en de "ruis" (benigne data) verwierp.
Kosten vs. Prestatie: Hoewel de Full-Log Correlator een hogere CSR-score had (1.0, omdat hij geen buffer heeft), was zijn detectieprestatie slecht. De Coreset Reader bood de beste balans tussen detectie en operationele kosten (door KV-cache hergebruik).

5. Betekenis en Conclusie

Het paper concludeert dat cross-sessie dreigingen een fundamenteel probleem zijn voor stateless AI-beveiliging. Het simpelweg vergroten van het contextvenster van LLMs is geen oplossing, omdat dit leidt tot signaaldilutie en hoge kosten.

Architecturale Shift: De oplossing ligt niet in betere prompts of grotere modellen, maar in een informatie-bottleneck (bounded memory) die actief de meest relevante cross-sessie fragmenten selecteert voordat ze de correlator bereiken.
Real-time Haalbaarheid: Door de introductie van de CSR_prefix-metriek, maken de auteurs cross-sessie detectie haalbaar voor real-time productieomgevingen, waarbij de kosten (KV-cache hergebruik) niet exponentieel oplopen.
Community Uitdaging: De auteurs roepen de gemeenschap op om grotere, multi-provider datasets te bouwen en geavanceerdere rankers te ontwikkelen die beter omgaan met adaptieve aanvallers, aangezien de huidige benchmark een eerste orde karakterisering is.

Kortom, CSTM-Bench bewijst dat voor het beveiligen van AI-agenten tegen geavanceerde, verspreide aanvallen, een slimme, beperkte geheugenbuffer superieur is aan het simpelweg samenvoegen van alle logs.