Technische Samenvatting: Forensische Traject-signaturen voor Detectie van Agent Geheugenvergiftiging

Probleemstelling

Het artikel behandelt de uitdaging van het detecteren van persistente geheugenvergiftigingsaanvallen (memory poisoning attacks) in Large Language Model (LLM) agents. In tegenstelling tot klassieke Endpoint Detection and Response (EDR), die processporen analyseert, ontbreekt het bij de beveiliging van LLM-agents aan gevestigde methodologieën voor het identificeren van specifieke aanvals-kanalen met behulp van uitsluitend observeerbare logs. Bestaande verdedigingen vereisen vaak toegang tot geheugenopslag (bijv. MemLineage), witte-doos model-internals (bijv. activatie-analyse), of pre-injectie retrieval-lagen (bijv. RAG Sanitizer), wat een infrastructuur vereist die veel operators niet kunnen voldoen.

De specifieke dreiging die wordt gemodelleerd is een Delayed-Trigger Attack (DTA): een aanvaller injecteert een kwaadaardige instructie via een RAG-geëxtraheerd document, die de agent in het persistente geheugen opslaat. In een volgende sessie haalt de agent deze opgeslagen regel op en voert een kwaadaardige actie uit (bijv. e-mail exfiltratie). De beperking van de detector is strikt: deze observeert uitsluitend de reeks tool-calls en tijdstempels, zonder toegang tot de inhoud van het geheugen, modelgewichten of gebruikersberichten.

Methodologie

Dreigingsmodel & Aannames

De studie gaat uit van een architectuur waarbij persistent geheugen uitsluitend wordt geraadpleegd via observeerbare retrieval-operaties (tool calls). De routeringsinformatie van de aanvaller wordt opgeslagen als een waarde in het geheugen, wat een specifieke recall fact tool call vereist om het bestemmingsadres op te halen voordat een send email tool kan worden uitgevoerd. Dit staat in contrast met prompt-injectie aanvallen waarbij de regel direct in de gebruikersprompt is ingebed.

Dataset

De evaluatie maakt gebruik van 2.520 gelabelde runs uit een factorieel experiment dat het volgende beslaat:

• 9 Modellen: Variërend van 7B tot 120B parameters (Qwen, GLM, GPT-OSS families).
• 7 Verdedigingscondities: Inclusief Minimizer, Sanitizer, RAG Sanitizer, Prompt Hardening en Memory Sandbox.
• Labels: 1.919 succesvolle aanvallen (exfiltratie vond plaats) en 601 niet-exfiltratie sessies (vergiftigd maar verdedigd). De classifier onderscheidt tussen succesvolle en onsuccesvolle uitvoering van aanvallen binnen de DTA-arm.

Feature Engineering

Features worden uitsluitend geëxtraheerd uit de trigger sessie (S4) om label leakage te voorkomen. De studie definieert 19 traject-features gebaseerd op tool-call ordening en frequenties:

• Counts: Ruwe aanroepfrequenties (bijv. recall count, send count).
• Structureel: Binaire indicatoren zoals recall before send (vond er een recall plaats vóór de eerste send?) en send without recall.
• Transities: Bigram counts van opeenvolgende tool calls (bijv. list dan recall, draft dan send).
• Entry Points: De identiteit van de eerste tool die in de sessie werd aangeroepen.

Classificatie & Evaluatie

Drie classifiers (Logistische Regressie, Random Forest, Gradient Boosted Trees) werden getraind met behulp van gestratificeerde 5-fold cross-validatie. De primaire metriek is Recall (het minimaliseren van fout-negatieven/niet-gedetecteerde aanvallen), met AUC-ROC als secundaire metriek. Evaluatie omvat leave-one-model-out hold-out tests en frontier model probes (GPT-4.1).

Belangrijkste Bevindingen en Resultaten

1. Ontdekking van een Behaviorale Invariant

De kernbevinding is een mechanistisch afgedwongen behaviorale invariant: succesvolle geheugen-kanaal vergiftigingsaanvallen moeten een recall fact call vertonen vóór de send email call. Dit is geen statistische correlatie maar een structurele noodzaak; zonder het opgeslagen routeringsadres op te halen, kan de agent de exfiltratie niet voltooien.

• Prestaties van een Simpele Regel: Een detector gebaseerd op de recall before send transitie bereikt een AUC = 0.9563.
• Mechanistische Robuustheid: Het onderdrukken van deze transitie breekt de aanval, aangezien de agent de bestemmingsgegevens niet kan ophalen.

2. Overgedetermineerde Signatuur

De aanval laat een gedistribueerde signatuur achter over meerdere onafhankelijke behaviorale kanalen, niet alleen de enkele recall-event.

• Prestaties van de Volledige Classifier: Een Random Forest die alle 19 features gebruikt, bereikt een AUC = 0.9904 (BCa 95% CI [0.987, 0.993]) met een Recall van 0.9838.
• Ablatie-studie: Het verwijderen van alle recall-gerelateerde features (9 features) laat de AUC ongewijzigd op 0.9904. Dit bevestigt dat de signatuur overgedetermineerd is; de informatie-retrieval afhankelijkheid van de aanval triggert een cascade van downstream behaviorale veranderingen (bijv. draft counts, send counts, transitiepatronen) die zelfs zonder expliciete recall-features detecteerbaar zijn.

3. Cross-Model Generalisatie

De invariant generaliseert over modelfamilies en parameter-schalen (7B–120B):

• Hold-Out Validatie: Op 6 van de 9 hold-out modellen bereikte de classifier een AUC = 1.000.
• Uitzonderingen:
  • qwq:32b (AUC=0.000): Een "implicit-bypass" falen waarbij het model RAG-fallback gebruikt zonder recall fact aan te roepen, waardoor het geheugen-kanaal volledig wordt omzeild.
  • qwen2.5:14b (AUC=0.083): Een distributionele inversie waarbij niet-aanval sessies agressief recall aanroepen om benigne data te verifiëren, waardoor ze de aanvalssignatuur nabootsen (hoewel de Recall 1.000 blijft).
  • qwen3.5:122b (AUC=0.750): Label ambiguïteit door "sleeper" sessies waarbij het model de regel opslaat maar weigert deze uit te voeren.
• Frontier Modellen: De classifier, getraind op uitsluitend open-source modellen, behaalde een Recall = 1.000 op GPT-4.1 probes zonder hertraining.

4. Deployment Grenzen en Evasie

• Prefix-Only Detectie: Een strikt prefix-only classifier (werkend vóór de send event) bereikt een AUC = 0.934, wat suggereert dat real-time blokkering mogelijk is met gematigde degradatie.
• Evasie Grens: Prompt-injectie aanvallen (waarbij de regel in de prompt zit, niet in het geheugen) produceren een duidelijk ander traject met recall before send = 0. De detector wijst deze correct toe aan een lage score (gemiddeld 0.541), wat incident responders in staat stelt om tussen geheugen-vergiftigingsaanvallen en prompt-injectie aanvallen te onderscheiden op basis van tool-call logs alleen.
• Fout-negatieven: Alle 31 fout-negatieven kwamen voort uit de Memory Sandbox verdedigingsconditie (waar recall fact uit het tool schema is verwijderd) of de specifieke qwq:32b implicit-bypass architectuur.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage de empirische ontdekking van een stabiele, overgedetermineerde behaviorale invariant is in agent executie-trajecten, in plaats van de classifier-architectuur zelf.

• Forensisch Nut: De detector fungeert als een "State-Space IDS" voor geheugen-kanaal aanvallen, die uitsluitend tool-call logs vereist (een lagere drempel voor deployment dan inspectie van geheugen of model-internals).
• Kanaal Attributie: Het maakt het onderscheid mogelijk tussen geheugen-vergiftigingsaanvallen en prompt-injectie aanvallen op basis van uitsluitend operatie-logs.
• Structurele Robuustheid: De detectie rust op een feature (recall before send) die mechanistisch wordt afgedwongen door de informatie-retrieval afhankelijkheid van de aanval. Een aanvaller kan deze feature niet onderdrukken zonder ofwel de aanval te breken, of de aanvalsvector te veranderen naar prompt-injectie.
• Generaliseerbaarheid: De signatuur wordt overgedragen naar verschillende modelfamilies en parameter-schalen zonder hertraining, wat aangeeft dat het de aanvalsmechanisme reflecteert in plaats van specifieke modelgedragingen.

De auteurs positioneren dit werk als een forensische audit-tool die preventiemechanismen aanvult, waarbij hoge betrouwbaarheid biedt voor detectie en attributie in gevallen waar preventie-verdedigingen (zoals Memory Sandbox) falen of waar de aanval al heeft plaatsgevonden.