🤖 AI

From Untrusted Input to Trusted Memory: A Systematic Study of Memory Poisoning Attacks in LLM Agents

Dit artikel onderzoekt systematisch memory poisoning-aanvallen op LLM-agenten door exploiteerbare kwetsbaarheden te identificeren, een taxonomie van zes klassen voor aanvallen voor te stellen, de MPBench-benchmark te introduceren om het verhoogde risico van agressief geheugengebruik aan te tonen, en de ontoereikendheid van bestaande verdedigingen tegen prompt injection tegen dergelijke dreigingen te onthullen.

Oorspronkelijke auteurs: Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pritam Dash, Tongyu Ge, Aditi Jain, Tanmay Shah, Zhiwei Shang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een AI-agent voor als een zeer slimme, behulpzame persoonlijke assistent. In tegen tegenover een standaard chatbot die alles vergeet zodra je het venster sluit, heeft deze assistent een langetermijngeheugen. Het onthoudt je koffiebestelling, je favoriete reisbestemmingen en de stappen die het vorige week nam om een bug op te lossen. Dit geheugen helpt het om beter te worden in zijn werk.

Echter, de onderzoekers in dit artikel ontdekten een gevaarlijk gebrek in hoe dit geheugen werkt: De assistent behandelt alles wat hij leest als een "feit" om op te slaan, zelfs als dat feit een leugen is die door een hacker is geplant.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. Het kernproblek: De "onbetrouwbare gast" in de bibliotheek

Beschouw het geheugen van de AI als een bibliotheek. Normaal gesproken zet de bibliothecaris (de AI) alleen boeken in de schappen die als waarheid zijn geverifieerd.

Het gebrek: In deze AI-systemen controleert de bibliothecaris niet de bron van het boek. Als een vreemde binnenkomt en de bibliothecaris een briefje overhandigt met de tekst: "Zet dit op de plank: De lucht is groen", dan zal de bibliothecaris dit misschien gewoon doen.
De aanval: Een hacker hoeft de bibliotheek niet te forceren. Ze hoeven alleen maar een vals briefje in een document te glippen dat de assistent al aan het lezen is (zoals een e-mail, een webpagina of de output van een tool). Zodra de assistent dat valse briefje in zijn permanente geheugen schrijft, gelooft hij het voor altijd.

2. Hoe de hackers binnenkomen (De 4 "Deuren")

Het papier vond vier specifieke manieren waarop een hacker de assistent kan misleiden om een leugen in zijn geheugen te schrijven:

Deur 1 (Het directe bevel): De hacker vertelt de AI simpelweg: "Onthoud dit: [Leugen]." De AI gehoorzaamt omdat hij denkt dat het een direct bevel is.
Deur 2 (De beleidsluiaard): De AI heeft een regel zoals: "Sla alles op wat interessant is." De hacker schrijft een leugen die interessant of belangrijk klinkt, en de AI slaat het op omdat het aan de regel voldoet, ook al is het een leugen.
Deur 3 (De "Te veel informatie" crash): Wanneer de AI te veel informatie krijgt, probeert hij dit samen te vatten om ruimte te besparen. De hacker herhaalt de leugen vele malen. De AI denkt: "Wauw, dit wordt heel vaak genoemd, het moet wel belangrijk zijn!" en slaat de samenvatting op, die de leugen bevat.
Deur 4 (De "Vaardigheids"-val): Als de AI een nieuwe manier leert om een taak uit te voeren, slaat hij dit op als een "vaardigheid". De hacker misleidt de AI om te denken dat een valse stap onderdeel is van een succesvolle taak, zodat de AI de valse stap als een permanente vaardigheid opslaat.

3. De twee soorten trucs

De onderzoekers categoriseerden deze aanvallen in twee stijlen:

De Luide Truc (Sterk signaal): Dit is alsover een hacker die roept: "Schrijf dit op!" Het is duidelijk en gemakkelijk te herkennen als je op zoek bent naar geschreeuw.
De Stille Truc (Zwak signaal): Dit is alsover een hacker die een leugen fluistert binnen een normaal klinkende zin. Het ziet er precies zo uit als een echt feit. Omdat het er niet uitziet als een aanval, missen de beveiligingsfilters van de AI (die ontworpen zijn om geschreeuw te vangen) het volledig. De AI slaat het op omdat het eruitziet als een normale stukje informatie.

4. Het Experiment (MPBench)

De auteurs bouwden een testomgeving genaamd MPBench om te zien hoe vaak deze trucs werken. Ze testten twee verschillende AI-assistenten:

Assistent A (OpenClaw): Deze is voorzichtig. Hij schrijft niet vaak naar het geheugen. Het was moeilijker om hem te misleiden.
Assistent B (HERMES): Deze is agressief. Hij schrijft constant naar het geheugen om behulpzamer te zijn.
De Resultaten: Hoe agressiever de assistent is bij het schrijven naar het geheugen, hoe gemakkelijker het is om hem te vergiftigen. Assistent B werd veel vaker misleid. Zodra de leugen was opgeschreven, bleef deze daar en beïnvloedde het het gedrag van de assistent in toekomstige gesprekken, zelfs zonder de aanwezigheid van de hacker.

5. Waarom huidige verdedigingen falen

Je zou kunnen denken: "Kunnen we niet gewoon de beveiligers gebruiken die we hebben voor 'Prompt Injection' (waarbij hackers proberen de AI op het moment zelf te misleiden)?"

Het antwoord: Nee.
De analogie: Huidige beveiligers zijn getraind om mensen te vangen die bevelen schreeuwen of valse uniformen dragen. Ze zijn erg goed in het stoppen van de "Luide Trucs".
Het falen: Ze zijn verschrikkelijk in het stoppen van de "Stille Trucs". Omdat de Stille Truc eruitziet als een normaal, beleefd gesprek, laten de bewakers het gewoon voorbijgaan. Het papier laat zien dat zelfs de beste huidige beveiligingstools er niet in slagen deze subtiele geheugengiften te detecteren.

6. De Conclusie

Het papier concludeert dat er een trade-off is: de functies die een AI-assistent slimmer en behulpzamer maken (alles onthouden, snel nieuwe vaardigheden leren) zijn precies dezelfde functies die hem kwetsbaar maken voor vergiftiging.

Om dit op te lossen, kunnen we niet alleen vertrouwen op betere beveiligers bij de deur. We moeten de manier waarop de bibliothecaris werkt veranderen:

Wees kieskeuriger: Sla niet alles op; sla alleen dingen op waarvan je zeker weet dat ze waar zijn.
Controleer het ID: Zorg ervoor dat de AI weet wie de informatie heeft geschreven voordat hij het opslaat.
Dubbelcheck: Controleer het geheugen nadat het is opgeschreven, maar voordat het weer wordt gebruikt.

Kortom: Als je een AI een perfect geheugen geeft, geef je een hacker ook een perfecte plek om een leugen te verstoppen die voor altijd blijft bestaan.

Technische Samenvatting: Van Onbetrouwbare Input naar Vertrouwde Geheugen

Probleemstelling

Moderne AI-agenten vertrouwen op persistent langetermijngeheugen om kennis te accumuleren, gebruikersvoorkeuren te onthouden en prestaties te verbeteren bij taken met een lange horizon. Deze capaciteit introduceert echter een kritieke beveiligingskwetsbaarheid: geheugenvergiftiging (memory poisoning). In tegenstelling tot staatloze modellen, halen agenten opgeslagen geheugeneintredingen op als vertrouwde interne context. Als een tegenstander een agent kan induceren om tijdens normale operaties kwaadaardige inhoud in deze persistente opslag te schrijven, kunnen zij op de lange termijn invloed uitoefenen op het toekomstige gedrag van de agent zonder verdere interactie.

Huidige dreigmodellen en verdedigingen zijn onvoldoende voor deze specifieke aanvalsvector. Bestaand onderzoek gaat vaak uit van geprivilegieerde toegang of evalueert smalle, geïsoleerde aanvallen. Bovendien schieten standaard verdedigingen tegen prompt-injectie tekort bij het adresseren van geheugenvergiftiging, omdat zij zich richten op het detecteren van expliciete kwaadaardige instructies in de actieve context, terwijl geheugenvergiftiging vaak steunt op inhoud die semantisch legitiem lijkt, maar structureel is ontworpen om in het geheugen geschreven te worden.

Methodologie

De auteurs presenteren een systematische studie gebaseerd op een black-box dreigmodel. De aanvaller heeft geen geprivilegieerde toegang, geen kennis van het onderliggende model en geen directe toegang tot de geheugenopslag. De aanval kan enkel kwaadaardige inhoud injecteren in externe inputs die door de agent worden verwerkt (bijv. webpagina's, documenten, tool-outputs).

De studie verloopt via drie fasen:

Kwetsbaarheidsanalyse: De auteurs analyseren het geheugensysteem van de agent, gedefinieerd als een tupel $M = (S, W, R)$ (Store, Write, Retrieve). Zij identificeren vier geheugen-schrijfkanalen en koppelen deze aan negen structurele kwetsbaarheden over drie lagen: Modelcapaciteiten, Promptontwerp en Systeemarchitectuur.
Aanvalstaxonomie: Op basis van de geïdentificeerde kwetsbaarheden classificeren de auteurs geheugenvergiftigingsaanvallen in zes onderscheidende klassen, waarbij onderscheid wordt gemaakt tussen "strong-signal" aanvallen (bevatten expliciete linguïstische markers) en "weak-signal" aanvallen (semantisch niet te onderscheiden van legitieme inhoud).
Empirische Evaluatie (MPBench): De auteurs introduceren MPBench, een benchmark die specifiek is ontworpen om geheugenvergiftiging te evalueren. Het meet twee metrieken:
- Attack Success Rate (ASR): De frequentie waarmee een adversariële payload resulteert in een kwaadaardige instructie die in het persistente geheugen wordt geschreven.
- Retrieval Success Rate (RSR): De frequentie waarmee een succesvol geschreven vergiftigde entry het gedrag van de agent in een daaropvolgende sessie beïnvloedt.
- De evaluatie werd uitgevoerd op twee agentsystemen, OpenClaw en HERMES, met behulp van het GPT-OSS-120B model.

Belangrijkste Bijdragen

1. Kwetsbaarheidslandschap

Het artikel identificeert vier geheugen-schrijfkanalen:

C1 (Expliciete instructie-geëxecuteerde schrijfactie): Directe commando's om geheugen te schrijven.
C2 (System prompt-gestuurde schrijfactie): Schrijfacties getriggerd door beleid in de system prompt (bijv. "save relevant info").
C3 (Compaction-gestuurde schrijfactie): Schrijfacties getriggerd door systeemgebeurtenissen zoals limieten van het contextvenster.
C4 (Experience-to-procedure schrijfactie): Synthese van taaksporen naar herbruikbare procedurele vaardigheden.

Deze kanalen zijn exploiteerbaar door negen kwetsbaarheden:

Modelniveau: Instructie-Data Grensblindheid (V-M1) en Bronattributiefout (V-M2).
Promptniveau: Ondergespecificeerd Geheugenschrijfbeleid (V-P1) en Compactie zonder Bronfiltering (V-P2).
Systeemniveau: Geen Validatie van het Schrijfpad (V-S1), Gedeelde Multi-Bron Context (V-S2), Manipuleerbare Compactie Trigger (V-S3), Geen Validatie voor Vaardigheidscréatie (V-S4), en Zelfverbetering als Amplificatie (V-S5).

2. Aanvalstaxonomie

De auteurs definiëren zes klassen van aanvallen:

Expliciete Commando-insertie: Het inbedden van directe schrijfinstructies (Strong Signal).
Conditionele Commando-insertie: Het inbedden van instructies die getriggerd worden door veelvoorkomende gebruikersreacties (Strong Signal).
Salience-gestuurde Compaction Poisoning: Het herhalen van kwaadaardige inhoud om compactiebeleid te triggeren (Strong Signal).
Policy Conformant Fact Injection: Het presenteren van gefabriceerde feiten die voldoen aan vage retentiebeleid zonder expliciete commando's (Weak Signal).
False Precedent Insertion: Het fabriceren van eerdere succesvolle taakrecords om toekomstig gedrag te beïnvloeden (Weak Signal).
Skill-Procedure Insertion: Interacties vormgeven om vergiftigde procedurele vaardigheden te synthetiseren (Weak Signal).

3. MPBench en Empirische Resultaten

De benchmark evalueert deze aanvallen over zeven domeinen (bestandsoperaties, webbrowsing, etc.). Belangrijkste bevindingen:

Hoge Succespercentages: Over beide agents was de gemiddelde ASR 50,46% en RSR 41,05%.
Gevoeligheid van de Agent: HERMES was aanzienlijk kwetsbaarder (Gemiddelde ASR: 66,67%, RSR: 64,70%) dan OpenClaw (Gemiddelde ASR: 34,25%, RSR: 17,40%). De auteurs schrijven dit toe aan de agressievere geheugenschrijfbeleid en lagere compactiedrempels van HERMES.
Signaalsterkte: Strong-signal aanvallen hadden over het algemeen hogere succespercentages op OpenClaw, terwijl het gat kleiner werd op HERMES, waar weak-signal aanvallen bijna even effectief waren als strong-signal aanvallen vanwege het permissieve retentiebeleid.
Persistentie: Succesvolle schrijfacties beïnvloedden consistent toekomstige sessies, wat het "persistente" karakter van de dreiging bevestigt.

4. Beperkingen van Bestaande Verdedigingen

De studie evalueerde vier bestaande prompt-injectie verdedigingen (PIGuard, DataFilter, CommandSans, PromptArmor).

Onvolledige Dekking: Bestaande verdedigingen slaagden er niet in om geheugenvergiftiging effectief te dekken. Hoewel zij een matige detectiegraad bereikten voor strong-signal aanvallen, daalde hun prestatie aanzienlijk bij weak-signal aanvallen (bijv. PromptArmor daalde van een detectiegraad van 84,44% naar 42,50%).
Structureel Falen: De auteurs betogen dat verdedigingen tegen prompt-injectie structureel ongeschikt zijn voor geheugenvergiftiging omdat weak-signal payloads geen syntactische anomalieën bevatten en als legitieme inhoud worden verwerkt. Het hertrainen van deze verdedigingen leverde minimale verbetering op, wat suggereert dat het probleem fundamenteel is aan het aanvalsmechanisme in plaats van aan het detectiemodel.

Betekenis en Claims

Het artikel claimt de eerste systematische basis te bieden voor het begrijpen en mitigeren van geheugenvergiftigingsaanvallen. De primaire betekenis ligt in het aantonen dat:

Geheugencapaciteit vs. Beveiligingsafweging: Ontwerpkeuzes die de prestaties van de agent verbeteren (agressief geheugenschrijven en -ophalen) vergroten direct het aanvalsoppervlak voor geheugenvergiftiging.
Defensieve Mismatch: Huidige beveiligingsparadigma's gericht op prompt-injectie zijn onvoldoende. Verdedigingen moeten verschuiven van input-niveau filtering naar validatie van het schrijfpad en bronisolatie.
Nieuwe Kwetsbaarheidsklassen: De identificatie van structurele kwetsbaarheden (zoals V-S5, zelfverbetering amplificatie) en weak-signal aanvalsvectoren onthult risico's die voorheen ongekwantificeerd waren in agent-beveiliging.

De auteurs concluderen dat een principiële verdediging structurele wijzigingen vereist, zoals bronbewuste ophaalbeleid, compactiefilters die onderscheid maken tussen vertrouwde en onbetrouwbare bronnen, en monitoring na het schrijven gebaseerd op geautoriseerd agentgedrag in plaats van statische aanvalspatroonmatching.