🤖 AI

SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems

Dit artikel introduceert SMSR, het eerste verdedigingsmechanisme dat gecertificeerde robuustheid biedt tegen Multi-Session Memory Poisoning (MSMP) in persistente LLM-agentsystemen door HMAC-gebaseerde herkomstverificatie te combineren met gerandomiseerde geheugenablatie en op oordeel gebaseerde meerderheidsstemming om zowel ongesigneerde als geauthenticeerde geheugeninjectieaanvallen effectief te neutraliseren.

Oorspronkelijke auteurs: Tarun Sharma

Gepubliceerd 2026-06-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tarun Sharma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Het "Vergiftigde Dagboek"

Stel je een slimme kantoorassistent voor (een AI-agent) die werknemers helpt door gesprekken uit het verleden, bedrijfsbeleid en feiten te onthouden. Het houdt een digitaal dagboek (geheugen) bij dat het elke keer dat er met iemand wordt gesproken, bijwerkt. Dit dagboek helpt de AI om toekomstige vragen nauwkeuriger te beantwoorden.

De Aanval:
Een kwaadwillende (hacker) hoeft niet in de hersenen van de AI in te breken of de code te herschrijven. In plaats daarvan praat de hacker gewoon normaal tegen de AI, maar laat hij nep, zorgvuldig geformuleerde leugens in het gesprek sluipen. De AI denkt dat dit een normale update is en schrijft deze leugens in zijn dagboek.

Later, wanneer een andere werknemer een vraag stelt, leest de AI zijn dagboek, vindt de nepleugen en gelooft dat deze waar is. De AI geeft dan het verkeerde antwoord aan de nieuwe werknemer. Dit wordt "Memory Poisoning" (geheugenvergiftiging) genoemd.

Bestaande verdedigingsmechanismen zijn als een beveiligingsbeambte die alleen de inhoud van wat je zegt controleert. Maar een slimme leugenaar kan zijn nepnieuws zo formuleren dat het volkomen normaal klinkt, waardoor de beambte wordt misleid. Het paper stelt dat zonder een manier om te verifiëren wie de vermelding heeft geschreven, je nooit 100% zeker kunt zijn of het dagboek veilig is.

De Oplossing: SMSR (Signed Memory with Smoothed Retrieval)

De auteurs stellen een tweeledig verdedigingssysteem voor genaamd SMSR. Zie dit als een combinatie van een Veilig Stempel en een Gerandomiseerde Jury.

Deel 1: Het Veilige Stempel (HMAC Provenance)

De Analogie: Stel je voor dat elke pagina die de AI in zijn dagboek schrijft, voorzien moet worden van een speciale, onvervalsbare waszegel (een cryptografische handtekening) door een vertrouwde manager voordat deze wordt opgeslagen.
Hoe het werkt:
- Als een hacker probeert een nepgeheugen te injecteren door rechtstreeks de database te hacken (zonder via de normale chat te gaan), kan hij de zegel niet vervalsen. Het systeem ziet de ontbrekende zegel en gooit die geheugenvermelding onmiddellijk weg.
- Resultaat: Dit stopt 100% van de "ongestempelde" aanvallen (hackers die proberen zonder toestemming gegevens naar binnen te smokkelen).

Deel 2: De Gerandomiseerde Jury (Smoothed Retrieval)

Het Probleen: Wat als de hacker een legitieme werknemer is? Hij heeft een geldig stempel, dus Deel 1 laat zijn nepgeheugen toe.
De Analogie: Stel je voor dat de AI een vraag moet beantwoorden. In plaats van het volledige dagboek te lezen (dat misschien vol staat met leugens), speelt hij een spel van kans en geluk:
1. Het haalt een enorme stapel relevante pagina's op (bijv. 20 pagina's).
2. Het kiest willekeurig een klein handjevol (bijv. 5 pagina's) om te lezen.
3. Het herhaalt dit proces 5 keer, waardoor er 5 verschillende "mini-verhalen" ontstaan.
4. Het vraat een "Rechter" (een andere AI) om elk verhaal te controleren: "Vertelt dit verhaal de waarheid of een leugen?"
5. Het neemt een meerderheidsstemming. Als 3 van de 5 verhalen zeggen: "Dit is een leugen," negeert het systeem de leugen.
Waarom het werkt: Zelfs als de hacker een leugen heeft geplant, kan hij niet garanderen dat die leugen in elke willekeurige handvol pagina's voorkomt. Als de leugen slechts in 1 of 2 van de 5 willekeurige steekproeven voorkomt, wint de eerlijke meerderheid.
Het "Gecertificeerde" Deel: De auteurs hebben de wiskunde berekend om precies te bewijzen hoe waarschijnlijk het is dat het systeem faalt. Ze kunnen zeggen: "We garanderen wiskundig dat de kans dat de AI een fout antwoord geeft minder dan 10,4% is." Dit is een "beveiligingscertificaat."

Belangrijke Concepten Vereenvoudigd

1. De "Consistent Minority" Valstrik

De Valstrik: Als je een groep mensen een vraag stelt, en 3 mensen geven verschillende, licht variërende "Ik weet het niet"-antwoorden, maar 2 mensen geven exact hetzelfde nepantwoord, dan kan een simpele stemming het nepantwoord kiezen omdat het de meest voorkomende letterlijke tekst is.
De Oplossing: SMSR stemt niet op de woorden; het stemt op het oordeel. De Rechter-AI kijkt naar de betekenis. Zelfs als de nepantwoorden anders zijn geformuleerd, ziet de Rechter dat ze allemaal "Kwaadwillend" zijn. De eerlijke "Ik weet het niet"-antwoorden zijn allemaal "Veilig". De stemming telt het veiligheidsoordeel, niet de specifieke woorden, zodat het nepantwoord verliest.

2. De Kosten

Om dit hoge niveau van beveiliging te krijgen, moet het systeem harder werken. In plaats van de AI één vraag te stellen en één antwoord te krijgen, vraagt het de AI 5 keer (met verschillende willekeurige herinneringen) en vraagt het de Rechter 5 keer om de antwoorden te controleren.
De Afweging: Het kost ongeveer 10 keer meer rekenkracht (en een klein beetje meer geld), maar het voorkomt dat de AI wordt gefopt door leugens. Het paper stelt dat dit de moeite waard is voor belangrijke zakelijke beslissingen.

Wat het Paper Eigenlijk Heeft Gevonden (De Resultaten)

De auteurs hebben dit getest op 15 verschillende zakelijke scenario's (zoals het controleren van onkostenbeleid of veiligheidsregels).

Het stoppen van de Hackers: Wanneer hackers probeerden nepgegevens te injecteren zonder een geldig stempel, stopte het systeem hen 100% van de tijd.
Het stoppen van de Sluwe Werknemers: Wanneer een legitieme gebruiker (die een geldig stempel heeft) probeerde een leugen te injecteren, verminderde het systeem het succespercentage van de aanval van bijna 100% naar ongeveer 8% in een grote, realistische test.
De Wiskunde Klopt: Het werkelijke foutpercentage (8%) was lager dan de wiskundige voorspelling voor het "worst-case scenario" (10,4%), wat bewijst dat het beveiligingscertificaat werkt.
Real-World Test: Zelfs toen de hacker de AI erin slaagde om de AI de vergiftiging zelf te laten schrijven (door een lastige vraag te stellen waardoor de AI de leugen in zijn eigen dagboek schreef), werkte de verdediging nog steeds en verlaagde het succespercentage van 65% naar 5%.

Samenvatting

Het paper introduceert een systeem dat werkt als een genoteerd dagboek gecombineerd met een gerandomiseerde jury. Het bewijst wiskundig dat je niet alleen slechte woorden kunt filteren; je moet ook verifiëren wie de herinnering heeft geschreven en willekeur gebruiken om de slechte herinneringen te verdunnen. Dit zorgt ervoor dat zelfs als een slimme hacker binnenkomt, hij de AI niet gemakkelijk kan misleiden om gevaarlijk advies te geven.

Technische Samenvatting: SMSR – Gecertificeerde Defensie tegen Runtime Memory Poisoning in Persistente LLM Agent Systemen

1. Probleemstelling: Multi-Session Memory Poisoning (MSMP)

Retrieval-Augmented Generation (RAG) agenten in enterprise-omgevingen vertrouwen steeds vaker op persistente geheugenopslag die interacties over gebruikerssessies heen accumuleert. Deze persistentie creëert een nieuw aanvalsoppervlak: een tegenstander (optredend als werknemer, klant of gecompromitteerde tool) kan zorgvuldig geconstrueerde herinneringen injecteren die onbepaald blijven bestaan. Eenmaal opgehaald, leiden deze vergiftigde vermeldingen de acties van de agent bij toekomstige queries zonder de modelgewichten of applicatiecode te wijzigen.

Het paper identificeert de Multi-Session Memory Poisoning (MSMP) dreiging, waarbij een tegenstander herinneringen injecteert die semantisch overeenkomen met toekomstige gebruikersqueries, wat de agent ertoe brengt kwaadwillige of onjuiste antwoorden te genereren. Bestaande defensies zijn ontoereikend:

Statische corpus-defensies (bijv. RobustRAG, ReliabilityRAG) gaan uit van een vaste kennisbank die offline wordt geïndexeerd en falen wanneer de tegenstander tijdens runtime data injecteert via het normale write-pad van de agent.
Heuristische filters (bijv. keyword blacklists, entropiechecks, semantische anomaliedetectie) zijn te omzeilen door vloeiende, enterprise-stijl tekst die legitieme beleidswijzigingen nabootst.
Consensus-gebaseerde heuristieken (bijv. A-MemGuard) missen formele veiligheidsgaranties en kunnen worden verslagen door persistente tegenstanders die hun injectiestrategieën aanpassen.

Cruciaal is dat geen enkele bestaande defensie een formeel veiligheidscertificaat (een wiskundige grens op de succesrate van aanvallen) biedt tegen adaptieve runtime memory poisoning.

2. Methodologie: Signed Memory with Smoothed Retrieval (SMSR)

De auteurs stellen SMSR voor, een tweeledig defensiemechanisme ontworpen om een gecertificeerde robuustheidsgrens te bieden tegen MSMP.

Component 1: HMAC Provenance Tagging (Write-Time Boundary)

Om ongesigneerde tegenstanders (zij met directe database-toegang maar zonder authenticatiegegevens) aan te pakken, implementeert SMSR een cryptografische grens op het moment van schrijven.

Mechanisme: Elke legitieme geheugenvermelding wordt getagd met een HMAC-SHA256 handtekening met behulp van een server-side geheime sleutel ( $K$ ).
Retrieval: Tijdens de query-fase verifieert het systeem de HMAC-tag van de opgehaalde vermeldingen. Alleen vermeldingen met geldige tags worden toegelaten tot de kandidaat-pool.
Beveiliging: Onder standaard HMAC-aannames kan een ongesigneerde tegenstander geen geldige tag vervalsen, waardoor de succesrate van aanvallen (Attack Success Rate, ASR) voor ongesigneerde injecties effectief naar 0% wordt teruggebracht.

Component 2: Randomised Memory Ablation with Verdict-Based Aggregation (Authenticated Adversaries)

Om geauthenticeerde tegenstanders (legitieme gebruikers die gesigneerde herinneringen kunnen schrijven) aan te pakken, gebruikt SMSR een gerandomiseerde defensie die lijkt op smoothed classification.

Over-fetching: Voor een query haalt het systeem een grote pool van $m$ geverifieerde kandidaten op ( $m > k$ , waarbij $k$ de standaard contextgrootte is).
Randomised Ablation: Het systeem voert $n_{runs}$ onafhankelijke trials uit. In elke trial worden $k$ vermeldingen uniform willekeurig (zonder teruglegging) uit de $m$ kandidaten gesampled.
Verdict-Based Aggregation: Een LLM-judge evalueert het gegenereerde antwoord in elke trial en geeft een oordeel (bijv. correct, kwaadwillig, geen van beide). De uiteindelijke output wordt bepaald door een meerderheidsstemming van de oordelen, niet door de tekstuele strings zelf.
Theoretische Basis: Deze aanpak steunt op een hypergeometrische verdeling om de waarschijnlijkheid te begrenzen dat een meerderheid van de gesamplede contexten kwaadwillige vermeldingen bevat.

Theoretische Bijdragen

Onmogelijkheidstheorema (Theorem 1): De auteurs bewijzen dat geen enkele deterministische, provenance-vrije filter die uitsluitend tijdens de retrieval-fase opereert, een niet-triviaal veiligheidscertificaat kan bereiken tegen een adaptieve tegenstander. Dit noodzaakt de write-time provenance van Component 1.
Gecertificeerde Robuustheidsgrens (Theorem 2): Een formeel hypergeometrisch certificaat wordt afgeleid voor Component 2, wat de maximale waarschijnlijkheid ( $\delta$ ) definieert van een kwaadwillige output gegeven $t$ kwaadwillige vermeldingen in een pool van grootte $m$ .
Consistent Minority Effect (CME): Het paper formaliseert een valkuil waarbij string-gebaseerde meerderheidsstemming faalt omdat kwaadwillige antwoorden tekstueel consistent zijn terwijl legitieme antwoorden variëren (parafraas-variatie). SMSR mitigeert dit door verdict-gebaseerde aggregatie, wat semantische correctheid telt in plaats van string-gelijkheid.

3. Belangrijkste Bijdragen

Formele Definities: Introductie van het MSMP-dreigingsmodel en het eerste $(t, \delta)$ -beveiligingsdefinitie voor runtime agent memory systemen.
Onmogelijkheidsproef: Demonstratie dat provenance-vrije defensies niet gecertificeerd kunnen worden tegen adaptieve injectie.
SMSR Constructie: Een praktische defensie die HMAC provenance combineert met randomized ablation met een formeel certificaat.
CME Karakterisering: Formalisering en kwantificering van de Consistent Minority Effect, waarbij wordt aangetoond dat verdict-gebaseerde aggregatie vereist is om CME te neutraliseren.
Empirische Validatie: Uitgebreide evaluatie over 15 enterprise scenario's en 3.150 herhaalde trials.

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op 15 enterprise kennisbank-scenario's (finance, compliance, IT, HR) met een 20-seed geheugenopslag voor productie-schaal testen en een 10+ seed opslag voor kleinschalige evaluatie.

Ongesigneerde Aanvallen (Component 1): SMSR reduceerde de Attack Success Rate (ASR) van 93–100% (in onverdederde baselines) naar 0% voor alle ongesigneerde injectie-varianten, inclusief "bypass" aanvallen die zijn ontworpen om heuristische filters te omzeilen.
Geauthenticeerde Aanvallen (Component 2):
- Productie-schaal ( $m=20, t=1$ ): SMSR reduceerde ASR van 93–100% naar 8.0% (95% CI [5.8%, 10.9%]). Dit resultaat ligt veilig onder de theoretische worst-case grens van $\delta = 10.4\%$ (bij $n_{runs}=5$ ).
- Kleinschalig ( $m'=11, t=1$ ): ASR was 37.8% (95% CI [33.4%, 42.3%]), wat onder de certificaatgrens van $\delta = 41.5\%$ ligt.
- Flooding Varianten: In flooding scenario's (meerdere geparafraseerde injecties) benaderde de ASR de theoretische grens, wat de nauwkeurigheid van het certificaat bevestigt.
Vergelijking met Heuristieken: Hoewel een A-MemGuard-stijl consensus baseline een vergelijkbare empirische ASR bereikte (3.8% vs. 8.0% in een specifieke 20-seed test), bood het geen formeel certificaat. Het onderscheid van SMSR is de levering van een wiskundige garantie.
End-to-End Validatie: In een query-only aanval waarbij de agent zelf de vergiftiging schreef (mimicry van de MINJA aanvalsvector), reduceerde SMSR de ASR van 65.3% naar 5.3%.
Utility: Component 1 behield 90% utility op schone queries. De gecombineerde defensie (Componenten 1 & 2) behield 85% utility, wat een kost van 5% vertegenwoordigt voor de veiligheidsgarantie.
Judge Betrouwbaarheid: De inter-judge overeenkomst tussen Haiku en Sonnet modellen was hoog ( $\kappa = 0.955$ ), wat de betrouwbaarheid van de verdict-aggregatie bevestigt.

5. Betekenis en Claims

Het paper claimt de eerste formeel gecertificeerde defensie te presenteren tegen runtime memory poisoning in persistente LLM agent systemen. De betekenis ligt in:

Verder gaan dan heuristieken: In tegenstelling tot eerder werk dat vertrouwt op empirische observatie of statische aannames, biedt SMSR een wiskundige garantie ( $\delta$ ) op de waarschijnlijkheid van een succesvolle aanval.
Adresseren van de dynamische aard van geheugen: Het richt zich specifief op de "live append-only" natuur van agent-geheugen, een setting waarin statische corpus-defensies falen.
Bewijzen van de noodzaak van provenance: Het onmogelijkheidstheorema stelt vast dat zonder write-time cryptografische attestatie, geen retrieval-time filter gecertificeerd kan worden.
Praktische Inzetbaarheid: Het systeem is ontworpen als een drop-in wrapper voor bestaande RAG-architecturen, waarbij geen wijzigingen nodig zijn in de onderliggende LLM of embedding modellen, met een beheersbare computationele overhead (ongeveer 10 API-calls per query voor $n_{runs}=5$ ).

De auteurs concluderen dat SMSR de MSMP-dreiging effectief mitigeert voor gebonden tegenstanders, en daarmee een fundamentele stap zet naar een uitgebreide security stack voor LLM-applicaties (specifiek gericht op OWASP LLM08 poisoning sub-problemen).