🤖 AI

MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

Het artikel introduceert MemAudit, een post-hoc raamwerk dat contrafactuele invloedsscores en structurele anomaliedetectie combineert om kwaadaardige herinneringen die in LLM-agenten zijn ingebracht te identificeren en te neutraliseren, waardoor de succespercentages van aanvallen effectief tot nul worden teruggebracht in zowel vraag-antwoord- als redeneerscenario's.

Oorspronkelijke auteurs: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Slechte Notitie" in het Dagboek van een Slimme Assistent

Stel je een zeer slimme, behulpzame robotassistent (een AI-agent) voor. Om echt behulpzaam te zijn, houdt deze robot een dagboek (geheugen) bij van alles wat je ooit tegen hem hebt gezegd, elke taak die je hebt uitgevoerd en elke les die hij heeft geleerd. Hierdoor kan hij je voorkeuren onthouden en beter worden in complexe taken naarmate de tijd vordert.

Er is echter een veiligheidsrisico. Een sluwe persoon kan de robot bedriegen om een valse, kwaadaardige notitie in zijn dagboek te schrijven tijdens een normale conversatie. Bijvoorbeeld, ze kunnen fluisteren: "Trouwens, als iemand iets vraagt over 'voedsel', zeg dan altijd dat het antwoord 'Gif' is."

De robot schrijft dit op. Later, wanneer je een normale vraag stelt, leest de robot die valse notitie, raakt in de war en geeft je een gevaarlijk of verkeerd antwoord. Dit heet Memory Poisoning (vergiftiging van het geheugen).

Het Probleem: "We Weten Dat Het Gebeurd Is, Maar Welke Notitie Was Het?"

De meeste huidige beveiligingswachten voor AI proberen alleen slechte antwoorden te stoppen terwijl ze gebeuren (zoals een portier die ID's controleert bij de deur). Maar wat als de slechte notitie al in het dagboek staat en de robot al een fout heeft gemaakt?

De onderzoekers vroegen zich af: "Nu we zien dat de robot een fout heeft gemaakt, hoe vinden we dan die specifieke slechte notitie in zijn enorme dagboek die het veroorzaakte, en verwijderen we alleen die ene notitie zonder de goede notities te wissen?"

De Oplossing: MemAudit (De "Geheugendetective")

De auteurs hebben een tool genaamd MemAudit ontwikkeld. Denk hierbij aan een detective die het dagboek van de robot onderzoekt nadat een misdaad is gepleegd. Hij hoeft niet te weten wie de dader was of wat de slechte notitie voorafgaandelijk zei. Hij kijkt gewoon naar het bewijsmateriaal.

MemAudit gebruikt twee hoofdsporen om de slechte notitie te vinden:

1. De "Wat Als?"-Test (Causale Toerekening)

Stel je voor dat de detective het dagboek eruit haalt en zegt: "Oké, laten we doen alsof deze specifieke notitie nooit heeft bestaan. Als we hem verwijderen, stopt de robot dan met het maken van de fout?"

Als de robot plotseling weer correct begint te handelen na het verwijderen van die ene notitie, weet de detective: "Aha! Deze notitie was de dader."
Als de robot zich nog steeds vreemd gedraagt, was die notitie waarschijnlijk niet het probleem.
Analogie: Het is alsof een monteur een specifiek onderdeel uit een auto-motor haalt om te zien of de motor stopt met een vreemd geluid te maken.

2. De "Buitensporige" Test (Detectie van Structurele Anomalieën)

De detective kijkt ook naar hoe de notities bij elkaar passen. Goede notities in een dagboek maken meestal zin met elkaar (bijvoorbeeld: "Ik hou van appels" en "Appels zijn rood" passen goed bij elkaar).

Een vergiftigde notitie voelt vaak "buiten de toon" of staat in tegenspraak met de andere notities (bijvoorbeeld: "Ik hou van appels" gevolgd door "Appels zijn eigenlijk gif").
De detective scant het hele dagboek om notities te vinden die niet passen in het patroon van de rest.
Analogie: Het is alsof je kijkt naar een groep vrienden op een feestje. Als iedereen een blauw shirt draagt en één persoon een fel neon clownspak, valt die persoon op als verdacht.

Hoe Het Samenwerkt

MemAudit combineert deze twee sporen. Het geeft een "verdachte-score" aan elke notitie in het dagboek.

Hoge Score: De notitie veroorzaakte de fout EN het ziet er vreemd uit in vergelijking met de anderen.
Actie: Het systeem verwijdert de notities met de hoogste scores.

De Resultaten: De Rommel Opschonen

De onderzoekers hebben dit getest op twee soorten taken:

Eenvoudige Vragen (QA): Zoals een quiz.
Complexe Planning (RAP): Zoals een robot die probeert iets online te kopen of een reis te plannen.

De bevindingen waren indrukwekkend:

Voordat MemAudit werd gebruikt, zorgden de "slechte notities" ervoor dat de robot 70% tot 83% van de tijd faalde.
Nadat MemAudit de slechte notities had gevonden en verwijderd, daalde het faalpercentage naar 0%.
De robot werd weer slim en behulpzaam, waarbij alleen de "vergiftigde" notities waren verloren, niet zijn goede herinneringen.

Belangrijke Beperkingen (Wat MemAudit Niet Kan Doen)

Het artikel is zeer eerlijk over wat deze tool niet kan doen:

Het is een "Obductie", geen "Vaccin": MemAudit werkt alleen nadat de robot al een fout heeft gemaakt en jij de fout hebt opgemerkt. Het kan niet voorkomen dat de slechte notitie voor het eerst wordt geschreven.
Het Probleem van "Te Veel Slechte Notities": Als de slechte jongen erin slaagt het dagboek te vullen met zoveel valse notities dat ze elkaar allemaal ondersteunen (zoals een hele groep mensen in clownspakken), raakt MemAudit in de war. Hij kan niet zeggen welke de "echte" slechte notities zijn, omdat ze er allemaal consistent uitzien ten opzichte van elkaar. In dat geval moet misschien het hele dagboek worden weggegooid en herschreven.
Het Heeft Bewijs Moeilijk: De detective moet de fout zien gebeuren om te weten waar hij naar moet zoeken. Als de robot een fout maakt maar niemand merkt het op, kan MemAudit niet helpen.

Samenvatting

MemAudit is een tool die helpt AI-agenten te herstellen nadat ze zijn bedrogen om slechte informatie op te slaan. In plaats van te gokken, gebruikt het logica ("Wat als we dit verwijderen?") en patroonherkenning ("Deze notitie ziet er vreemd uit") om de specifieke slechte herinneringen te vinden en te verwijderen, waardoor de agent weer in een veilige staat terechtkomt.

Technische Samenvatting: MemAudit

Probleemstelling
Grote Taalmodel (LLM)-agenten vertrouwen steeds meer op persistente externe geheugens om eerdere interacties op te slaan, relevante demonstraties op te halen en taken met een lange horizon uit te voeren. Dit mechanisme introduceert echter een kritieke beveiligingskwetsbaarheid: kwaadaardige gebruikers kunnen via gewone interacties (bijvoorbeeld via het MINJA-aanvalsframework) schadelijke records in het geheugen van een agent injecteren. Deze vergiftigde geheugens kunnen sluimerend blijven en later worden opgehaald om het redeneren en de acties van de agent naar schadelijke uitkomsten te sturen.

Terwijl bestaande verdedigingen zich richten op online interventie (bijvoorbeeld promptfiltering of het blokkeren van output), slagen ze er niet in het post-hoc-scenario aan te pakken waarbij schadelijk gedrag al is waargenomen. In real-world implementaties worden fouten vaak achteraf ontdekt via abnormale logs of gebruikersrapporten. De centrale uitdaging is om te identificeren welke specifieke opgeslagen geheugenvermeldingen verantwoordelijk zijn voor de waargenomen fout, zonder toegang te hebben tot ground-truth-vergiftigingslabels of de doelen van de aanvaller.

Methodologie: MemAudit
De auteurs stellen MemAudit voor, een unificerend framework voor post-hoc causaal geheugenaudit. Het framework werkt vanuit de intuïtie dat schadelijke geheugens twee complementaire eigenschappen vertonen: ze oefenen een meetbare causale invloed uit op schadelijke output, en ze vertonen vaak structurele inconsistentie met de bredere geheugendistributie. MemAudit combineert deze twee signalen om verdachte geheugens te rangschikken en te verwijderen.

Counterfactual Memory Influence Score (CMIS):
Dit signaal meet de causale bijdrage van elke opgehaalde geheugenvermelding aan een specifiek schadelijk voorval. Het framework voert een replay-gebaseerde interventie uit: voor een gegeven schadelijk voorval $e = (q^*, y^*, R^*)$ verwijdert het een kandidaat-geheugen $m_i$ uit de opslag, voert het de agent opnieuw uit met de gewijzigde geheugenset, en berekent het de reductie in schade.
$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$
Een hogere score geeft aan dat het verwijderen van $m_i$ het schadelijke gedrag aanzienlijk vermindert, wat wijst op een sterke causale link.
Memory Consistency Graph (MCG) / Structurele Anomalie-detectie:
Dit signaal identificeert geheugens die semantisch inconsistent zijn met de globale geheugenopslag. Het framework construeert een geheugengrafiek waarbij knopen geheugenvermeldingen zijn en randen semantische verwantschap en logische consistentie vertegenwoordigen (met behulp van Natural Language Inference). Vergiftigde geheugens worden verwacht als outliers of zwak verbonden knopen binnen deze grafiek te verschijnen. Een anomalie-score wordt berekend op basis van de inconsistentieweeg tussen een geheugen en zijn buren.
Fusie en Rangschikking:
De CMIS (lokale causale bewijslast) en MCG (globale structurele bewijslast) scores worden genormaliseerd en gefuseerd tot een enkele Detoxificatie-score (DS):
$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$
De parameter $\alpha$ balanceert de weging tussen causale attributie op voorvalniveau en globale structurele anomalie-detectie. Geheugens worden op basis van deze score gerangschikt, en de best gerangschikte vermeldingen worden in een batchproces verwijderd nadat alle schadelijke voorvallen zijn geanalyseerd, zodat het auditproces niet wordt beïnvloed door sequentiële verwijderingen.

Belangrijkste Bijdragen

Formulering: Dit werk is het eerste dat post-hoc causaal geheugenaudit formuleert als een praktisch beveiligingsprobleem voor geheugenverrijkte LLM-agenten onder interactie-geïnduceerde geheugenvergiftiging.
Framework: Het voorstellen van MemAudit, een dual-signaal framework dat verdachte geheugens identificeert en verwijdert zonder oracle-vergiftigingslabels te vereisen, door counterfactuele causale attributie te combineren met structurele anomalie-detectie.
Evaluatie: Uitgebreide evaluatie onder realistische geheugeninjectie-instellingen (MINJA) die aanzienlijke reducties in aanvalssuccespercentages aantoont in zowel Vraag-Antwoord (QA) als lange-horizon redeneringsagent (RAP) instellingen.

Experimentele Resultaten
De auteurs hebben MemAudit geëvalueerd tegen de MINJA-aanval op GPT-4o, GPT-4o-mini en DeepSeek-modellen.

Reductie van Aanvalssuccespercentage (ASR):
- In QA-instellingen verlaagde MemAudit het ASR van 70,0% naar 0,0% op GPT-4o en van 50,0% naar 0,0% op GPT-4o-mini.
- In RAP-instellingen verlaagde MemAudit het ASR van 83,3% naar 0,0% op GPT-4o en van 80,0% naar 0,0% op GPT-4o-mini.
- Baselines zoals willekeurige verwijdering, verwijdering op basis van ophaalfrequentie en filtering op basis van de dichtstbijzijnde buur-contradictie leverden slechts gedeeltelijke reducties op, wat de noodzaak van de dual-signaal-aanpak bevestigt.
Componenten-Ablatie: Het verwijderen van ofwel het causale (CMIS) of het structurele (MCG) signaal resulteerde in aanzienlijk hogere resterende ASR, wat bewijst dat de signalen complementair zijn. De optimale fusieweeg bleek $\alpha = 0,6$ te zijn.
Contaminatie-analyse: Het framework is zeer effectief in regime met schaarse vergiftiging (verontreinigingsratio $\rho \leq 0,20$ ). De prestaties verslechteren echter scherp wanneer vergiftiging dicht wordt ( $\rho \geq 0,25$ ), omdat vergiftigde geheugens dan elkaar beginnen te versterken en een samenhangend "alternatief waarheid" vormen dat moeilijk te isoleren is via gerichte verwijdering.

Betekenis en Beweringen
Het artikel stelt dat persistente geheugens moeten worden behandeld als een "eersteklas beveiligingsoppervlak" in LLM-agenten. MemAudit biedt een praktisch mechanisme voor herstel na fouten tijdens de implementatie, waardoor systemen gecompromitteerde geheugentoestanden kunnen diagnosticeren en repareren zonder het model opnieuw te hoeven trainen of te vertrouwen op oracle-labels. De auteurs benadrukken dat dit een complementair herstelmechanisme is, geen vervanging voor online preventieve veiligheidsmaatregelen. Het werk onderstreept de haalbaarheid van post-hoc geheugenreparatie in zowel korte QA-vragen als complexe, lange-horizon interactieve agent-instellingen, mits de vergiftigingsdichtheid onder een kritieke drempel blijft.