🤖 machine learning

MemLeak: Diagnosing Information Leaks in Multimodal Agent Memory

Dit artikel introduceert MemLeak, een benchmark en de Information Provenance Graph-taxonomie, om aan te tonen dat multimodale AI-agenten vaak niet echt informatie "vergeten" omdat feiten herstelbaar blijven uit behouden afbeeldingen zelfs na tekstverwijdering, wat inhoudsbewuste semantische verwijdering noodzakelijk maakt om deze lekken te beperken.

Oorspronkelijke auteurs: Kuan Wang, Chao Zhang

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kuan Wang, Chao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je je digitale geheugen voor als een enorme, rommelige zolder waar een AI-agent alles bewaart wat je er ooit tegen hebt gezegd. Je hebt dozen met tekstnotities, fotoalbums en zelfs verborgen laden waar de AI "vibes" of indrukken bewaart die het heeft opgepikt uit je foto's.

Het papier "MEMLEAK" onderzoekt wat er gebeurt als je deze AI vertelt: "Vergeet alsjeblieft dat ik van scuba duiken hou."

De Illusie van Verwijdering

In de oude dagen, als je een computer vroeg om een bestand te verwijderen, scheurde de computer het bestand simpelweg uit de map en gooide het in de prullenbak. Het onderzoek stelt vast dat moderne AI-agenten hetzelfde doen met tekst: ze verwijderen de notitie die zegt "Ik hou van scuba duiken" en zeggen: "Klaar!"

Maar hier zit de lekkage: De AI heeft de hele zolder niet echt opgeruimd.

Hoewel de specifieke notitie weg is, heeft de AI nog steeds je fotoalbums. En hier is de truc: AI leest niet alleen foto's; de AI "ziet" ze. De AI merkt op dat je een foto hebt van een tropisch strand, een andere van een duikhorloge, en een derde van een koraalrif. Hoewel geen van deze foto's gelabeld is als "scuba duiken", legt de AI de verbanden. De AI kijkt naar de collectie ongerelateerde foto's en zegt: "Ah, deze persoon houdt absoluut van scuba duiken."

Het papier noemt dit een Memory Leak (geheugenlek). Net zoals een lekkage bij de loodgieter waarbij water eruit druppelt zelfs nadat je de kraan hebt dichtgedraaid, druppelt informatie uit het geheugen van de AI, zelfs nadat je hebt gevraagd om te vergeten.

De "Information Provenance Graph" (De Kaart van de Zolder)

Om te begrijpen waarom dit gebeurt, creëerden de auteurs een kaart genaamd de Information Provenance Graph (IPG). Zie dit als een blauwdruk van de zolder die laat zien waar een stukje informatie zich allemaal kan verstoppen:

De Adresseerbare Notitie: Het tekstbestand dat je gemakkelijk kunt vinden en verwijderen.
De Gelinkte Notitie: Een foto die specifiek aan die tekst is getagd. Als je de tekst verwijdert, zou een slim systeem ook deze foto moeten verwijderen.
De Persistente Geest: Dit is het enge gedeelte. Dit zijn de "vibes" of verborgen aanwijzingen in foto's die nergens specifiek aan gekoppeld zijn. Ze zijn als stofdeeltjes die in het licht zweven. Je kunt er niet gemakkelijk naar wijzen en zeggen "verwijder dit", maar ze zijn er nog steeds en wachten om door de AI gebruikt te worden om je geheimen te raden.

Het Experiment: Hoe erg is de lekkage?

De onderzoekers bouwden een test genaamd MEMLEK om precies te meten hoeveel informatie er lekt. Ze maakten 300 nepgebruikersprofielen met feiten en foto's, en vroegen de AI vervolgens om specifieke dingen te vergeten.

Dit is wat ze vonden:

De "Blinde" Test: Als je de AI vraagt een feit te raden zonder dat je het enkele van je oude foto's of notities laat zien, heeft de AI het 100% van de tijd fout. (De AI kent je geheimen niet door magie).
De Tekst-lekkage: Als je de tekstnotitie verwijdert maar de andere tekstnotities laat staan (zoals "Ik woon in de buurt van een strand"), kan de AI het verwijderde feit 18,3% van de tijd raden door alleen de resterende notities te lezen.
De Foto-lekkage: Als je de tekstnotitie en de foto's die aan die tekst getagd zijn verwijdert, maar de rest van je fotoalbum laat staan, kan de AI het verwijderde feit nog steeds 12,0% van de tijd raden.
- Het Schokkende Deel: In bijna de helft van deze gevallen ontdekte de AI het alleen maar omdat van de foto's. Als je alleen naar de tekst had gekeken, zou je hebben gedacht dat de verwijdering succesvol was. De foto's waren de "onzichtbare" lekkage.

Kunnen we dit oplossen?

Het papier test een paar manieren om de lekkage te dichten:

Alles Gelinkt Verwijderen: Als de AI de tekst én elke foto die expliciet aan dat feit is getagd verwijdert, daalt de lekkage van 48% (als je de specifieke foto's laat staan) naar 12%. Dit fixt de "Gelinkte" notities, maar niet de "Geesten".
De "Slimme Veger" (Semantische Verwijdering): De onderzoekers probeerden een nieuwe methode waarbij een tweede AI, nadat het voor de meest voor de hand liggende zaken heeft gezorgd, de resterende foto's scant om te zien of ze nog steeds naar het verwijderde feit hinten. Als er bijvoorbeeld een foto van een "tropisch strand" overblijft terwijl de gebruiker net zei "vergeet duiken", verwijdert de Slimme Veger die strandfoto ook.
- Resultaat: Dit verminderde de lekkage tot 2,0%. Het is veel beter, maar niet perfect. Sommige "geesten" zijn te subtiel om zelfs door de slimme veger te worden betrapt.

De Kern van het Verhaal

Het papier concludeert dat het verwijderen van een tekstinvoer niet genoeg is.

Als je een multimodale AI (één die ziet en leest) vertelt om iets te vergeten, kan het de tekst misschien verwijderen, maar kan het dat geheim nog steeds reconstrueren uit de "aanwijzingen" die achtergelaten zijn in je andere foto's en notities. De auteurs stellen dat huidige systemen lijken op conciërges die de vloer vegen maar het stof onder het tapijt laten liggen. Om echt te "vergeten", moet het systeem de hele zolder auditeren, niet alleen de specifieke doos waar je naar wees.

Wat het papier NIET beweert:

Het zegt niet dat dit in elk enkel AI-systeem van vandaag gebeurt (het testte specifieke systemen zoals Mem0 en Letta).
Het biedt geen magische oplossing die de lekkage 100% elimineert.
Het bespreekt niet het gebruik hiervan voor medische diagnoses of juridische rechtszaken; het is strikt een meting van hoe de geheugensystemen van huidige AI's falen in het verwijderen van informatie.

Technisch overzicht: MEMLEAK: Het diagnosticeren van informatielekken in het geheugen van multimodale agenten

1. Probleemstelling

Multimodale AI-agenten slagen er vaak niet in om werkelijk te "vergeten" wanneer gebruikers vragen om specifieke feiten te verwijderen. Hoewel huidige geheugensystemen doorgaans de expliciete tekstuele invoer die bij een feit hoort verwijderen en succes rapporteren, toont dit artikel aan dat de informatie vaak toch herstelbaar blijft. De kern van het probleem is dat multimodale agenten feiten opslaan via een heterogene stapel van representaties: tekstinvoer, tekstembeddings, afbeeldingsbestanden, afbeeldingsembeddings, graafranden en impliciete visuele kenmerken.

Wanneer een gebruiker om verwijdering vraagt, richten systemen zich meestal alleen op de "adresseerbare" tekstuele knoop. De informatie kan echter blijven voortbestaan via:

Gereserveerde gecorreleerde tekst: Andere tekstgeheugens die semantisch verbonden zijn met het verwijderde feit.
Gereserveerde afbeeldingen: Afbeeldingen die getagd zijn aan andere feiten die impliciete visuele aanwijzingen bevatten (bijv. een duikhorloge in een foto getagd bij "vrijwilligerswerk", wat een "duikvoorkeur" suggereert).
Impliciete visuele kenmerken: Attributen die zijn gecodeerd in afbeeldingsembeddings of door Vision-Language Models (VLM's) tijdens inferentie (bijv. geolocatie, architecturale stijl) die nooit expliciet als tekst worden opgeslagen, maar wel herstelbaar zijn voor het model.

Het artikel betoogt dat verwijdering op fefactniveau faalt door deze meerdere kanalen, wat een "vergetelheidsresidue" creëert waarbij verwijderde informatie kan worden gereconstrueerd uit de behouden gegevens van de gebruiker, wat de technische criteria voor informatielekken schendt.

2. Methodologie

De Information Provenance Graph (IPG)

De auteurs introduceren de Information Provenance Graph (IPG), een descriptieve taxonomie om te modelleren hoe een enkel feit zich verspreidt over de geheugenslagen van een agent.

Knopen ( $V_f$ ): Representaties van een feit $f$ over opslaglagen (tekst, afbeelding, embedding, graaf, impliciete kenmerken).
Randen ( $E_f$ ): Informatiestroom afgeleid van opslag- of computatiebewerkingen.
Verwijderingsaffordantie ( $\delta$ ): Knopen worden geclassificeerd als:
- Adresseerbaar (addr): Direct verwijderbaar via de identiteit van het feit.
- Verbonden (link): Alleen verwijderbaar als een herkomstverbinding (provenance link) met het feit wordt onderhouden.
- Persistent (unreach): Niet gericht door huidige opslagniveau-verwijdering; omvat impliciete visuele kenmerken en afgeleide gedragspatronen.

De IPG maakt onderscheid tussen Engineering Gaps (ontbrekende herkomsttracking voor verbonden knopen) en Forgetting Residuals (persistente knopen die overleven na verwijdering, zelfs met perfecte herkomsttracking).

De MEMLEAK Benchmark

Om lekkage te meten, hebben de auteurs MEMLEAK ontwikkeld, een benchmark die de vergeten op fefactniveau evalueert over een verwijderingscascade.

Dataset: 113 synthetische entiteitprofielen met elk 20 feiten (10 doelwit, 10 behouden). Feiten beslaan vijf categorieën (locatie, beroep, voorkeur, relatie, bezit) en bevatten visuele gronding (expliciet, impliciet of afwezig).
Afbeeldingen: Gegenereerd met Gemini 3.1 Flash op basis van GPT-5.4 prompts. Een subset van 523 echte Unsplash-gelicentieerde foto's werd ook gebruikt voor ecologische validatie.
Type Probes (Sondeerwijzen):
- P1 (Retained-Image Recovery): Verwijder het tekstuele doelwitfeit en de bijbehorende afbeeldingen; sondeer de VLM met afbeeldingen van andere behouden feiten.
- P2–P5: Pilot-probes voor tekstretractie, onzichtbare persistentie, cross-image reconstructie en gedragsresidue.
Evaluatiemetrieken:
- Cross-Modal Leakage Rate (CMLR): Het percentage verwijderde feiten dat herstelbaar is vanuit de behouden gegevens.
- Beoordeling: Een ensemble van 3 modellen (GPT-4.1, Claude Sonnet 4, Gemini 2.5 Flash) bepaalt of een reactie het vergeten feit onthult. Menselijke validatie (2 annotatoren) bevestigde een hoge betrouwbaarheid ( $\kappa = 0.88$ ).
- Baselines: Blind inference (0.0% leakage) en negatieve controles (0.3% False Positive Rate) zorgen ervoor dat lekken te wijten zijn aan gebruikersspecifieke data en niet aan model-priors.

Geëvalueerde Systemen

De studie evalueerde vijf systeemcategorieën:

Long-context: Alleen gedragsmatige onderdrukking (geen verwijdering).
Naive: Verwijdert alleen tekst; behoudt alle afbeeldingen.
Mem0 (Productie): Semantische zoekverwijdering van tekstinvoer.
Letta (Gesimuleerd): Door de agent besloten verwijdering van tekst/embeddings.
Oracle: Cascade-verwijdering van tekst, embeddings, afbeeldingen en graafranden op basis van herkomst (provenance).

3. Belangrijkste Resultaten

Multi-Channel Lekken

De benchmark onthult dat verwijdering faalt via meerdere gelijktijdige kanalen:

Directe Probing (Alleen Tekst): Verwijderingsvaardige systemen bereiken <1% lekkage op directe probes, wat bevestigt dat opslagniveau-verwijdering werkt voor adresseerbare tekstknopen.
Retained Text Correlation: Wanneer tekstinvoer wordt verwijderd maar gecorreleerde behouden tekst aanwezig blijft, zijn 18,3% van de feiten herstelbaar.
Retained Image Correlation (Kernbevinding): Zelfs nadat de tekst van het doelwitfeit en alle bijbehorende afbeeldingen zijn verwijderd, zijn 12,0% van de feiten herstelbaar vanuit afbeeldingen die getagd zijn aan andere behouden feiten.
- Blind Baseline: 0.0% (geen afbeeldingen).
- Negatieve Controle: 0.3% (niet-gerelateerde afbeeldingen).
- Significantie: 47% van de via afbeeldingen gelekte feiten is niet herstelbaar uit behouden tekst alleen, wat bewijst dat het visuele kanaal een afzonderlijk, moeilijker te auditeren lekkagepad is.

Systeemprestaties

Same-Fact Recovery (Bovengrens): Als een systeem tekst verwijdert maar de eigen afbeeldingen van het feit intact laat, is 48,7% van de feiten herstelbaar. Herkomsttracking (Oracle) vermindert dit tot 12,0% door cascade-verwijdering naar getagde afbeeldingen door te voeren.
Productiesystemen: Mem0 (end-to-end) vertoonde 16,3% lekkage, een combinatie van visuele inferentie met potentieel residu van tekstretrieval.
Model Generaliteit: De resultaten houden stand bij verschillende VLM's (Claude Sonnet 4: 12,0%; GPT-4o: 9,3%).
Real-World Validatie: Het gebruik van echte Unsplash-foto's leverde 10,6% lekkage op, consistent met de synthetische resultaten, wat bevestigt dat het fenomeen geen artefact is van beeldgeneratie.

Mitigatie: Semantische Verwijdering

De auteurs testten content-aware semantische verwijdering, waarbij een VLM-auditor behouden afbeeldingen scant op semantische correlatie met verwijderde feiten en deze markeert voor verwijdering.

Resultaat: Dit verminderde het afbeelding-residue van 12,0% naar 2,0%.
Kosten: Het vereiste het markeren en verwijderen van 21,0% van de behouden afbeeldingen.
Beperking: Een residu van 2,0% blijft bestaan, toegeschreven aan visuele aanwijzingen die te diffuus zijn voor huidige auditors om te detecteren (persistente knopen).

4. Bijdragen en Betekenis

Bijdragen

Information Provenance Graph (IPG): Een taxonomie die geheugenrepresentaties classificeert op basis van hun "verwijderingsaffordantie" (adresseerbaar, verbonden, persistent), waarbij onderscheid wordt gemaakt tussen engineering gaps en architecturale residuen.
Empirisch Bewijs van Multi-Channel Lekken: Demonstratie dat fefact-verwijdering faalt door gecorreleerde tekst (18,3%) en, cruciaal, door behouden afbeeldingen (12,0%), waarbij afbeeldingen een lekkagekanaal bieden dat onzichtbaar is voor tekst-gebaseerde auditing.
MEMLEAK Benchmark: Een schaalbaar evaluatiekader dat lekkagekanalen ontleedt, waarbij wordt aangetoond dat hoewel provenance tracking falen van verbonden knopen oplost, content-aware beleid vereist is om de residuen van persistente knopen te mitigeren.

Betekenis

Het artikel positioneert de bevindingen als een diagnostisch instrument in plaats van een bewijs van onmogelijkheid.

Voor Systeembouwers: Verwijdering op recordniveau is noodzakelijk maar onvoldoende. Verwijdering op fefactniveau vereist het auditeren van alle behouden gegevens (tekst, afbeeldingen en correlaties). De auteurs bevelen het implementeren van provenance tracking aan (om de 48,7% $\to$ 12,0% kloof aan te pakken) en VLM-auditors (om de 12,0% $\to$ 2,0% kloof aan te pakken).
Voor Toezichthouders: Naleving van verwijderingsregels (bijv. GDPR Artikel 17) kan niet uitsluitend worden geverifieerd door het controleren van verwijderingslogs. Gedragsmatige verificatie (het bevragen van het systeem na verwijdering) is vereist omdat informatie kan worden hersteld via kanalen die geen enkel huidig auditmechanisme inspecteert.
Voor Onderzoekers: Het resterende 2,0% afbeelding-residue en het 18,3% tekst-correlatiekanaal benadrukken openstaande onderzoeksrichtingen, waaronder privacy-bewuste visuele encoders, embedding scrubbing en correlatie-bewuste verwijderingsbeleid.

Het artikel concludeert dat hoewel het "vergetelheidsresidue" een empirische ondergrens is onder specifieke verwijderingsbeleid, het een aanzienlijk compliance-risico vormt voor multimodale agent-platforms in gevoelige domeinen zoals de gezondheidszorg en de financiële sector.