💻 computer science

MemLineage: Lineage-Guided Enforcement for LLM Agent Memory

MemLineage is een cryptografisch verdedigingssysteem voor LLM-agenten dat memory poisoning-aanvallen voorkomt door de herkomst en afleidingslijn van geheugeninvoer te traceren, zodat gevoelige acties alleen worden geautoriseerd wanneer hun rechtvaardiging niet voortkomt uit onbetrouwbare bronnen.

Oorspronkelijke auteurs: Ciyan Ouyang, Rui Hou

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ciyan Ouyang, Rui Hou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een AI-agent voor als een zeer behulpzame, maar iets naïeve persoonlijke assistent die een notitieboek (geheugen) bijhoudt om je voorkeuren, eerdere gesprekken en taken te onthouden. Dit notitieboek is krachtig omdat het de assistent in staat stelt verbanden te leggen over dagen of weken. Dit notitieboek is echter ook de grootste zwakte van de assistent.

MemLineage is een nieuw beveiligingssysteem dat is ontworpen om dit notitieboek te beschermen tegen het misleiden door een slimme hacker.

Hieronder wordt uitgelegd hoe het artikel het probleem en de oplossing beschrijft, met behulp van eenvoudige analogieën:

Het Probleem: De "Valse Kassa" Oplichting

Momenteel kan een hacker, als het hem lukt om een kwaadaardige instructie in het notitieboek van de assistent te smokkelen, ervoor zorgen dat de assistent deze later uitvoert, zelfs als de instructie gevaarlijk is (zoals "geld overmaken naar een vreemde").

Het artikel benadrukt een specifieke, sluwe truc genaamd "Sleeper via Derivation".

De Oude Manier: Een hacker schrijft een briefje met de tekst "Geld stelen" en verbergt dit in het notitieboek. Een simpele bewaker (een "alleen-ondertekening"-verdediging) controleert het briefje, ziet dat het niet door de gebruiker is geschreven, en blokkeert het. Makkelijk.
De Nieuwe Truc: De hacker schrijft het briefje niet direct. In plaats daarvan plant hij een vaag, onschuldig klinkend aanwijzing op een website die de assistent bezoekt (bijvoorbeeld een verhaal over een "geheime bankrekening").
De assistent leest het verhaal, vat het samen en schrijft een nieuw, schoon ogend briefje in zijn eigen handschrift: "Ik heb een verwijzing gevonden naar een geheime bankrekening."
Omdat het briefje nu in het eigen handschrift van de assistent is geschreven, denkt een simpele bewaker: "Oh, dit is veilig! Dit komt van ons!" en laat het in het notitieboek staan.
Later vraagt de hacker een vraag die dit briefje activeert, en de assistent, denkend dat het een geldig geheugenstuk is, voert het gevaarlijke commando uit.

Het artikel noemt dit "Memory Laundering" (geheugenwitwassen): vuile, onbetrouwbare informatie wassen totdat het er schoon en betrouwbaar uitziet.

De Oplossing: MemLineage (De "Chain of Custody" Tracker)

MemLineage behandelt het geheugen van de assistent als een hoogbeveiligde bewijskluis in plaats van slechts een notitieboek. Het voegt twee hoofdlagen van bescherming toe:

1. De Digitale Vingerafdruk (Cryptografische Herkomst)

Elk briefje in het notitieboek krijgt een unieke, niet-nagebootste digitale vingerafdruk (een cryptografische handtekening). Dit bewijst precies wie het heeft geschreven. Als een briefje is geschreven door een onbetrouwbare bron (zoals een willekeurige website), krijgt het direct een "Rode Vlag"-label.

2. De Stamboom (Lineage)

Dit is de grote innovatie van het artikel. MemLineage kijkt niet alleen naar wie het briefje heeft geschreven; het kijkt naar waar de informatie vandaan komt.

Stel je voor dat elk briefje een "Stamboom" heeft die eraan is bevestigd.
Als een briefje een samenvatting is van een eerder briefje, tekent het systeem een lijn die ze met elkaar verbindt.
Het systeem vraagt zich af: "Is dit schoon ogende briefje afstammeling van een 'Rode Vlag'-bron?"
De Regel: Als een briefje een "kind" is van een "Rode Vlag"-bron, en de verbinding sterk genoeg is, erft het kinderbriefje de Rode Vlag, zelfs als het door de assistent is geschreven.

Hoe Het De Aanval Stopt

Wanneer de assistent een gevoelige actie wil uitvoeren (zoals geld versturen), controleert een Poortwachter het geheugen:

Controleer de Handtekening: Is dit geschreven door de gebruiker of een vertrouwd hulpmiddel?
Controleer de Stamboom: Heeft dit briefje voorouders die onbetrouwbaar waren?
Het Vonnis: Als de "stamboom" van het briefje teruggaat naar de website van een hacker, zegt de Poortwachter: "Nee." Hij blokkeert de actie, zelfs als het briefje aan de oppervlakte perfect normaal lijkt.

De "Magische" Eigenschappen

Het artikel beweert dat MemLineage speciaal is omdat:

Het Onzichtbaar Is: Het voegt bijna geen vertraging toe (minder dan een milliseconde) aan het denkproces van de assistent. Het is alsof je een beveiligingscontrole toevoegt die zo snel plaatsvindt dat je het niet eens merkt.
Het Slim Is: Het blokkeert niet alles van onbetrouwbare bronnen. Het staat de assistent toe die informatie te gebruiken voor onschadelijke dingen (zoals het beantwoorden van een trivia-vraag), maar blokkeert het van het activeren van gevaarlijke acties (zoals het overmaken van fondsen).
Het De Tijd Overleeft: Zelfs als het oorspronkelijke briefje van de hacker wordt verwijderd of diep in de geschiedenis wordt begraven, blijft de "Rode Vlag" voor altijd bevestigd aan de afgeleide briefjes, waardoor de "Sleeper"-aanval later niet kan wakker worden.

De Resultaten

De auteurs hebben dit systeem getest tegen drie soorten hacker-aanvallen in een gecontroleerde, computergesimuleerde omgeving.

Zonder MemLineage: De hackers slaagden 100% van de tijd.
Met een Basisbewaker (Alleen handtekeningen): De hackers slaagden 100% van de tijd bij de "Sleeper"-aanval, omdat de briefjes er schoon uitzagen.
Met MemLineage: De hackers slaagden 0% van de tijd. Het systeem ving elke poging op, inclusief de sluwe "gewassen" pogingen, zonder de assistent te vertragen of onschadelijke taken te blokkeren.

Kortom, MemLineage zorgt ervoor dat een AI-assistent dingen veilig kan onthouden, wetende dat zelfs als een stukje informatie er schoon uitziet, het die informatie niet zal laten schade toebrengen als het een "vuile" geschiedenis heeft.

Technische Samenvatting: MemLineage

Probleemstelling

Moderne LLM-agenten vertrouwen op persistente geheugens om chatlogs, tool-returns en afgeleide observaties over gebruikerssessies heen te accumuleren. Hoewel dit geheugen multi-stap workflows mogelijk maakt, is het uitgegroeid tot een kritiek aanvalsoppervlak. Recent onderzoek (bijv. AgentPoison, MINJA, MemoryGraft, Zombie Agents) toont aan dat tegenstanders kwaadaardige inhoud in het geheugen van een agent kunnen injecteren, wat over sessies heen sluimerend kan liggen en later opnieuw naar boven kan komen als een instructie om gevoelige acties te triggeren.

De geïdentificeerde kernlacune in handhaving is dat bestaande verdedigingen falen bij het afhandelen van memory laundering (geheugenwassen). Een geraffineerde tegenstander kan "ingrediënten" in onbetrouwbare bronnen planten, waardoor de normale ophaal- en samenvattingslus van de agent een nieuwe, afgeleide vermelding genereert. Omdat deze afgeleide vermelding door de agent zelf is geschreven, draagt deze een geldig cryptografisch handtekening, waardoor deze voor handtekening-gebaseerde verdedigingen niet te onderscheiden is van goedaardige inhoud. Bijgevolg kan de agent deze "gewassen" vermelding later ophalen en gevoelige acties (bijv. financiële transacties) uitvoeren op basis van onbetrouwbare afstamming, waardoor de keten van bewaring wordt verbroken.

Huidige oplossingen lijden aan specifieke beperkingen:

Enkel handtekening-gebaseerde lagen verifiëren de schrijver maar kunnen geen afleidingsgeschiedenis traceren.
IFC-gebaseerde planners (bijv. Fides) handhaven labels tijdens planning maar verliezen deze over LLM-afleidingsstappen heen.
Ophaalfilters (bijv. RAGPart) kunnen geen onderscheid maken tussen een goedaardige samenvatting en een gewassen payload als beide via een geauthenticeerde hoofdpersoon arriveren.
Grofkorrelige verdedigingen (bijv. Memory Sandbox) blokkeren vaak alle herinnering na blootstelling, ten koste van bruikbaarheid.

Methodologie: MemLineage Ontwerp

MemLineage adresseert dit door geheugenbeveiliging te behandelen als een keten-van-bewaring-probleem in plaats van een filterprobleem. Het koppelt cryptografische herkomst en een gewogen afleidingsstamboom aan elke geheugenvermelding. Het systeem is opgebouwd rond zes modules:

Provenance Metadata (M1): Elke vermelding is een ProvEntry-record die de schrijver-hoofdpersoon, bron-hash, context-hash en een lijst van oudervermeldingen met toewijzingsgewichten bevat.
Cryptografische Binding (M2): Vermeldingen worden ondertekend met Ed25519-sleutels per hoofdpersoon. De handtekening dekt een canonieke CBOR-codering van alle velden, behalve de handtekening zelf.
Append-Only Log (M3): Een RFC 6962-achtige Merkle-logboek registreert vermeldingshashes. Verwijdering wordt afgehandeld via ondertekende "tombstone"-markers om herschrijven van geschiedenis te voorkomen.
Lineage DAG (M4): Een gerichte acyclische graaf waarbij randen LLM-gemedieerde afleiding vertegenwoordigen. Elke rand $(p, c)$ $(p, c)$ heeft een gewicht $w(p, c) \in [0, 1]$ $w (p, c) \in [0, 1]$ bepaald door een toewijzingsalgoritme.
- Propagatieregel: Vertrouwen wordt gepropageerd via een max-van-sterke-randen-regel. Een vermelding $c$ erft het vertrouwensniveau van zijn ouder $p$ als $w(p, c) > \tau$ (een declassificatiedrempel).
- Persistentie van Onbetrouwbare Paden (Stelling 1): Als er een pad bestaat van een "Externe" voorouder naar een huidige vermelding waarbij elke randwaarde $\tau$ overschrijdt, wordt de huidige vermelding gelabeld als "Afgeleid-Onbetrouwbaar".
Verifier-bewuste Ophaling (M5): Voordat een vermelding in de LLM-prompt wordt ingevoegd, verifieert M5 handtekeningen, opnamebewijzen en presenteert de vermelding met een structureel vertrouwenslabel (bijv. [trust=DERIVED_UNTRUSTED]).
Gevoelige Actie-poort (M6): Voordat een tool-call wordt verzonden (vooral naar gevoelige zinken zoals bestandsopdrachten of betalingen), inspecteert M6 de actieve prompt. Als de rechtvaardiging voor een parameter afstamt van een "Afgeleid-Onbetrouwbaar" of "Externe" voorouder, wordt de call geweigerd. M6 ondersteunt ook Autoriteitsreparatie, waarbij het aanvalsbronparameters chirurgisch kan vervangen door waarden uit betrouwbare herkomst.

Het systeem ondersteunt drie toewijzingsalgoritmen:

Grofkorrelig: Binair gewicht (1.0) als een ouder in de ophaalcontext zat.
LmSelfEval: Een secundaire LLM-rechter scoort semantische invloed (gehard tegen prompt-injectie via JSON-omhulsels).
AttnAttr: White-box attentie-analyse (vereist open-weight modellen).

Belangrijkste Bijdragen

Lineage-Stress Werklast: Het artikel introduceert een "slaapstroom-via-afleiding"-aanvalsmodel. In tegenstelling tot directe injectie, plant deze werklast ingrediënten in onbetrouwbare bronnen, waardoor de LLM gedwongen wordt een kwaadaardige payload af te leiden als een nieuwe, ondertekende vermelding. Dit scheidt enkel handtekening-gebaseerde verdedigingen van lijn-bewuste verdedigingen.
Formele Propagatieregel: Het ontwerp formaliseert de stelling Persistentie van Onbetrouwbare Paden, bewijzend dat als elke rand in een afleidingsketen "sterk" is (boven drempel $\tau$ ), het onbetrouwbare label zich voortplant naar het ketentip.
Toewijzingsalgoritmen & Trade-offs: Het artikel evalueert drie toewijzingsstrategieën en kwantificeert de interactie tussen de lijndrempel ( $\tau$ ) en ketenlengte ( $K$ ). Het toont aan dat een enkelvoudige $\tau$ -meting onvoldoende is; diepere ketens vereisen lagere drempels om veiligheid te behouden onder afnemende toewijzingszekerheid.
End-to-End Evaluatie-Harness: Een deterministische, reproduceerbare harness wordt geboden die het gedrag van de aanvaller vastpint en echte LLM-API-calls voor kernmetrieken vermijdt. Het produceert byte-gelijke CI-verifieerbare artefacten voor Aanvalsuccesratio (ASR), bruikbaarheidsbaselines en lijn-ablaties.

Resultaten

De evaluatie vergelijkt drie configuraties: no_defense, sig_only_baseline (handtekeningen + Merkle-log, geen lijn) en MemLineage (volledige stack).

Aanvalsuccesratio (ASR):
- AgentPoison (Trigger-gebonden): sig_only_baseline en MemLineage bereiken beide 0.00 ASR (handtekeningen blokkeren onbetrouwbare schrijvers).
- MemoryGraft (Ophaalvergiftiging): sig_only_baseline faalt (1.00 ASR) omdat vermeldingen door de agent zijn ondertekend. MemLineage bereikt 0.00 ASR door de lijn te traceren naar een externe voorouder.
- Slaapstroom-via-Afleiding: sig_only_baseline faalt (1.00 ASR) aangezien de afgeleide vermelding geldig is ondertekend. MemLineage bereikt 0.00 ASR door het onbetrouwbare label door de afleidingsketen te propageren.
- Conclusie: MemLineage is de enige configuratie die de ASR naar nul drukt over alle drie aanvalsfamilies heen.
Prestaties:
- De per-operatie overhead is sub-millisecond. De schrijfhete pad (inclusief ondertekening en Merkle-loggen) gemiddeld ~214 µs, en verificatie is ~82 µs. Dit ligt ver onder het ruisniveau van typische LLM-API-calls.
Bruikbaarheid (Valse Positieven):
- Op goedaardige workflows bereikt MemLineage een 1.00 legitieme dispatchratio (nul valse positieven). Het slaagt erin afgeleid-betrouwbare ketens en niet-gevoelige ophaling van externe inhoud toe te staan.
- Autoriteitsreparatie: In AgentDojo-bankiersscenario's blokkeert MemLineage met autoriteitsreparatie 100% van de aanvallen terwijl het bruikbaarheid herstelt op 5/6 paren, wat beter presteert dan eenvoudige weigering of herhaalstrategieën.
Drempelgevoeligheid:
- De $\tau \times K$ ablatie toont aan dat voor afnemende toewijzingsgewichten (bijv. $w_0=0.9, d=0.7$ ), een implementatie die $K=5$ hops toestaat $\tau \le 0.10$ vereist, terwijl een $K=1$ meting $\tau \le 0.30$ zou kunnen suggereren.

Betekenis en Claims

Het artikel claimt dat MemLineage een fijnkorrelig handhavingsprimitief biedt dat bruikbaar langetermijngeheugen behoudt terwijl het voorkomt dat onbetrouwbare afstamming gevoelige acties autoriseert.

Differentiatie: In tegenstelling tot grofkorrelige verdedigingen die herinnering volledig verwijderen, behoudt MemLineage de bruikbaarheid van afgeleide geheugens terwijl het strikt gevoelige acties blokkeert op basis van herkomst.
Volledigheid: Het is het enige geëvalueerde systeem dat gezamenlijk vier dimensies dekt: cryptografische integriteit van het vertrouwenslabel, lijn-toewijzing over LLM-afleiding heen, sessie-overstijgende persistentie van het label, en dekking van door de agent afgeleide vermeldingen.
Bescheidenheid: De auteurs erkennen dat het systeem vertrouwen stelt in de betrouwbaarheid van de LLM-inferentie-gewichten (het kan geen backdoors in het model zelf detecteren) en dat het sterkste toewijzingsalgoritme (AttnAttr) open-weight modellen vereist. De "geen-sterke-ouder"-fallback standaardiseert naar "Betrouwbaar", wat uitgebuit zou kunnen worden als een tegenstander alle toewijzingsranden onder $\tau$ onderdrukt, hoewel JSON-omhulsel-hardening risico's van prompt-injectie mitigeert.

Het artikel concludeert dat MemLineage het verdedigingsparadigma verschuift van "inhoud filteren" naar "keten van bewaring handhaven", en een levensvatbaar pad biedt voor veilige, persistente LLM-agenten.