🤖 AI

Deployment-Time Memorization in Foundation-Model Agents

Dit artikel introduceert "deployment-time memorization" als een kritisch kader voor het evalueren van foundation-model agents, waarbij via de LongMemEval benchmark wordt aangetoond dat hoewel agressieve samenvatting de risico's op adversariële extractie aanzienlijk vermindert zonder aan personalisatie in te boeten, dit tegelijkertijd een "deletion-fidelity failure" blootlegt waarbij afgeleide geheugenniveaus herstelbare residuen behouden, tenzij een volledige pipeline-purge wordt geïmplementeerd.

Oorspronkelijke auteurs: Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

Gepubliceerd 2026-06-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een slimme assistent voor die niet alleen een keer met je chat en het dan vergeet, maar die je leven over maanden of jaren heen onthoudt. Het onthoudt dat je de voorkeur geeft aan een stoel aan het gangpad in het vliegtuig of dat je in Python programmeert. Dit is een "Foundation-Model Agent."

De paper die je hebt gedeeld, onderzoekt een cruciaal probleem met deze systemen voor langetermijngeheugen: Hoe balanceren we het onthouden van de juiste dingen voor jou, terwijl we ervoor zorgen dat een hacker niet je geheimen kan stelen, en dat wanneer je zegt "vergeet dat", het ook echt voor altijd verdwijnt?

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën.

1. Het Probleem: Het "Open Boek" versus het "Vergrendelde Dagboek"

Beschouw het geheugen van de agent als een bibliotheek.

De Oude Manier (Parametrische Memorisatie): Voorheen maakten we ons zorgen over geheimen die in de hersenen van de AI (de trainingsgewichten) waren ingebakken, zoals een recept dat in steen is gebeiteld.
Het Nieuwe Probleem (Deployment-Time Memorization): Nu heeft de AI een apart "notitieblok" (extern geheugen) waar het feiten over jou opschrijft. De paper betoogt dat dit notitieblok een nieuwe, afzonderlijke plek is waar geheimen kunnen worden opgeslagen, gelekt of vergeten.

De onderzoekers zochten naar de "Goldilocks Zone": Een geheugensysteem dat nuttig genoeg is om je vragen te beantwoorden, maar veilig genoeg zodat een hacker niet je dagboek kan lezen, en schoon genoeg zodat als je vraagt een geheim te verwijderen, het ook echt weg is.

2. De Drie Knoppen Waaraan Ze Draaiden

Het team testte drie verschillende "knoppen" of instellingen om te zien hoe deze het geheugensysteem veranderden:

Samenvatten (De "Redacteur"): In plaats van elke letterlijke woord van wat je zei op te slaan (Raw), kon de AI alleen de belangrijkste feiten opslaan (Key-fact) of een samenvatting van één zin (One-sentence).
- Analogie: Stel je een kopiist voor.
  - Raw: De kopiist kopieert je hele gesprek woord voor woord.
  - Key-fact: De kopiist schrijft alleen de belangrijke datums en namen op.
  - One-sentence: De kopiist schrijft een enkele kop over het gesprek.
Retrieval Breadth (De "Zoekbereik"): Wanneer je een vraag stelt, hoeveel aantekeningen haalt de AI uit de bibliotheek om te helpen bij het beantwoorden?
- Analogie: Kijk je naar slechts 1 aantekening, of haal je de bovenste 25 aantekeningen uit de kast?
Deletion Mode (De "Gum"): Wanneer je zegt "Vergeet dit", hoe verwijdert het systeem het?
- Analie: Scheurt het gewoon de pagina uit het notitieblok? Of verbrandt het het hele boek? Of vervangt het de woorden door "REDACTED" (GERECTIONEERD)?

3. De Grote Ontdekkingen

Ontdekking A: Samenvatten is een "Privacyschild"

De meest verrassende bevinding is dat het samenvatten van je gegevens het voor hackers veel moeilijker maakt om je gegevens te stelen, zonder dat dit ten koste gaat van het vermogen van de AI om je te helpen.

Het Resultaat: Wanneer de AI "Key Facts" opsloeg in plaats van ruwe tekst, verminderde het de kans dat een hacker een geheim zou stelen met 76% (op één model) en 64% (op een ander model).
De Catch: De AI onthield je bijna perfect. Het verloor zijn "persoonlijkheid" niet.
De Analogie: Denk aan een wasserij. Als je de AI je vuile kleding geeft (ruwe data), kan een dief gemakkelijk je adreslabel vinden. Als de AI de kleding wast en opvouwt tot een nette stapel (samenvatting), is het adreslabel weg, maar de kleding is nog steeds schoon en bruikbaar.
Cruciaal Punt: Zodra het geheim is "weggewassen" (gesamenvat), leidt het ophalen van meer aantekeningen (het vergroten van de zoekbereik) de geheimhouding niet terug. Het geheim is uit het systeem verdwenen.

Ontdekking B: De "Geest in de Machine" (Falen van Verwijdering)

Dit is de meest kritieke waarschuwing in de paper. Een bestand verwijderen betekent niet altijd dat het weg is.

Het Probleem: De AI creëert verschillende "lagen" van geheugen. Het heeft de Raw tekst, maar het creëert ook Derived (afgeleide) samenvattingen op basis van die tekst.
Het Falen: Als je de AI vraagt om een geheim te "Vergeten", en het systeem verwijdert alleen de Raw tekst, dan blijft de Summary versie vaak achter.
- De Statistiek: In ongeveer 20% van de gevallen, zelfs nadat de "raw" aantekening was verwijderd, kon een hacker het geheim nog steeds vinden, verborgen in de samenvattende aantekeningen.
De Analogie: Stel je voor dat je een secretaresse vertelt om een brief weg te gooien. Zij gooit de brief in de prullenbak (Raw verwijdering), maar ze heeft de inhoud van de brief al in haar persoonlijke dagboek genoteerd (Derived Summary). Als je het dagboek niet verbrandt, is het geheim er nog steeds.
De Fix: Om iets echt te verwijderen, moet je ofwel de hele pijplijn legen (het dagboek én de brief verbranden) of een "Tombstone" methode gebruiken (het geheim vervangen door een grote rode "REDACTED" stempel in elke versie van de aantekening). Alleen deze methoden zorgden ervoor dat het geheim 100% verdween.

4. De Conclusie: Een Nieuwe Manier om Geheugen te Meten

De paper concludeert dat we AI-geheugen niet langer kunnen behandelen als een simpele "aan/uit"-schakelaar. Het is een complex systeem met afwegingen.

De "Privacy-Utility Frontier": Dit is een chique manier om te zeggen dat er een balanslijn is. Je wilt een hoge "Utility" (de AI helpt je) en een lage "Leakage" (hackers kunnen niets stelen).
De Winningsstrategie: De paper suggereert dat de beste opstelling is:
1. Gebruik Key-Fact Summarization (om de geheimen weg te wassen).
2. Gebruik Tier-Aware Deletion (om er zeker van te zijn dat het "dagboek" wordt verbrand, en niet alleen de brief).

Kortom: Als je een slimme assistent bouwt die je onthoudt, moet je hem ontwerpen om je gegevens te samenvatten om ze te beschermen, en je moet hem ontwerpen om alles te verwijderen (niet alleen het originele bestand) wanneer je vraagt om te vergeten. Anders zijn je geheimen misschien veilig voor je eigen ogen, maar schuilen ze nog steeds in de schaduwen van het geheugen van de AI.

Technische Samenvatting: Deployment-Time Memorization in Foundation-Model Agents

Probleemstelling

Foundation-model agents evolueren van staatloze assistenten naar langdurige systemen die een persistent gebruikersgeheugen onderhouden over interacties heen. Hoewel deze capaciteit de personalisatie verbetert, verandert het fundamenteel het privacylandschap. In tegenstelling tot traditionele parametrische memorisatie (waarbij data is gecodeerd in modelgewichten en wordt blootgesteld via extractie-aanvallen), slaan persistente agents gebruikersfeiten op in externe geheugenpipelines. Deze pipelines schrijven, samenvatten, ophalen en conditioneren responsen op basis van gebruikersdata, wat een nieuw aanvalsoppervlak creëert.

Bestaand onderzoek heeft zich grotendeels gericht op het auditeren van vaste geheugenconfiguraties of het bestuderen van parametrische memorisatie. Er is echter een gebrek aan karakterisering met betrekking tot hoe geheugendesign-keuzes gezamenlijk de afweging vormgeven tussen:

Personalisatie-utiliteit: Het vermogen van de agent om gebruikersvoorkeuren te herinneren.
Extractierisico: De waarschijnlijkheid dat een tegenstander private informatie herstelt.
Deletie-getrouwheid: Het vermogen van het systeem om informatie werkelijk te wissen, inclusief afgeleide artefacten (bijv. samenvattingen, embeddings) wanneer een gebruiker om verwijdering verzoekt.

Dit paper identificeert en bestudeert dit ontbrekende oppervlak, getiteld deployment-time memorization.

Methodologie

1. Systeemmodel

De auteurs modelleren het agentgeheugen als een write–retrieve–respond pipeline:

Write: Gebruikerssessiedata wordt opgeslagen in het langetermijngeheugen.
Retrieve: Geheugenfragmenten worden opgehaald via cosine similarity en voorafgevoegd aan de context van de agent.
Respond: Het foundation model genereert responsen geconditioneerd op de opgehaalde context.

2. Experimenteel Ontwerp (De "Knobs")

De studie voert een sweep uit over drie specifieke geheugendesign-parameters:

Samenvattingsagressiviteit ( $S$ ): Controleert wat er wordt opgeslagen.
- $S=0$ : Ruwe gebruikersinteracties.
- $S=1$ : Belangrijke persoonlijke feiten geëxtraheerd uit interacties.
- $S=2$ : Sessiesamenvattingen van één zin.
Retrieval Breadth ( $k$ ): Het aantal geheugenfragmenten dat in de context wordt geïnjecteerd ( $k \in \{1, 3, 6, 10, 25\}$ ).
Deletion Mode: Een vijfstaps ladder die bepaalt hoe het systeem omgaat met "vergeet"-verzoeken:
1. No-op: Controle (geen verandering).
2. Raw only: Ruwe tekst gewist; embeddings/samenvattingen ongemoeid.
3. Raw + Resummarize: Ruwe tekst gewist en opnieuw ge-embedded; beïnvloede sessies opnieuw samengevat vanuit de schoongemaakte input.
4. Full Purge: Alle lagen gewist/opnieuw ge-embedded; lege fragmenten verwijderd.
5. Tombstone: Canary vervangen door [REDACTED] in elke laag en opnieuw ge-embedded.

3. Metrieken

Personalization Recall (PR): Meet of de agent vragen correct beantwoordt die gebruikerscontext vereisen (gebaseerd op cosine similarity > 0.50 of verbatim content word coverage).
Adversarial Extraction Rate (AER): Het fractie van hoog-entropische "canary" tokens (geïnjecteerd in eerdere sessies) die verbatim wordt hersteld onder drie probe-typen:
- Direct: Expliciet vragen naar het geheim.
- Indirect: Vragen wat de agent zich herinnert over de gebruiker.
- Jailbreak: Developer-mode of debug-dump instructies.
Privacy–Utility AUC (PUA): De area under the empirical achievable-recall envelope, die de grens samenvat waar een hogere recall wordt bereikt bij een lager extractierisico.
Forgetting Residue Score (FRS): Meet post-deletie lekkage over geheugenlagen (raw vs. summary). Een niet-nul FRS geeft aan dat het geheim nog steeds herstelbaar is ondanks deletie.

4. Setup

Experimenten werden uitgevoerd op de LongMemEval benchmark (oracle split) met gebruik van:

Modellen: Gemma 3 12B (lokaal, open-weight) en GPT-4o-mini (closed-weight).
Data: 50 instanties met synthetische, hoog-entropische canaries geïnjecteerd in non-evidence gebruikersinteracties om deployment-time memorization te isoleren van training exposure.

Belangrijkste Resultaten

1. De Privacy–Utility Frontier

Raw Memory ( $S=0$ ): Biedt geen schoon operationeel punt. Het verhogen van de retrieval breadth ( $k$ ) verbetert de utiliteit (PR) maar verhoogt lineair de lekkage (AER). Voor Gemma 3 12B stijgt PR van 0.42 naar 0.66 naarmate $k$ toeneemt, terwijl AER stijgt van 0.70 naar 0.86.
Summarization ( $S=1$ ): Fungeert als een "laundering" mechanisme.
- Reductie van lekkage: Key-fact samenvatting vermindert de AER met 76% op Gemma 3 12B en 64% op GPT-4o-mini vergeleken met raw memory.
- Behoud van utiliteit: Deze reductie gaat gepaard met minimale kosten voor PR (ongeveer 5% op Gemma, 2% op GPT).
- Retrieval Neutrality: Zodra de inhoud is gecomprimeerd (samengevat), herstelt het verhogen van $k$ de lekkage niet meer. De AER blijft vlak over alle $k$ -waarden, wat aangeeft dat als het geheim afwezig is uit de samenvatting, het ophalen van meer fragmenten het niet kan herstellen.
Probe Gedrag: Onder raw memory leveren directe en indirecte probes verschillende extractierates op. Onder samenvatting dalen deze rates naar hetzelfde lage niveau, wat suggereert dat samenvatting de feitelijke herstelbaarheid op pipeline-niveau controleert, onafhankelijk van de onderliggende model-resistentie tegen jailbreaks.

2. Deletie-getrouwheid en Residue

Het falen van Raw-Only Deletie: Alleen de ruwe record verwijderen ( $S=1$ , "raw only" mode) laat afgeleide samenvattingskopieën herstelbaar achter in ongeveer 20% van de gevallen. De FRS voor de samenvattingslaag blijft statistisch ononderscheidbaar van de "no-op" controle.
Partiële Mitigatie: "Raw plus resummarize" vermindert residue (bijv. tot ~11% op Gemma) maar elimineert het niet, omdat bestaande samenvattings-artefacten niet volledig worden geschoond voordat ze worden geregenereerd.
Echte Wissing: Alleen Full Purge en Tombstone redactie drijven de worst-tier residue (FRS) naar nul in alle settings. Dit bevestigt dat in gelaagde pipelines het verwijderen van de bron onvoldoende is; afgeleide artefacten moeten ook expliciet worden verwijderd of geredacteerd.

Bijdragen

Formalisering van Deployment-Time Memorization: Het paper definieert persistent agentgeheugen als een meetbare systeemfunctie en introduceert een privacy–utility frontier gebaseerd op PR, AER en PUA.
Gecontroleerde Sweep van Design Knobs: Het demonstreert dat samenvatting het extractierisico significant vermindert met verwaarloosbare kosten voor personalisatie, terwijl retrieval breadth alleen geen gunstige afweging kan realiseren.
Deletie-Getrouwheid Benchmark: Door de introductie van de Forgetting Residue Score (FRS) laat het werk zien dat standaard "raw-only" deletie onvoldoende is voor getierde geheugensystemen, en stelt het vast dat volledige pipeline-purging of tombstoning vereist is voor echte werving.

Betekenis

Dit paper stelt dat persistent agentgeheugen moet worden geëvalueerd als een first-class memorization mechanism. Het betoogt dat de privacyrisico's van agents niet louter een bijproduct zijn van modelgewichten, maar actief worden gevormd door deployment-time engineering keuzes.

De bevindingen suggereren een praktisch recept voor veilige agent-deployment:

Gebruik key-fact summarization ( $S=1$ ) om geheimen uit retrieval-contexten te "wassen".
Houd een gematigde retrieval breadth ( $k$ ) aan, aangezien dit de lekkage niet herstelt zodra compressie is toegepast.
Implementeer tier-aware deletion (full purge of tombstoning) om te garanderen dat afgeleide kopieën (samenvattingen, embeddings) niet achterblijven.

Uiteindelijk stelt het werk dat deployment-time memorization een controleerbare utility–leakage frontier is, in plaats van een onvermijdelijk gevolg van het gebruik van foundation models.