🤖 AI

Deployment-Time Memorization in Foundation-Model Agents

Dieses Paper führt „Deployment-Time Memorization“ als ein kritisches Framework zur Evaluierung von Foundation-Model-Agenten ein und demonstriert anhand des LongMemEval-Benchmarks, dass eine aggressive Zusammenfassung zwar das Risiko der adversariellen Extraktion signifikant reduziert, ohne die Personalisierung zu beeinträchtigen, gleichzeitig jedoch ein „Deletion-Fidelity Failure“ offenbart, bei dem abgeleitete Gedächtnis-Tiers (Memory Tiers) verwertbare Rückstände behalten, sofern nicht eine vollständige Pipeline-Bereinigung implementiert wird.

Ursprüngliche Autoren: Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen intelligenten Assistenten vor, der nicht nur einmal mit Ihnen chattet und dann alles vergisst, sondern sich über Monate oder Jahre hinweg an Ihr Leben erinnert. Er erinnert sich daran, dass Sie Fensterplätze im Flugzeug bevorzugen oder dass Sie in Python programmieren. Dies ist ein „Foundation-Model Agent“.

Das von Ihnen geteilte Paper untersucht ein kritisches Problem dieser Langzeitgedächtnissysteme: Wie finden wir die Balance zwischen dem Erinnern der richtigen Dinge für Sie, während gleichzeitig sichergestellt wird, dass kein Hacker Ihre Geheimnisse stehlen kann, und dass sichergestellt wird, dass es wirklich für immer verschwindet, wenn Sie sagen: „Vergiss das“?

Hier ist die Aufschlüsselung der Ergebnisse unter Verwendung einfacher Analogien.

1. Das Problem: Das „Offene Buch“ vs. das „Gesperrte Tagebuch“

Betrachten Sie das Gedächtnis des Agenten als eine Bibliothek.

Der alte Weg (Parametrisches Auswendiglernen): Früher machten wir uns Sorgen, dass Geheimnisse in das Gehirn der KI (ihre Trainingsgewichte) „eingebacken“ sind, wie ein in Stein gemeißeltes Rezept.
Das neue Problem (Gedächtnis zur Laufzeit): Jetzt hat die KI ein separates „Notizbuch“ (externer Speicher), in dem sie Ihre Fakten aufschreibt. Das Paper argumenttiert, dass dieses Notizbuch ein neuer, eigenständiger Ort ist, an dem Geheimnisse gespeichert, geleakt oder vergessen werden können.

Die Forscher suchten nach der „Goldlöckchen-Zone“: Einem Gedächtnissystem, das hilfreich genug ist, um Ihre Fragen zu beantworten, aber sicher genug, damit ein Hacker nicht Ihr Tagebuch lesen kann, und sauber genug, dass ein Geheimnis wirklich verschwindet, wenn Sie darum bitten, es zu löschen.

2. Die drei Regler, an denen sie gedreht haben

Das Team testete drei verschiedene „Regler“ oder Einstellungen, um zu sehen, wie diese das Gedächtnissystem verändern:

Zusammenfassung (Der „Editor“): Anstatt jedes einzelne Wort, das Sie sagten, zu speichern (Rohdaten), konnte die KI nur die wichtigsten Fakten speichern (Kern-Fakten) oder eine einseitige Zusammenfassung erstellen (Ein-Satz-Zusammenfassung).
- Analogie: Stellen Sie sich einen Schreiber vor.
  - Roh: Der Schreiber kopiert Ihr gesamtes Gespräch Wort für Wort.
  - Kern-Fakten: Der Schreiber schreibt nur die wichtigen Daten und Namen auf.
  - Ein-Satz: Der Schreiber schreibt eine einzige Schlagzeile über das Gespräch.
Abrufbreite (Der „Suchumfang“): Wenn Sie eine Frage stellen, wie viele Notizen zieht die KI aus der Bibliothek, um bei der Beantwortung zu helfen?
- Analogie: Schauen Sie sich nur eine einzige Notiz an oder ziehen Sie die obersten 25 Notizen aus dem Regal?
Löschmodus (Der „Radiergummi“): Wenn Sie sagen „Vergiss das“, wie löscht das System es?
- Analogie: Wird einfach die Seite aus dem Notizbuch gerissen? Oder wird das ganze Buch verbrannt? Oder werden die Wörter durch „REDACTED“ (geschwärzt) ersetzt?

3. Die großen Entdeckungen

Entdeckung A: Zusammenfassung ist ein „Privatsphäre-Schild“

Die überraschendste Erkenntnis ist, dass die Zusammenfassung Ihrer Daten es einem Hacker viel schwerer macht, Ihre Geheimnisse zu stehlen, ohne die Fähigkeit der KI einzuschränken, Ihnen zu helfen.

Das Ergebnis: Als die KI „Kern-Fakten“ statt Rohtext speicherte, reduzierte dies die Chance, dass ein Hacker ein Geheimnis stiehlt, um 76 % (bei einem Modell) und 64 % (bei einem anderen Modell).
Der Haken: Die KI erinnerte sich dennoch fast perfekt an Sie. Sie verlor nicht ihre „Persönlichkeit“.
Die Analogie: Denken Sie an einen Wäschereidienst. Wenn Sie der KI Ihre schmutzige Kleidung (Rohdaten) geben, kann ein Dieb Ihr Adressetikett leicht finden. Wenn die KI die Kleidung wäscht und ordentlich faltet (Zusammenfassung), ist das Adressetikett weg, aber die Kleidung ist immer noch sauber und nutzbar.
Entscheidender Punkt: Sob falls das Geheimnis „weggewaschen“ (zusammengefasst) wurde, führt das Ziehen von mehr Notizen (Erhöhung des Suchumfangs) nicht dazu, dass das Geheimnis zurückkehrt. Das Geheimnis ist aus dem System verschwunden.

Entdeckung B: Der „Geist in der Maschine“ (Löschungsfehler)

Dies ist die kritischste Warnung in dem Paper. Eine Datei zu löschen bedeutet nicht immer, dass sie auch wirklich weg ist.

Das Problem: Die KI erstellt verschiedene „Ebenen“ des Gedächtnisses. Sie hat den Rohtext, aber sie erstellt auch abgeleitete Zusammenfassungen basierend auf diesem Text.
Das Versagen: Wenn Sie die KI bitten, ein Geheimnis zu „vergessen“, und das System nur den Rohtext löscht, bleibt die abgeleitete Zusammenfassung oft bestehen.
Der Fehler: In etwa 20 % der Fälle konnte ein Hacker das Geheimnis auch nach der „Löschung“ der Rohnotiz noch in den zusammengefassten Notizen finden.
Die Analogie: Stellen Sie sich vor, Sie sagen einer Sekretärin, sie soll einen Brief wegwerfen. Sie wirft den Brief in den Müll (Löschung der Rohdaten), aber sie hat den Inhalt des Briefes bereits in ihr persönliches Tagebuch geschrieben (abgeleitete Zusammenfassung). Wenn Sie das Tagebuch nicht verbrennen, ist das Geheimnis immer noch da.
Die Lösung: Um etwas wirklich zu löschen, müssen Sie entweder die gesamte Pipeline bereinigen (das Tagebuch und den Brief verbrennen) oder eine „Tombstone“-Methode (Grabstein-Methode) verwenden (das Geheimnis in jeder Version der Notiz durch einen großen roten „REDACTED“-Stempel ersetzen). Nur diese Methoden machten das Geheimnis zu 100 % unauffindbar.

4. Das Faziment: Eine neue Art, Gedächtnis zu messen

Das Paper kommt zu dem Schluss, dass wir KI-Gedächtnis nicht länger als einfachen „An/Aus“-Schalter betrachten können. Es ist ein komplexes System mit Kompromissen.

Die „Privacy-Utility-Frontier“ (Privatsphäre-Nutzen-Grenze): Dies ist eine schicke Art zu sagen, dass es eine Balance-Linie gibt. Man möchte eine hohe „Utility“ (die KI hilft Ihnen) und ein geringes „Leakage“ (Hacker können nichts stehlen).
Die Gewinnstrategie: Das Paper schlägt vor, dass das beste Setup aus Folgendem besteht:
1. Verwenden Sie Kern-Fakten-Zusammenfassungen (um die Geheimnisse „wegzuwaschen“).
2. Verwenden Sie eine ebenenbewusste Löschung (um sicherzustellen, dass das „Tagebuch“ verbrannt wird, nicht nur der Brief).

Kurz gesagt: Wenn Sie einen intelligenten Assistenten bauen, der sich an Sie erinnert, müssen Sie ihn so konzipieren, dass er Ihre Daten zusammenfasst, um sie zu schützen, und Sie müssen ihn so konzipieren, dass er alles löscht (nicht nur die Originaldatei), wenn Sie darum bitten, etwas zu vergessen. Andernfalls könnten Ihre Geheimnisse zwar vor Ihren Augen sicher sein, aber dennoch in den Schatten des KI-Gedächtnisses lauern.

Technisches Resümee: Deployment-Zeit-Memorization in Foundation-Model-Agenten

Problemstellung

Foundation-Model-Agenten entwickeln sich von zustandslosen Assistenten zu langlebigen Systemen, die ein persistentes Nutzergedächtnis über Interaktionen hinweg aufrechterhalten. Während diese Fähigkeit die Personalisierung verbessert, verändert sie die Privatsphäre-Landschaft grundlegend. Im Gegensatz zur traditionellen parametrischen Memorization (bei der Daten in den Modellgewichten kodiert und über Extraktionsangriffe exponiert werden) speichern persistente Agenten Nutzerfakten in externen Memory-Pipelines. Diese Pipelines schreiben, summieren, rufen ab und konditionieren Antworten auf Basis von Nutzerdaten, was eine neue Angriffsfläche schafft.

Die bestehende Forschung hat sich weitgehend auf die Prüfung fester Speicherkonfigurationen oder die Untersuchung parametrischer Memorization konzentriert. Es mangelt jedoch an einer Charakterisierung darüber, wie Memory-Design-Entscheidungen gemeinsam den Trade-off zwischen folgenden Faktoren gestalten:

Personalization Utility: Die Fähigkeit des Agenten, Nutzerpräferenzen abzurufen.
Extraction Risk: Die Wahrscheinlichkeit, dass ein Angreifer private Informationen rekonstruiert.
Deletion Fidelity: Die Fähigkeit des Systems, Informationen wirklich zu löschen, einschließlich abgeleiteter Artefakte (z. B. Zusammenfassungen, Embeddings), wenn ein Nutzer eine Löschung anfordert.

Dieses Paper identifiziert und untersucht diese fehlende Fläche, die als Deployment-Zeit-Memorization bezeichnet wird.

Methodik

1. Systemmodell

Die Autoren modellieren das Agenten-Gedächtnis als eine Write–Retrieve–Respond-Pipeline:

Write: Nutzer-Sessions-Daten werden im Langzeitgedächtnis gespeichert.
Retrieve: Memory-Chunks werden via Cosinus-Ähnlichkeit abgerufen und dem Kontext des Agenten vorangestellt.
Respond: Das Foundation-Model generiert Antworten, die auf dem abgerufenen Kontext konditioniert sind.

2. Experimentelles Design (Die „Knobs“)

Die Studie untersucht drei spezifische Memory-Design-Parameter:

Summarization Aggressiveness ( $S$ ): Kontrolliert, was gespeichert wird.
- $S=0$ : Rohe Nutzer-Turns.
- $S=1$ : Zentrale persönliche Fakten, extrahiert aus den Turns.
- $S=2$ : Ein-Satz-Zusammenfassungen der Session.
Retrieval Breadth ( $k$ ): Die Anzahl der in den Kontext injizierten Memory-Chunks ( $k \in \{1, 3, 6, 10, 25\}$ ).
Deletion Mode: Eine fünfstufige Leiter, die regelt, wie das System mit „Vergessen“-Anfragen umgeht:
1. No-op: Kontrolle (keine Änderung).
2. Raw only: Roher Text wird bereinigt; Embeddings/Zusammenfassungen bleiben unberührt.
3. Raw + Resummarize: Roher Text bereinigt und neu eingebettet; betroffene Sessions werden aus den bereinigten Inputs neu zusammengefasst.
4. Full Purge: Alle Ebenen werden bereinigt/neu eingebettet; leere Chunks werden verworfen.
5. Tombstone: Canary wird in jeder Ebene durch [REDACTED] ersetzt und neu eingebettet.

3. Metriken

Personalization Recall (PR): Misst, ob der Agent Anfragen korrekt beantwortet, die Nutzerkontext erfordern (basierend auf Cosinus-Ähnlichkeit > 0,50 oder der Abdeckung von Wortinhalten verbatim).
Adversarial Extraction Rate (AER): Der Anteil hoch-entropischer „Canary“-Token (die in vorangegangene Sessions injiziert wurden), die unter drei Probentypen verbatim wiederhergestellt werden:
- Direct: Explizite Abfrage des Geheimnisses.
- Indirect: Frage, was der Agent über den Nutzer weiß.
- Jailbreak: Developer-Mode oder Debug-Dump-Instruktionen.
Privacy–Utility AUC (PUA): Die Fläche unter der empirisch erreichbaren Recall-Envelope, welche die Grenze zusammenfasst, an der ein höherer Recall bei geringerem Extraktionsrisiko erreicht wird.
Forgetting Residue Score (FRS): Misst die Leakage nach der Löschung über verschiedene Memory-Ebenen hinweg (Raw vs. Summary). Ein nicht-null FRS zeigt an, dass das Geheimnis trotz Löschung noch rekonstruierbar ist.

4. Setup

Die Experimente wurden auf dem LongMemEval Benchmark (Oracle Split) durchgeführt unter Verwendung von:

Modelle: Gemma 3 12B (lokal, Open-Weights) und GPT-4o-mini (Closed-Weights).
Daten: 50 Instanzen mit synthetischen, hoch-entropischen Canaries, die in Nicht-Evidenz-Nutzer-Turns injiziert wurden, um Deployment-Zeit-Memorization von Trainings-Exposition zu isolieren.

Kernergebnisse

1. Die Privacy–Utility Frontier

Raw Memory ( $S=0$ ): Bietet keinen sauberen Betriebspunkt. Eine Erhöhung der Retrieval Breadth ( $k$ ) verbessert die Utility (PR), erhöht aber linear die Leakage (AER). Für Gemma 3 12B steigt PR von 0,42 auf 0,66, während die $k$ steigt, während die AER von 0,70 auf 0,86 steigt.
Summarization ( $S=1$ ): Fungiert als „Launder“-Mechanismus (Reinigung).
- Reduktion der Leakage: Key-Fact-Summarization reduziert die AER auf Gemma 3 12B um 76 % und auf GPT-4o-mini um 64 % im Vergleich zu Raw Memory.
- Utility-Erhalt: Diese Reduktion geht mit minimalen Kosten für den PR einher (ca. 5 % bei Gemma, 2 % bei GPT).
- Retrieval Neutrality: Sob falls der Inhalt komprimiert (zusammengefasst) wurde, stellt eine Erhöhung von $k$ die Leakage nicht wieder her. Die AER bleibt über alle $k$ -Werte flach, was bedeutet: Wenn das Geheimnis nicht in der Zusammenfassung enthalten ist, kann das Abrufen weiterer Chunks es nicht wiederherstellen.
Probe Behavior: Unter Raw Memory liefern direkte und indirekte Probes unterschiedliche Extraktionsraten. Unter Summarization kollabieren diese Raten auf das gleiche niedrige Niveau, was darauf hindeutet, dass Summarization die faktische Rekuperierbarkeit auf der Pipeline-Ebene steuert, unabhängig von der Jailbreak-Resistenz des zugrunde liegenden Modells.

2. Deletion Fidelity und Residue

Das Versagen von Raw-Only Deletion: Das Löschen nur des rohen Datensatzes ( $S=1$ , „Raw only“ Modus) lässt abgeleitete Kopien in etwa 20 % der Fälle rekonstruierbar. Der FRS für die Summary-Ebene bleibt statistisch ununterscheidbar von der „No-op“-Kontrolle.
Partielle Mitigierung: „Raw plus Resummarize“ reduziert das Residue (z. B. auf ~11 % bei Gemma), eliminiert es aber nicht, da bestehende Summary-Artefakte nicht vollständig bereinigt werden, bevor sie regeneriert werden.
Echte Löschung: Nur Full Purge und Tombstone Redaktion treiben das Worst-Tier-Residue (FRS) auf Null über alle Settings. Dies bestätigt, dass in gestuften Pipelines das Löschen der Quelle unzureichend ist; abgeleitete Artefakte müssen ebenfalls explizit entfernt oder rotiniert werden.

Beiträge

Formalisierung der Deployment-Zeit-Memorization: Das Paper definiert persistentes Agenten-Gedächtnis als messbare Systemfunktion und führt eine Privacy–Utility Frontier basierend auf PR, AER und PUA ein.
Kontrollierte Untersuchung der Design-Knobs: Es zeigt, dass Summarization das Extraktionsrisiko signifikant senkt, ohne nennenswerte Kosten für die Personalisierung zu verursachen, wohingegen die Retrieval Breadth allein keinen günstigen Trade-off erzielen kann.
Deletion-Fidelity Benchmark: Durch die Einführung des Forgetting Residue Score (FRS) zeigt die Arbeit auf, dass die Standard-„Raw-only“ Löschung für gestufte Memory-Systeme unzureichend ist, und etabliert, dass ein Full-Pipeline-Purging oder Tombstoning für echte Löschung erforderlich ist.

Signifikanz

Das Paper stellt fest, dass persistentes Agenten-Gedächtnis als First-Class Memorization Mechanism bewertet werden muss. Es argumentiert, dass die Privacy-Risiken von Agenten nicht bloß ein Nebenprodukt von Modellgewichten sind, sondern aktiv durch Deployment-Zeit-Engineering-Entscheidungen geformt werden.

Die Ergebnisse legen ein praktisches Rezept für sichere Agenten-Deployments nahe:

Verwenden Sie Key-Fact-Summarization ( $S=1$ ), um Geheimnisse aus den Retrieval-Kontexten zu „waschen“.
Behalten Sie eine moderate Retrieval Breadth ( $k$ ) bei, da diese die Leakage nicht wiederherstellt, sobald Kompression angewendet wurde.
Implementieren Sie Tier-aware Deletion (Full Purge oder Tombstoning), um sicherzustellen, dass abgeleitete Kopien (Summaries, Embeddings) nicht zurückbleiben.

Letztlich postuliert die Arbeit, dass Deployment-Zeit-Memorization eine kontrollierbare Utility–Leakage Frontier ist und keine unvermeidliche Konsequenz der Nutzung von Foundation-Modellen.