🤖 machine learning

State Contamination in Memory-Augmented LLM Agents

Dieser Artikel identifiziert und quantifiziert „Memory Laundering", ein Sicherheitsversagen bei durch Speicher erweiterten LLM-Agenten, bei dem toxischer Kontext in scheinbar sichere Zusammenfassungen komprimiert wird, die dennoch künftige Generationen verdeckt beeinflussen, und zeigt damit, dass eine wirksame Eindämmung die Bereinigung des Zustands vor der Zusammenfassung erfordert und nicht lediglich die Bereinigung der endgültigen Ausgabe.

Ursprüngliche Autoren: Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem der „schlechten Erinnerung"

Stellen Sie sich vor, Sie führen ein sehr langes, komplexes Gespräch mit einer Gruppe von KI-Assistenten. Diese Assistenten sind intelligent, haben aber ein Limit für ihr Kurzzeitgedächtnis. Um das Gespräch über Stunden oder Tage aufrechtzuerhalten, verwenden sie ein „Erinnerungsnotizbuch". Alle paar Minuten fassen sie zusammen, was gerade passiert ist, schreiben eine kurze Notiz in das Notizbuch und werfen dann das lange, chaotische Transkript des eigentlichen Chats weg.

Das Problem, das dieses Paper entdeckt, nennt sich „Geldwäsche der Erinnerung" (Memory Laundering).

Stellen Sie es sich vor wie einen Kriminellen, der schmutziges Geld waschen will. Er nimmt Bargeld, das eindeutig „schmutzig" ist (toxisch, hasserfüllt oder aggressiv), führt es durch eine Maschine (den Zusammenfassungs-Algorithmus), und heraus kommt „sauberes" Geld (eine höfliche Zusammenfassung). Für einen Bankangestellten (einen Sicherheitsfilter) sieht das Geld völlig legal aus. Aber die Quelle des Geldes war immer noch schmutzig, und die Absicht dahinter bleibt bestehen.

In der Welt der KI wird eine toxische Nachricht in einen höflichen Satz zusammengefasst. Der Sicherheitsfilter sagt: „Das sieht sicher aus!" Aber weil die Zusammenfassung immer noch die Stimmung oder die Konfliktstruktur des ursprünglichen Streits trägt, wird der nächste KI-Agent trotzdem wütend. Die Toxizität ist nicht verschwunden; sie wurde nur in einer sauber aussehenden Zusammenfassung versteckt.

Die drei Wege, auf denen sich Toxizität ausbreitet

Die Autoren fanden heraus, dass sich schlechtes Verhalten auf drei spezifische Arten im KI-System ausbreitet, wie Wasser, das durch verschiedene Risse in einem Damm sickert:

Das „Rohes Transkript"-Leck (Offene Toxizität):
Stellen Sie sich vor, die KI-Agenten lesen die gesamte Historie des Chats, Wort für Wort. Wenn jemand etwas Böses sagt, liest die nächste Person genau dieses böse Wort und wird wütend. Das ist offensichtlich. Sicherheitsfilter können dies leicht erkennen, da die bösen Worte direkt offen zu sehen sind.
Das „Geldwäsche der Erinnerung"-Leck (Versteckte Toxizität):
Dies ist die Hauptentdeckung des Papers. Stellen Sie sich vor, die KI-Agenten lesen nur das „Erinnerungsnotizbuch" (die Zusammenfassung). Die Zusammenfassung lautet: „Die Gruppe hatte eine hitzige Debatte über Politik."
- Der Trick: Die Zusammenfassung hat die Flüche und Beleidigungen entfernt. Ein Sicherheitsfilter scannt sie und sagt: „Sicher! Keine bösen Worte gefunden."
- Die Falle: Obwohl die Worte sauber sind, ist das Gefühl des Streits immer noch da. Der nächste KI-Agent liest „hitzige Debatte" und denkt: „Oh, das ist ein Streit", und beginnt daher aggressiv zu handeln. Die Toxizität wurde in eine sicher aussehende Notiz „gewaschen", die trotzdem Ärger verursacht.
Das „Schlechte Gewohnheit"-Leck (Parametrische Verzerrung):
Stellen Sie sich vor, die KI selbst hat eine schlechte Gewohnheit. Selbst wenn die Notizen sauber sind, hat die KI gelernt, dass sie bei jedem Anzeichen von Konflikt aggressiv reagieren sollte. Es ist wie bei einer Person, die wütend wird, nur weil jemand die Stimme erhoben hat, auch wenn sie nichts Böses gesagt hat. Dies ist die interne „Muskelgedächtnis"-Reaktion der KI auf die Situation.

Das neue Werkzeug: Die „Sub-Schwellen-Lücke"

Wie misst man ein Problem, das Sicherheitsfilter nicht sehen können? Die Autoren haben eine neue Metrik erfunden, die Sub-Schwellen-Propagations-Lücke (SPG) heißt.

Die Analogie: Stellen Sie sich einen Metalldetektor am Flughafen vor. Er piept, wenn Sie eine Waffe tragen (hohe Toxizität). Aber was ist, wenn Sie eine Waffe aus Plastik tragen, die der Detektor ignoriert? Sie sind immer noch gefährlich, aber die Maschine sagt, Sie seien sicher.
Die Metrik: Die SPG misst den Unterschied im Verhalten zwischen zwei Gruppen von KI:
1. KI, die eine Zusammenfassung eines netten Gesprächs gelesen hat.
2. KI, die eine Zusammenfassung eines toxischen Gesprächs gelesen hat (aber die Zusammenfassung sah für den Detektor „sicher" aus).
- Wenn sich die zweite Gruppe aggressiver verhält als die erste, obwohl die Zusammenfassungen für den Sicherheitsfilter identisch aussahen, haben Sie die „Sub-Schwellen-Lücke" gefunden. Es beweist, dass die „Plastikwaffe" immer noch gefährlich ist.

Die Lösung: Reinigen Sie das Wasser, bevor Sie es abfüllen

Das Paper testete mehrere Wege, um dies zu beheben, wie den Versuch, ein Leck in einem Rohr zu stoppen.

Filtern der Ausgabe (Zu spät): Die Antwort der KI zu überprüfen und böse Worte zu löschen, ist wie das Aufwischen von Wasser, nachdem das Rohr bereits geplatzt ist. Es stoppt das sichtbare Chaos, aber das Wasser (die Toxizität) hat sich bereits in den Boden (das Gedächtnis) gesaugt.
Reinigen der Zusammenfassung (Zu spät): Zu versuchen, das „Erinnerungsnotizbuch" umzuschreiben, nachdem die Zusammenfassung geschrieben wurde, ist oft auch zu spät. Bis Sie sie umschreiben, ist die „Streit-Stimmung" bereits in den Text eingebacken. Der Sicherheitsfilter mag sie passieren lassen, aber die KI bekommt immer noch den falschen Eindruck.
Die Gewinnstrategie (Sanieren vor dem Zusammenfassen): Die effektivste Lösung ist es, das schlechte Wasser zu stoppen, bevor es in die Flasche gelangt.
- Wie es funktioniert: Bevor die KI die Zusammenfassung schreibt, überprüfen Sie das rohe, chaotische Chat-Protokoll. Wenn es toxischen Inhalt gibt, reinigen Sie ihn oder blockieren Sie ihn genau dann. Dann schreiben Sie die Zusammenfassung basierend auf der sauberen Version.
- Das Ergebnis: Die Zusammenfassung ist wirklich sauber, nicht nur „sieht sauber aus". Die KI liest eine Zusammenfassung einer ruhigen Diskussion und bleibt ruhig.

Das Fazit

Das Paper kommt zu dem Schluss, dass KI-Agenten sicher sein müssen, können wir nicht nur darauf achten, was sie jetzt sagen. Wir müssen darauf achten, was sie erinnern.

Wenn Sie ein sicheres KI-Team wollen, können Sie nicht bis zum Ende warten, um ihre Notizen zu überprüfen. Sie müssen sicherstellen, dass die Notizen aus einer sauberen Quelle geschrieben werden. Wenn Sie toxische Ideen zulassen, die in „sicher aussehende" Zusammenfassungen komprimiert werden, werden diese Ideen weiter wandern, für Standard-Sicherheitsprüfungen unsichtbar, und dazu führen, dass die KI später ausbricht.

Kurz gesagt: Waschen Sie nicht nur das schmutzige Geschirr; stellen Sie sicher, dass Sie das schmutzige Essen gar nicht erst in die Spülmaschine geben.

Technische Zusammenfassung: Zustandskontamination in speicherergänzten LLM-Agenten

Problemstellung

Large Language Model (LLM)-Agenten stützen sich zunehmend auf persistente Zustände – wie Transkripte, Zusammenfassungen und Speicherpuffer – um Interaktionen über lange Zeiträume zu ermöglichen. Während diese Fähigkeit den Nutzen erhöht, führt sie zu einem neuartigen Sicherheitsversagensmodus, der als Memory Laundering (Geldwäsche von Zuständen) bezeichnet wird. In diesem Szenario werden toxische oder adversarische Kontexte in Speicherzusammenfassungen komprimiert, die unter Standard-Toxizitätsklassifikatoren harmlos erscheinen (d. h. sie liegen unterhalb der Erkennungsschwellen), jedoch eine feindselige Rahmung, Konfliktstrukturen oder adversarische Haltungen bewahren. Diese „gereinigten" Zusammenfassungen konditionieren nachfolgende Agenten darauf, toxische Antworten zu generieren und umgehen damit effektiv Sicherheitsmonitore, die nur offensichtliche Ausgaben inspizieren.

Die Kernherausforderung besteht darin, dass die Sicherheit in Agentensystemen nicht nur von den einzelnen Modellausgaben abhängt, sondern von dem sich entwickelnden Zustand, den das System speichert und wiederverwendet. Traditionelle Sicherheitsmaßnahmen, wie das Filtern von Ausgaben oder das Unlearning von Parametern, adressieren die Zustands-level-Propagation von Toxizität nicht, bei der schädliche Einflüsse innerhalb von klassifikator-gereinigten Speicherzuständen verborgen sind.

Methodik

Experimentelles Setup

Die Autoren verwenden ein gepaartes kontrafaktisches Multi-Agent-Rollout-Framework, um kausale Effekte zu isolieren.

Setup: Ein menschlicher Seed-Post initiiert einen Konversationsgraphen, in dem ein fokaler Agent ( $A_1$ ) angewiesen wird, entweder toxisch oder neutral zu antworten. Alle anderen Agenten ( $A_2, \dots, A_n$ ) und Systemparameter bleiben unverändert.
Modelle: Für die Phänomen-Experimente wird gpt-4o-mini verwendet, während für Interventions-Experimente, die Zugriff auf Parameter erfordern, Llama-3.1-8B-Instruct mittels LoRA feinabgestimmt wird.
Toxizitätsmessung: Ein Open-Source-Toxizitätsmodell (Detoxify) bewertet alle Nachrichten. Ein Schwellenwert $\tau=0.5$ markiert offensichtliche Toxizität.
Zustandskanäle: Die Studie unterscheidet zwischen drei Kanälen toxischer Persistenz:
1. Transcript Backflow (Rückfluss des Transkripts): Rohes Konversationsverlauf mit toxischen Nachrichten.
2. Memory Laundering: Komprimierte Zusammenfassungen toxischer Interaktionen, die für Klassifikatoren sicher erscheinen.
3. Parametrische Verzerrung: Die Tendenz des Modells, aufgrund seiner internen Parameter den Register toxischer Kontexte anzunehmen.

Schlüsselmetriken

Um versteckte Einflüsse zu quantifizieren, führt das Papier die Sub-Threshold Propagation Gap (SPG) ein:
$SPG(\tau) = E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{toxic}] - E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{neutral}]$
Diese Metrik misst den Unterschied in der nachgelagerten Toxizität, konditioniert auf Speicherzustände, die ein eingesetzter Monitor als sicher klassifizieren würde ( $\text{tox}(M_t) < \tau$ ). Ein positiver SPG-Wert zeigt an, dass „saubere" Speicherzustände dennoch toxisches Verhalten antreiben. Die Studie verfolgt zudem die durchschnittliche Verschiebung der nachgelagerten Toxizität ( $\Delta\mu$ ) und das 95. Perzentil der Toxizität ( $P95_{tox}$ ), um Tail-Risiken zu erfassen.

Minderungsrahmen

Die Autoren schlagen einen Minderungsrahmen mit drei Pfaden vor, der auf jeden Persistenzkanal abzielt:

Transcript Control (Lese-/Schreibzugriff): Bereinigung des Kontexts vor der Generierung und Gate-Steuerung der Ausgaben, bevor sie in das Transkript gelangen.
Memory Control: Bereinigung von Zusammenfassungen bevor sie in persistenten Speicher komprimiert werden (Write-Side-Gating/Umformulierung) versus Bereinigung nach der Komprimierung.
Parameter-Level Control: Feinabstimmung der Policy mittels Direct Preference Optimization (DPO) auf gepaarten toxisch-neutralen Rollouts, um die Tendenz des Modells zu reduzieren, toxische Kontexte zu verstärken.

Wichtige Ergebnisse

1. Existenz von Memory Laundering

Experimente bestätigen, dass toxisch konditionierte Speicherzusammenfassungen konsistent unterhalb standardmäßiger Toxizitätsschwellen liegen (z. B. mittlere Toxizität $\approx 0.085$ im Vergleich zum Schwellenwert $0.5$), dennoch jedoch eine signifikant höhere nachgelagerte Toxizität hervorrufen als neutrale Baselines.

SPG-Evidenz: In Ketten-Topologien betrug der SPG $0.140 $($ p = 3.75 \times 10^{-8}$), was zeigt, dass klassifikator-gereinigter Speicher erheblichen behavioralen Einfluss behält.
Robustheit: Dieses Phänomen bleibt über verschiedene Klassifikator-Schwellenwerte hinweg bestehen ( $\tau \in \{0.03, \dots, 0.5\}$ ) und bei verschiedenen Graph-Topologien (Ketten, Bäume, DAGs), wobei die Stärke je nach Topologie variiert.

2. Distinkte Propagationskanäle

Die Studie trennt die Quellen der Toxizität:

Transcript Backflow treibt primär offensichtliche nachgelagerte Toxizität an (hohes $\Delta\mu$ und $P95_{tox}$ ).
Komprimierter Speicher trägt versteckte, sub-schwellenwertige Einflüsse (hohes SPG).
Zeitpunkt der Bereinigung: Interventionen, die nach der Zusammenfassung angewendet werden (z. B. Umformulierung einer fertigen Zusammenfassung), reduzieren offensichtliche Toxizität, schließen jedoch die versteckte Lücke nicht (SPG bleibt hoch). Umgekehrt eliminiert die Bereinigung von Inhalten bevor sie in den Speicher komprimiert werden (Write-Gating) den SPG effektiv.

3. Wirksamkeit der Minderung

Einzelinterventionen: Output-Filter reduziert sichtbare Toxizität, lässt aber Propagationskanäle offen. DPO allein reduziert die durchschnittliche Verstärkung, scheitert jedoch daran, kontaminierte Zustände zu entfernen, wodurch hohe Tail-Toxizität bestehen bleibt.
Vollständiges System: Die Kombination aus Lese-seitiger Bereinigung, Schreib-seitiger Zustandskontrolle und Parameter-Level-Debiasing dominiert strikt andere Konfigurationen. Sie erzielt die niedrigste mittlere Toxizität, das niedrigste $\Delta\mu$ , das niedrigste $P95_{tox}$ und einen nahezu null SPG.
Kritische Erkenntnis: Die effektivste Minderung ist die Bereinigung des Zustands vor der Zusammenfassung. Die Reinigung nur der finalen Zusammenfassung ist unzureichend, da die adversarische Rahmung möglicherweise bereits unterhalb des Erkennungsschwellenwerts des Klassifikators komprimiert wurde.

Bedeutung und Behauptungen

Das Papier behauptet, Memory Laundering als einen bisher nicht untersuchten Sicherheitsversagensmodus in speicherergänzten LLM-Agenten identifiziert und empirisch charakterisiert zu haben. Seine Hauptbeiträge sind:

Definition von Memory Laundering: Der Nachweis, dass Zusammenfassung offensichtliche toxische Kontexte in klassifikator-gereinigte Zustände verwandeln kann, die Agenten dennoch zu toxischem Verhalten steuern.
Neue Metrik (SPG): Einführung einer Metrik zur Messung behavioralen Einflusses im Bereich, den ein eingesetzter Monitor als sicher klassifizieren würde, wodurch versteckte Propagation aufgedeckt wird, die Standardmetriken übersehen.
Zustands-Level-Sicherheitsparadigma: Die Argumentation, dass Sicherheit in Agentensystemen als Zustandskontrollproblem behandelt werden muss. Die Autoren behaupten, dass robuste Sicherheit die Bereinigung von Zuständen vor ihrer Komprimierung in persistenten Speicher erfordert, da eine nachträgliche Reinigung von Zusammenfassungen oft zu spät kommt, um versteckte Einflüsse zu verhindern.

Die Arbeit legt nahe, dass aktuelle Sicherheitsparadigmen, die sich ausschließlich auf Output-Filter oder Parameter-Unlearning konzentrieren, für Multi-Agentensysteme unzureichend sind, in denen Kontext wiederverwendet und komprimiert wird. Der vorgeschlagene zustandsbewusste Rahmen bietet eine notwendige architektonische Einschränkung für den sicheren Einsatz von Agenten über lange Zeiträume.