🤖 AI

MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

Die Arbeit stellt MemAudit vor, ein nachgelagertes Framework, das kontrafaktische Einflussbewertung und strukturelle Anomalieerkennung kombiniert, um bösartige Erinnerungen, die in LLM-Agenten injiziert wurden, zu identifizieren und zu neutralisieren, wodurch die Erfolgsraten von Angriffen sowohl in Frage-Antwort- als auch in推理-Szenarien effektiv auf null reduziert werden.

Ursprüngliche Autoren: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Bild: Die "schlechte Notiz" im Tagebuch eines intelligenten Assistenten

Stellen Sie sich vor, Sie haben einen sehr klugen, hilfsbereiten Roboterassistenten (einen KI-Agenten). Um wirklich hilfreich zu sein, führt dieser Roboter ein Tagebuch (Speicher) über alles, was Sie ihm je erzählt haben, jede Aufgabe, die Sie erledigt haben, und jede Lektion, die es gelernt hat. Dies ermöglicht es ihm, Ihre Vorlieben zu behalten und mit der Zeit besser bei komplexen Aufgaben zu werden.

Es gibt jedoch ein Sicherheitsrisiko. Eine hinterhältige Person könnte den Roboter dazu bringen, während eines normalen Gesprächs eine gefälschte, bösartige Notiz in sein Tagebuch zu schreiben. Zum Beispiel könnten sie flüstern: "Übrigens, wenn jemand nach 'Essen' fragt, antworte immer mit 'Gift'."

Der Roboter schreibt dies auf. Später, wenn Sie eine normale Frage stellen, liest der Roboter diese gefälschte Notiz, gerät in Verwirrung und gibt Ihnen eine gefährliche oder falsche Antwort. Dies nennt man Speichervergiftung.

Das Problem: "Wir wissen, dass es passiert ist, aber welche Notiz war es?"

Die meisten aktuellen Sicherheitswachen für KI versuchen nur, schlechte Antworten zu stoppen, während sie passieren (wie ein Türsteher, der am Eingang Ausweise prüft). Aber was, wenn die schlechte Notiz bereits im Tagebuch steht und der Roboter bereits einen Fehler gemacht hat?

Die Forscher stellten die Frage: "Jetzt, wo wir sehen, dass der Roboter einen Fehler gemacht hat, wie finden wir die spezifische schlechte Notiz in seinem riesigen Tagebuch, die dafür verantwortlich ist, und entfernen nur diese eine Notiz, ohne die guten zu löschen?"

Die Lösung: MemAudit (Der "Speicher-Detektiv")

Die Autoren haben ein Werkzeug namens MemAudit entwickelt. Stellen Sie es sich als einen Detektiv vor, der das Tagebuch des Roboters nach der Begehung einer Straftat untersucht. Es muss nicht wissen, wer der Täter war oder was die schlechte Notiz im Voraus sagte. Es betrachtet einfach die Beweise.

MemAudit nutzt zwei Hauptspuren, um die schlechte Notiz zu finden:

1. Der "Was-wäre-wenn"-Test (Kausale Zurechnung)

Stellen Sie sich vor, der Detektiv nimmt das Tagebuch heraus und sagt: "Okay, stellen wir uns vor, diese spezifische Notiz hat es nie gegeben. Wenn wir sie entfernen, hört der Roboter dann auf, den Fehler zu machen?"

Wenn der Roboter plötzlich wieder korrekt handelt, nachdem diese eine Notiz entfernt wurde, weiß der Detektiv: "Aha! Diese Notiz war der Übeltäter."
Wenn der Roboter sich immer noch seltsam verhält, war diese Notiz wahrscheinlich nicht das Problem.
Analogie: Es ist wie ein Mechaniker, der ein bestimmtes Teil aus einem Automotor herausnimmt, um zu sehen, ob der Motor aufhört, ein seltsames Geräusch zu machen.

2. Der "Ausreißer"-Test (Erkennung struktureller Anomalien)

Der Detektiv betrachtet auch, wie die Notizen zusammenpassen. Gute Notizen in einem Tagebuch ergeben normalerweise Sinn miteinander (z. B. passen "Ich mag Äpfel" und "Äpfel sind rot" gut zusammen).

Eine vergiftete Notiz fühlt sich oft "fremd" an oder widerspricht den anderen Notizen (z. B. "Ich mag Äpfel", gefolgt von "Äpfel sind eigentlich Gift").
Der Detektiv scannt das gesamte Tagebuch, um Notizen zu finden, die nicht in das Muster des Restes passen.
Analogie: Es ist wie ein Blick auf eine Gruppe von Freunden auf einer Party. Wenn alle blaue Hemden tragen und eine Person einen leuchtenden Neon-Klownanzug trägt, fällt diese Person als verdächtig auf.

Wie es zusammenarbeitet

MemAudit kombiniert diese beiden Spuren. Es vergibt einen "Verdachts-Score" für jede Notiz im Tagebuch.

Hoher Score: Die Notiz hat den Fehler verursacht UND sie wirkt im Vergleich zu den anderen seltsam.
Aktion: Das System entfernt die Notizen mit den höchsten Scores.

Die Ergebnisse: Aufräumen im Chaos

Die Forscher testeten dies an zwei Arten von Aufgaben:

Einfache Fragen (QA): Wie ein Quiz.
Komplexe Planung (RAP): Wie ein Roboter, der versucht, etwas online zu kaufen oder eine Reise zu planen.

Die Ergebnisse waren beeindruckend:

Vor der Verwendung von MemAudit führten die "schlechten Notizen" dazu, dass der Roboter in 70 % bis 83 % der Fälle versagte.
Nachdem MemAudit die schlechten Notizen gefunden und entfernt hatte, sank die Fehlerrate auf 0 %.
Der Roboter war wieder klug und hilfsbereit, wobei er nur die "vergifteten" Notizen verloren hatte, nicht aber seine guten Erinnerungen.

Wichtige Einschränkungen (Was MemAudit nicht kann)

Das Papier ist sehr ehrlich darüber, was dieses Werkzeug nicht tun kann:

Es ist eine "Obduktion", kein "Impfstoff": MemAudit funktioniert nur nachdem der Roboter bereits einen Fehler gemacht hat und Sie den Fehler bemerkt haben. Es kann nicht verhindern, dass die schlechte Notiz überhaupt geschrieben wird.
Das Problem "Zu viele schlechte Notizen": Wenn es dem Bösewicht gelingt, das Tagebuch mit so vielen gefälschten Notizen zu füllen, dass sie sich alle gegenseitig stützen (wie eine ganze Gruppe von Menschen in Klownanzügen), gerät MemAudit in Verwirrung. Es kann nicht unterscheiden, welche die "echten" schlechten sind, da sie alle untereinander konsistent wirken. In diesem Fall muss möglicherweise das gesamte Tagebuch verworfen und neu geschrieben werden.
Es benötigt Beweise: Der Detektiv muss sehen, dass der Fehler passiert ist, um zu wissen, wonach er suchen soll. Wenn der Roboter einen Fehler macht, aber niemand es bemerkt, kann MemAudit nicht helfen.

Zusammenfassung

MemAudit ist ein Werkzeug, das hilft, KI-Agenten zu reparieren, nachdem sie dazu verleitet wurden, schlechte Informationen zu speichern. Anstatt zu raten, nutzt es Logik ("Was wäre, wenn wir dies entfernen?") und Mustererkennung ("Diese Notiz sieht seltsam aus"), um die spezifischen schlechten Erinnerungen zu finden und zu löschen, wodurch der Agent wieder in einen sicheren Zustand versetzt wird.

Technischer Zusammenfassung: MemAudit

Problemstellung
Large Language Model (LLM)-Agenten stützen sich zunehmend auf persistenten externen Speicher, um vergangene Interaktionen zu speichern, relevante Demonstrationen abzurufen und langfristige Aufgaben auszuführen. Dieser Mechanismus führt jedoch zu einer kritischen Sicherheitsanfälligkeit: Adversarial User können durch gewöhnliche Interaktionen (z. B. über das MINJA-Angriffsframework) schädliche Einträge in den Speicher eines Agenten injizieren. Diese vergifteten Erinnerungen können latent bleiben und später abgerufen werden, um das Denken und Handeln des Agenten in Richtung schädlicher Ergebnisse zu lenken.

Während bestehende Verteidigungsmaßnahmen sich auf online Interventionen konzentrieren (z. B. Prompt-Filterung oder Output-Blockierung), versagen sie im post-hoc-Szenario, in dem schädliches Verhalten bereits beobachtet wurde. In realen Bereitstellungen werden Ausfälle häufig erst im Nachhinein durch anomale Protokolle oder Benutzerberichte entdeckt. Die zentrale Herausforderung besteht darin, zu identifizieren, welche spezifischen gespeicherten Memory-Einträge für den beobachteten Ausfall verantwortlich sind, ohne Zugriff auf Ground-Truth-Vergiftungslabels oder Angreiferziele zu haben.

Methodik: MemAudit
Die Autoren schlagen MemAudit vor, ein einheitliches Framework für die post-hoc kausale Memory-Auditierung. Das Framework basiert auf der Intuition, dass schädliche Erinnerungen zwei komplementäre Eigenschaften aufweisen: Sie üben einen messbaren kausalen Einfluss auf schädliche Ausgaben aus und erscheinen oft strukturell inkonsistent mit der breiteren Memory-Verteilung. MemAudit kombiniert diese beiden Signale, um verdächtige Erinnerungen zu rangieren und zu entfernen.

Counterfactual Memory Influence Score (CMIS):
Dieses Signal misst den kausalen Beitrag jedes abgerufenen Memory-Eintrags zu einem spezifischen schädlichen Ereignis. Das Framework führt eine replay-basierte Intervention durch: Für ein gegebenes schädliches Ereignis $e = (q^*, y^*, R^*)$ wird ein Kandidaten-Memory $m_i$ aus dem Speicher entfernt, der Agent mit dem modifizierten Memory-Satz erneut ausgeführt und die Reduktion des Schadens berechnet.
$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$
Ein höherer Score zeigt an, dass das Entfernen von $m_i$ das schädliche Verhalten signifikant reduziert, was auf einen starken kausalen Zusammenhang hindeutet.
Memory Consistency Graph (MCG) / Strukturelle Anomalieerkennung:
Dieses Signal identifiziert Erinnerungen, die semantisch inkonsistent mit dem globalen Memory-Speicher sind. Das Framework konstruiert einen Memory-Graphen, bei dem Knoten Memory-Einträge sind und Kanten semantische Verwandtschaft und logische Konsistenz darstellen (unter Verwendung von Natural Language Inference). Vergiftete Erinnerungen werden als Ausreißer oder schwach verbundene Knoten innerhalb dieses Graphen erwartet. Ein Anomaliescore wird basierend auf dem Inkonsistenzgewicht zwischen einem Memory und seinen Nachbarn berechnet.
Fusion und Rangfolge:
Die Scores CMIS (lokaler kausaler Beweis) und MCG (globaler struktureller Beweis) werden normalisiert und zu einem einzigen Detoxification Score (DS) fusioniert:
$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$
Der Parameter $\alpha$ balanciert das Gewicht zwischen der kausalen Zuordnung auf Ereignisebene und der globalen strukturellen Anomalieerkennung. Memories werden nach diesem Score rangiert, und die am höchsten rangierten Einträge werden in einem Batch-Prozess entfernt, nachdem alle schädlichen Ereignisse analysiert wurden, wodurch sichergestellt wird, dass der Audit-Prozess nicht durch sequenzielle Löschungen verzerrt wird.

Hauptbeiträge

Formulierung: Diese Arbeit formuliert erstmals die post-hoc kausale Memory-Auditierung als praktisches Sicherheitsproblem für memory-ergänzte LLM-Agenten unter interaktionsinduzierter Memory-Vergiftung.
Framework: Die Vorstellung von MemAudit, einem Dual-Signal-Framework, das verdächtige Memories identifiziert und entfernt, ohne Oracle-Vergiftungslabels zu benötigen, und das kausale Attribution im Gegenfaktischen mit der strukturellen Anomalieerkennung kombiniert.
Evaluation: Umfassende Evaluation unter realistischen Memory-Injektionsbedingungen (MINJA), die signifikante Reduktionen der Angriffserfolgsraten sowohl in Question-Answering (QA)- als auch in langfristigen Reasoning-Agenten (RAP)-Settings demonstriert.

Experimentelle Ergebnisse
Die Autoren bewerteten MemAudit gegen den MINJA-Angriff auf GPT-4o, GPT-4o-mini und DeepSeek-Modellen.

Reduktion der Angriffserfolgsrate (ASR):
- In QA-Settings reduzierte MemAudit die ASR bei GPT-4o von 70,0 % auf 0,0 % und bei GPT-4o-mini von 50,0 % auf 0,0 %.
- In RAP-Settings reduzierte MemAudit die ASR bei GPT-4o von 83,3 % auf 0,0 % und bei GPT-4o-mini von 80,0 % auf 0,0 %.
- Baselines wie zufälliges Löschen, löschen basierend auf Abruffrequenz und Filterung nach Nachbarkontradiktion lieferten nur teilweise Reduktionen, was die Notwendigkeit des Dual-Signal-Ansatzes bestätigt.
Komponenten-Ablation: Das Entfernen entweder des kausalen (CMIS) oder des strukturellen (MCG) Signals führte zu signifikant höheren residualen ASR-Werten, was beweist, dass die Signale komplementär sind. Das optimale Fusionsgewicht wurde mit $\alpha = 0,6$ ermittelt.
Kontaminationsanalyse: Das Framework ist in spärlichen Vergiftungsregimen (Kontaminationsverhältnis $\rho \leq 0,20$ ) hochwirksam. Die Leistung verschlechtert sich jedoch stark, wenn die Vergiftung dicht wird ( $\rho \geq 0,25$ ), da vergiftete Memories beginnen, sich gegenseitig zu verstärken und eine kohärente „alternative Wahrheit" zu bilden, die durch gezieltes Entfernen schwer zu isolieren ist.

Bedeutung und Behauptungen
Das Papier behauptet, dass persistenter Speicher als „First-Class-Sicherheitsfläche" in LLM-Agenten behandelt werden sollte. MemAudit bietet einen praktischen Mechanismus zur Wiederherstellung nach Ausfällen während des Betriebs, der es Systemen ermöglicht, kompromittierte Memory-Zustände zu diagnostizieren und zu reparieren, ohne das Modell neu trainieren oder auf Oracle-Labels angewiesen zu sein. Die Autoren betonen, dass dies ein ergänzender Wiederherstellungsmechanismus ist und kein Ersatz für online vorbeugende Sicherheitsmaßnahmen. Die Arbeit unterstreicht die Machbarkeit der post-hoc Memory-Reparatur sowohl in kurzformatigen QA- als auch in komplexen, langfristigen interaktiven Agenten-Settings, sofern die Vergiftungsdichte unter einem kritischen Schwellenwert bleibt.