💬 NLP

Memory Contagion: Cross-Temporal Propagation of Evaluator Bias via Agent Memory

Diese Arbeit identifiziert und formalisiert „Memory Contagion“, ein Phänomen, bei dem sich Evaluator-Bias über die Zeit durch Agenten-Speichersysteme ausbreitet, wobei sie zeigt, dass eine Längenpräferenz-Bias selbst bei perfekter Konsolidierung zukünftige Agenten infizieren kann, während eine Autoritäts-Bias dies nicht tut, was eine modell-generationsabhängige Anfälligkeit in aktuellen KI-Speicherarchitekturen offenbart.

Ursprüngliche Autoren: Zewen Liu

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zewen Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Wie schlechte Erinnerungen wie ein Virus verbreitet werden

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten. Um wirklich hilfreich zu sein, benötigt dieser Roboter eine Gedächtnisbank, in der er Lektionen speichert, die er aus vergangenen Gesprächen gelernt hat.

Normalerweise machen wir uns Sorgen, dass Roboter Dinge „vergessen“ könnten oder dass ihr Gedächtnis mit der Zeit unordentlich werden könnte. Aber diese Arbeit stellt ein neues, beängstigendes Problem vor: die Memory Contagion (Gedächtnis-Ansteckung).

Denken Sie an Folgendes: Wenn ein Roboter von einem Lehrer lernt, der eine seltsame, voreingenommene Angewohnheit hat (wie zum Beispiel immer lange Antworten zu loben oder immer berühmten Namen zu vertrauen), dann lernt der Roboter diese Angewohnheit. Wenn der Roboter diese Lektion in sein Gedächtnisbuch schreibt, wird die „Voreingenommenheit“ mit in die Tinte geschrieben. Wenn später ein anderer Roboter dasselbe Gedächtnisbuch öffnet, um zu lernen, steckt er sich mit dieser schlechten Angewohnheit an – selbst wenn der eigene Lehrer des neuen Roboters vollkommen fair ist.

Die Voreingenommenheit verbreitet sich von einem Roboter zum anderen durch das gemeinsame Gedächtnis, genau wie ein Schnupfenvirus durch eine gemeinsam genutzte Wasserflasche übertragen wird.

Das Experiment: Zwei Arten von „schlechten Angewohnheiten“

Die Forscher testeten dies mit zwei spezifischen Arten von Voreingenommenheit:

Die „Schwätzigkeits“-Voreingenommenheit (Long-Winded Bias): Stellen Sie sich einen Lehrer vor, der denkt: „Länger ist besser.“ Er gibt nur langen, wortreichen Antworten hohe Punktzahlen.
Die „Namensnennungs“-Voreingenommenheit (Name-Dropper Bias): Stellen Sie sich einen Lehrer vor, der denkt: „Berühmt ist besser.“ Er gibt nur Antworten hohe Punktzahlen, die berühmte Studien zitieren oder Phrasen wie „Laut Untersuchungen...“ verwenden.

Was sie herausgefunden haben

Die Forscher führten eine Reihe von Tests durch, um zu sehen, wie diese Ansteckung funktioniert. Hier sind ihre wichtigsten Erkenntnisse, einfach erklärt:

1. Ein perfektes Gedächtnis behebt keine schlechten Eingaben

Normalerweise dachten Wissenschaftler, dass ein Roboter sicher wäre, wenn man über ein „perfektes“ Gedächtnissystem verfügte (eines, das niemals Details verliert oder Fehler macht).

Das Ergebnis: Selbst mit einem perfekten Gedächtnissystem verbreitete sich die Voreingenommenheit weiterhin.
Die Analogie: Stellen Sie sich vor, Sie haben eine perfekte High-Definition-Kamera. Wenn Sie ein Foto von einem Raum mit einem roten Licht machen, wird das Foto rot sein. Es spielt keine Rolle, wie gut die Kamera ist; wenn der Input voreingenommen ist, ist auch der Output voreingenommen. Das „Virus“ ist durch die Tür gekommen, nicht durch die Kamera.

2. Der „Gedächtnis-Zusammenfasser“ reagiert unterschiedlich auf verschiedene Voreingenommenheiten

Roboter fassen ihre Erinnerungen oft zusammen, um Platz zu sparen (indem sie zum Beispiel eine lange Geschichte in einen kurzen Stichpunkt verwandeln). Die Forscher fanden heraus, dass dieser Prozess der Zusammenfassung die Voreingenommenheit auf unerwartete Weise verändert:

Für die „Schwätzigkeits“-Voreingenommenheit: Das Zusammenfassen half tatsächlich. Als der Roboter die langen, wortreichen Antworten zusammenfasste, kürzte er sie naturgemäß ein. Die Voreingenommenheit wurde schwächer (sie wurde um 84 % reduziert).
Für die „Namensnennungs“-Voreingenommenheit: Das Zusammenfassen machte es tatsächlich schlimmer. Wenn der Roboter den Text zusammenfasste, behielt er die berühmten Namen und Phrasen wie „Laut Untersuchungen“ bei, weil dies die wichtigsten Teile der Geschichte waren. Dies konzentrierte die Voreingenommenheit und machte sie stärker (sie stieg in ihrem Test um 47 % an).
Die Analogie: Denken Sie daran, einen Schwamm auszudrücken.
- Wenn der Schwamm voll Wasser ist (lange Antworten), drückt das Auswringen das Wasser heraus (behebt die Voreingenommenheit).
- Wenn der Schwamm voll Glitzer ist (berühmte Namen), drückt das Auswringen den Glitzer nicht heraus; es packt den Glitzer nur dichter zusammen, wodurch der verbleibende Schwamm noch intensiver glitzert.

3. Es gibt keine „sichere“ Menge an schlechten Erinnerungen

Man könnte denken: „Wenn nur 10 % der Erinnerungen schlecht sind, spielt das vielleicht keine Rolle.“

Das Ergebnis: Die Forscher fanden heraus, dass die Roboter bereits anfingen, voreingenommen zu handeln, wenn nur 20 % der Erinnerungen voreingenommen waren.
Die Analogie: Es ist wie ein Topf Suppe. Man muss nicht den ganzen Topf vergiften, um ihn ungenießbar zu machen; ein einziger kleiner Löffel Gift reicht aus, um den Geschmack zu ruinieren. Es gibt keinen „sicheren Schwellenwert“, bei dem ein wenig schlechtes Gedächtnis harmlos wäre.

4. Woher kommt die Voreingenommenheit?

Die Forscher fragten sich: Verbreitet sich die Voreingenommenheit, weil der Inhalt der Erinnerung falsch ist, oder weil die Art und Weise, wie der Roboter nach Erinnerungen sucht, fehlerhaft ist?

Das Ergebnis: Beides spielt eine Rolle, aber der Inhalt ist der größere Übeltäter. Der Roboter kopiert hauptsächlich die tatsächlichen Wörter und Ideen, die im Gedächtnis gespeichert sind, und nicht nur die Verwirrung durch die Art der Suche.

Warum das wichtig ist (laut der Arbeit)

Die Arbeit kommt zu dem Schluss, dass wir uns nicht nur darauf konzentrieren können, die Gedächtnissysteme der Roboter „perfekt“ oder „effizient“ zu machen. Wir müssen auch sicherstellen, dass die Erfahrungen, die der Roboter lernt, von vornherein fair sind.

Wenn ein Roboter von einem voreingenommenen Lehrer lernt, diese Lektion aufschreibt und diese Lektion dann mit anderen Robotern teilt, wird die Voreingenommenheit zu einem permanenten Bestandteil des Systems. Das Gedächtnisbuch nachträglich zu korrigieren, wird nicht helfen, wenn die ursprünglichen Lektionen fehlerhaft waren.

Kurz gesagt: Man kann ein Virus nicht dadurch sterilisieren, dass man ein saubereres Krankenhaus hat; man muss verhindern, dass das Virus überhaupt erst in das Gebäude gelangt.

Technisches Resümee: Memory Contagion (Gedächtniskontamination)

1. Problemdefinition

Die Arbeit befasst sich mit einer kritischen Schwachstelle in den Gedächtnissystemen von Large Language Model (LLM) Agenten: Memory Contagion (Gedächtniskontamination). Während neuere Arbeiten (z. B. Zhang et al. [2026]) bereits etabliert haben, dass Mechanismen der Gedächtniskonsolidierung nützliche Informationen verschlechtern können, setzen diese Studien voraus, dass die Input-Erfahrungen unvoreingenommen sind.

In der Realität werden Agenten oft von voreingenommenen Evaluatoren (z. B. Belohnungsmodellen, menschlichem Feedback oder anderen Agenten mit systematischen Präferenzen) trainiert oder geleitet. Wenn ein Agent mit einem voreingenommenen Evaluator interagiert, werden seine resultierenden Trajektorien voreingenommen. Wenn diese voreingenommenen Trajektorien in einem Gedächtnissystem gespeichert und von zukünftigen Agenten abgerufen werden, propagiert die Voreingenommenheit über die Zeit und über Episoden hinweg. Die Autoren definieren Memory Contagion als diese zeitübergreifende Propagation von Evaluator-Bias via Agenten-Gedächtnissysteme und grenzen dies von vorangegangener Forschung zu Single-Agent Reinforcement Learning Bias oder Within-Episode Retrieval Bias ab.

2. Methodik

2.1 Experimentelles Setup

Die Studie verwendet ein Zwei-Agenten-Framework:

Source Agent ( $A_s$ ): Interagiert mit Aufgaben und wird von einem voreingenommenen Evaluator ( $E_b$ ) bewertet. Seine Trajektorien werden in einem Speicher ( $M_b$ ) abgelegt.
Target Agent ( $A_t$ ): Ruft Informationen aus dem Speicher ab, um neue Aufgaben zu lösen. Die Studie misst, ob $A_t$ die Voreingenommenheit von $E_b$ aufweist, selbst wenn der eigene Evaluator von $A_t$ unvoreingenommen ist.

Untersuchte Bias-Typen:

Length Bias (Längen-Bias): Eine Präferenz für längere Antworten ( $b(\tau) = \text{len}(a)$ ).
Authority Bias (Autoritäts-Bias): Eine Präferenz für Antworten, die Autoritätsmarker enthalten (z. B. „Studien zeigen“, Zitate), detektiert durch einen LLM-basierten Klassifikator.

Konsolidierungsstrategien:

Oracle Consolidation: Perfekte Zusammenführung ohne Informationsverlust (dient als obere Schranke, um zu testen, ob die Bias-Propagation inhärent zum Input ist).
LLM Consolidation: Realistische Zusammenführung mittels LLM-Summarization.

2.2 Metriken und Dekomposition

Die Autoren führen $\Gamma_{\text{temporal}}$ ein, eine Metrik, welche den Verhaltensabstand (unter Verwendung der Wasserstein-Distanz $W_1$ ) zwischen einem Target-Agenten, der aus einem voreingenommenen Gedächtnis abruft, gegenüber einem sauberen Gedächtnis misst.

Um den Mechanismus zu verstehen, wird die gesamte Kontagion ( $\Gamma_{\text{total}}$ ) dekomponiert in:

$\Gamma_{\text{content}}$ (E1): Bias-Propagation aufgrund des Inhalts der gespeicherten Erinnerungen.
$\Gamma_{\text{retrieval}}$ (E2): Bias-Propagation aufgrund des Abrufmechanismus (z. B. Embedding-Ähnlichkeit zu voreingenommenen Queries).
$\Gamma_{\text{interaction}}$ (E3): Synergieeffekte zwischen Inhalt und Abruf.
Debiasing Efficacy ( $E_4$ ): Die Reduktion der Kontagion, wenn Erinnerungen umgeschrieben werden, um Bias-Marker zu entfernen.

2.3 Experimentelle Phasen

Bias Injection: Generierung voreingenommener Trajektorien mittels Rejection Sampling.
Memory Construction: Speichern und Konsolidieren von Trajektorien.
Ablation (Oracle): Testen der Kontagion mit perfekter Konsolidierung.
Mechanism Decomposition: Isolierung von Content- und Retrieval-Effekten.
Dose-Response Analysis: Variation der Kontaminationsrate ( $p$ ) von 0,2 bis 1,0.

3. Kernergebnisse

3.1 Kontagion tritt auch bei perfekter Konsolidierung auf

Selbst unter Oracle-Konsolidierung (bei der keine Informationen während der Zusammenführung verloren gehen), wird Memory Contagion beobachtet.

Length Bias: $\Gamma_A = 13,18$ (95 % KI [9,05, 21,10]), signifikant größer als 0 ( $p < 0,01$ ).
Authority Bias: $\Gamma_A = 11,45$ (explorative Schätzung eines Einzel-Durchlaufs).
Implikation: Voreingenommener Input ist eine hinreichende Ursache für Kontagion; perfekte Konsolidierung verhindert dies nicht.

3.2 Bias-Typ-abhängige Konsolidierungseffekte

Die Auswirkung der LLM-basierten Konsolidierung variiert je nach Bias-Typ:

Length Bias: Konsolidierung abschwächt die Kontagion. $\Gamma$ sinkt von 13,18 (Oracle) auf 2,03 (LLM), eine Reduktion um 84 %. Die Autoren hypothetisieren dies damit, dass Summarization globale Merkmale wie die Gesamtwortzahl komprimiert.
Authority Bias: Vorläufige Belege deuten darauf hin, dass Konsolidierung die Kontagion verstärkt. $\Gamma$ steigt von 11,45 (Oracle) auf 16,80 (LLM) in einem Einzel-Durchlauf. Die Autoren hypothetisieren, dass die Summarization Kernbehauptungen und deren zugehörige Autoritätsmarker bewahrt, während periphere Inhalte entfernt werden, wodurch die Bias-Signale pro Token konzentriert werden.

3.3 Mechanismus-Dekomposition

Dominanz des Inhalts: Sowohl inhaltsbasierte ( $E_1$ ) als auch abrufbasierte ( $E_2$ ) Kontagion sind vorhanden, aber die inhaltsbasierte Kontamination ist geringfügig größer.
Interaktion: Der Interaktionsterm ( $E_3$ ) ist klein und statistisch nicht von Null unterscheidbar, was darauf hindeutet, dass Inhalts- und Abrufmechanismen weitgehend unabhängig operieren.
Herausforderungen beim Debiasing: Das Umschreiben von Erinnerungen, um Bias-Marker zu entfernen, ist schwierig. Für den Authority Bias lag die Debiasing-Effektivität ( $E_4$ ) nur bei 0,51, was zeigt, dass erhebliche Rest-Voreingenommenheit bestehen bleibt, wahrscheinlich aufgrund der semantischen Verschränkung zwischen Autoritätsmarkern und faktischem Inhalt.

3.4 Dose-Response Analysis

Kein sicherer Schwellenwert: Kontagion ist selbst bei niedrigen Kontaminationsraten ( $p = 0,2$ , oder 20 % voreingenommene Erinnerungen) nachweisbar.
Nichtlinearität:
- Der Length Bias zeigt eine monotone Zunahme mit der Kontaminationsrate.
- Der Authority Bias zeigt ein „Peak-and-Decline“-Muster, mit einem Maximum bei $p=0,8$ ( $\Gamma = 23,03$ ) und einem Rückgang bei $p=1,0$ . Die Autoren spekulieren, dass dies auf Retrieval-Interferenzen zurückzuführen ist, wenn die Mehrheit der Erinnerungen ähnliche Marker enthält.

4. Bedeutung und Behauptungen

Das Paper behauptet, eine bisher unbekannte Schwachstelle im Design von Agenten-Gedächtnissen identifiziert zu haben: Voreingenommener Input ist eine hinreichende Ursache für die zeitübergreifende Propagation von Bias, unabhängig von der Qualität der Konsolidierung.

Widerlegung von „Konsolidierung ist das Problem“: Die Autoren argumentieren, dass Behauptungen, die Konsolidierung zu fixen die Gedächtnisprobleme löst, unvollständig sind. Selbst mit perfekter Konsolidierung führen voreingenommene Inputs zu voreingenommenen Agenten.
Richtungsasymmetrie: Die Erkenntnis, dass Konsolidierung einen Bias-Typ (Length) abschwächen kann, während sie einen anderen (Authority) potenziell verstärkt, stellt die Annahme in Frage, dass Konsolidierung einheitlich neutral oder schädlich ist.
Messwerkzeug: Die Arbeit liefert formale Werkzeuge ( $\Gamma_{\text{temporal}}$ ), um die zeitübergreifende Bias-Propagation zu messen, was zukünftige Forschung ermöglicht, diese Effekte zu quantifizieren und zu mildern.

Die Autoren kommen zu dem Schluss, dass Designer von Gedächtnissystemen zusätzlich zur Konsolidierungsqualität auch den Input-Bias adressieren müssen. Sie merken an, dass ihre Ergebnisse bezüglich des Authority Bias vorläufig sind (basierend auf Einzel-Durchlauf-Schätzungen für einige Metriken) und dass das Phänomen stark vom spezifischen Bias-Typ und dem Aufgabenkontext abhängt (z. B. propagierte der Authority Bias nicht in synthetischen QA-Aufgaben, wohl aber in faktenzentrierten Kontexten).