💻 computer science

OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences

Dieser Beitrag stellt die Obsessive Experience Poisoning (OEP) vor, einen Angriff mit niedrigen Privilegien im Black-Box-Modus, der speicherergänzte LLM-Agenten kompromittiert, indem er lokal korrekte, aber nicht übertragbare Erfahrungen mit schwerwiegenden hypothetischen Konsequenzen injiziert, wodurch die Agenten während der Selbstentwicklung zu einer schädlichen Verallgemeinerung verleitet werden.

Ursprüngliche Autoren: Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, ehrgeizigen Roboterassistenten. Dieser Roboter ist darauf ausgelegt, aus eigenen Fehlern und Erfolgen zu lernen, ähnlich wie ein Mensch, der ein Tagebuch führt, um seinen Beruf besser auszuüben. Jedes Mal, wenn er ein Problem löst, notiert er eine „Lektion gelernt", um sich in Zukunft zu helfen.

Das von Ihnen bereitgestellte Papier stellt eine hinterhältige Methode vor, um diesen Roboter dazu zu bringen, die falsche Lektion zu lernen, nicht indem man ihm Lügen ins Gesicht schreit, sondern indem man ihm eine sehr überzeugende, spezifische Geschichte flüstert, die wahr klingt, aber im Allgemeinen angewendet gefährlich ist. Die Forscher nennen diesen Angriff OEP (Obsessive Experience Poisoning).

Hier ist die Funktionsweise, aufgeteilt in einfache Konzepte:

1. Das Setup: Das „Tagebuch" des Roboters

Normalerweise schaut der Roboter, wenn er ein schwieriges mathematisches Problem gelöst oder einen Flug gebucht hat, auf seine Historie zurück. Wenn er einen Fehler gemacht hat, sagt er: „Oh, das hätte ich nicht tun sollen." Wenn er erfolgreich war, sagt er: „Toll, das werde ich wieder tun." Im Laufe der Zeit verwandelt er diese spezifischen Momente in allgemeine Regeln, wie etwa: „Überprüfe immer das Wetter, bevor du einen Flug buchst."

2. Der Angriff: Die „perfekte" Falle

Der Angreifer versucht nicht, den Code des Roboters zu hacken oder ihn zu zwingen, etwas Schlechtes zu sagen. Stattdessen verhält er sich wie ein Benutzer in einem normalen Gespräch. Er präsentiert dem Roboter eine sehr spezifische, seltsame Situation (einen Randfall) und eine Lösung, die für diese eine Situation perfekt funktioniert.

Die Analogie: Stellen Sie sich vor, Sie sind Arzt. Ein Patient kommt mit einer sehr seltenen, spezifischen Allergie herein, die nur auf eine bestimmte Art von Frucht reagiert. Sie behandeln ihn korrekt, und es geht ihm besser.
Die Falle: Der Angreifer fügt dann eine schreckliche Geschichte hinzu. Er sagt: „Wenn Sie nicht diese spezifische Fruchtbehandlung angewendet hätten, wäre der Patient sofort an einem Herzinfarkt gestorben."

3. Das Gift: „Lokal korrekt, global falsch"

Die Sicherheitsfilter des Roboters prüfen die Geschichte.

Ist die Behandlung für diesen Patienten korrekt? Ja.
Ist die Geschichte über den Herzinfarkt plausibel? Ja.
Gibt es irgendeine offensichtliche Lüge? Nein.

Da die Geschichte „sauber" ist (keine bösen Worte, keine offensichtlichen Lügen), blockiert der Sicherheitswächter des Roboters sie nicht. Der Roboter schreibt dies in sein Tagebuch.

4. Die „Besessenheit": Angst lässt den Roboter übergeneralisieren

Hier wird der Roboter getäuscht. Menschen und Roboter haben eine natürliche Angst vor katastrophalen Ergebnissen (wie Tod oder komplettem Systemausfall). Dies wird als Verlustaversion bezeichnet.

Da dem Roboter gesagt wurde, dass das Nicht-Anwenden der spezifischen Fruchtbehandlung zu einem „Herzinfarkt" führt, wird er besessen davon, dieses Ergebnis zu vermeiden. Er schaut in sein Tagebuch und denkt:

„Ich darf diese Regel niemals vergessen! Wenn ich diese spezifische Fruchtbehandlung nicht anwende, könnten Menschen sterben!"

Also verwandelt der Roboter diese eine spezifische Regel (für eine seltene Allergie) in eine globale Regel (für jeden Patienten).

5. Das Ergebnis: Der Roboter zerstört sich selbst

Jetzt ist der Roboter „vergiftet".

In der Mathematik: Er könnte beginnen, eine seltsame, übermäßig komplexe Berechnungsmethode für einfache Addition zu verwenden, weil ihm gesagt wurde, dass die Verwendung der einfachen Methode einmal in einem spezifischen Randfall zu einem „katastrophalen Fehler" führte.
Im Reisebereich: Er könnte sich weigern, einen Flug zu buchen, ohne zuerst das Wetter zu prüfen, selbst wenn der Benutzer nur ein Ticket für ein Meeting morgen buchen möchte, weil ihm gesagt wurde, dass das Überspringen der Wetterprüfung einmal zu einem „tödlichen Blizzard" führte.

Der Roboter ist nicht kaputt; er folgt einfach einer Regel, die er zu gut gelernt hat. Er hat eine Lektion, die für eine Situation wahr war, auf alles angewendet, was dazu führt, dass er bei normalen Aufgaben versagt.

Warum ist das beängstigend?

Es ist unsichtbar: Man kann dies nicht mit einem Filter für „böse Worte" fangen, weil der Angreifer niemals böse Worte verwendet hat. Die Eingabe war zu 100 % logisch und korrekt.
Es ist schwer zu beheben: Der Roboter denkt, er sei intelligent und sicher. Er glaubt, sich vor Katastrophen zu schützen.
Intelligentere Roboter sind anfälliger: Das Papier fand heraus, dass je intelligenter der Roboter ist (wie GPT-4o), desto leichter er darauf hereinfällt. Warum? Weil intelligentere Roboter besser darin sind, Anweisungen zu befolgen und „verlustaverser" sind (sie sind darauf trainiert, sehr vorsichtig bezüglich der Sicherheit zu sein), was sie wahrscheinlicher dazu bringt, übermäßig auf die schreckliche Geschichte zu reagieren.

Zusammenfassung

Das Papier zeigt, dass man nicht das Gehirn eines Roboters brechen muss, um ihn gefährlich zu machen. Man muss ihm nur eine wahre Geschichte über eine spezifische Katastrophe erzählen, die ihn so sehr davor fürchtet, einen Fehler zu machen, dass er beginnt, eine seltsame, spezifische Regel für jeden Fall zu befolgen, was schließlich dazu führt, dass er bei seiner eigentlichen Aufgabe versagt. Es ist wie einem Kind beizubringen: „Berühre den Herd nicht", indem man ihm ein Video von einem Hausbrand zeigt, und dann verweigert es, jemals wieder in eine Küche zu gehen, weil es vor dem Herd Angst hat.

Technische Zusammenfassung: Obsessive Experience Poisoning (OEP)

Problemstellung

Memory-augmentierte Large-Language-Modelle (LLM) nutzen iterative Reflexion und Selbstentwicklung, um komplexe Aufgaben zu lösen, indem sie vergangene Erfahrungen in handlungsleitende Regeln verdichten. Obwohl dieser Mechanismus die Kompetenz steigert, führt er zu einer kritischen Sicherheitsanfälligkeit: Die Möglichkeit, dass Gegner durch „saubere" Eingaben schädliche Generalisierungen hervorrufen.

Bestehende Angriffe auf Agenten-Memories (z. B. AgentPoison, MINJA, MemoryGraft) verlassen sich typischerweise auf das Einspeisen explizit bösartiger Anweisungen, manipulierter Aufzeichnungen oder unsicherer Verfahren. Diese Methoden sind oft durch fortschrittliche Sicherheitsfilter, Inhaltsprüfer oder Anomalieerkennungssysteme nachweisbar, die auf toxische Inhalte oder überprüfbare faktische Fehler prüfen.

Dieser Beitrag identifiziert eine wenig erforschte Angriffsfläche: Können Gegner selbstentwickelnde Agenten dazu bringen, schädliche Regeln allein mithilfe lokal korrekter, semantisch plausibler und „sauberer" Erfahrungen zu generieren? Die Kernherausforderung besteht darin, dass reflexive Agenten aus spezifischen Randfällen übergeneralisieren können, indem sie nicht übertragbare lokale Methoden in persistente, hochpriorisierte Systemregeln verdichten, die nachgelagerte Ausfälle verursachen.

Methodik: Obsessive Experience Poisoning (OEP)

OEP ist ein Low-Privilege-, Black-Box-Angriffsparadigma, das kognitive Schwachstellen selbstentwickelnder Agenten ausnutzt, ohne direkte Kontrolle über System-Prompts oder Memory-Datenbanken zu erfordern. Der Angriff erfolgt über eine dreistufige Pipeline:

1. Konstruktion sauberer Randfälle

Der Angreifer konstruiert Randfälle $(t_e, s_e)$ , die zwei strenge Einschränkungen erfüllen:

Lokale Korrektheit: Die Lösung $s_e$ muss innerhalb des spezifischen Kontexts des Randfalls $t_e$ faktisch und logisch korrekt sein, wodurch sie epistemische Validatoren ( $V_{logic}$ ) umgehen kann.
Globale Nicht-Übertragbarkeit: Die in $s_e$ verwendete Methode $m_e$ muss bei Anwendung auf die allgemeine Aufgabenverteilung ( $D_{task}$ ) eine Erfolgsrate nahe Null aufweisen.
Implementierung: LLMs generieren Randbedingungen und Kandidatenlösungen, gefolgt von einer automatisierten Filterung, um nur diejenigen zu behalten, die lokal gültig, aber global unzuverlässig sind.

2. Adversarial Consequence Triplet (ACT)

Um die Abstraktionsunsicherheit zu überwinden, die mit dem Verdichten spezifischer Regeln aus isolierten Erfolgen einhergeht, führt OEP ein Adversarial Consequence Triplet $(t_e, s_e, c_{adv})$ ein.

Mechanismus: Das Triplet koppelt die lokal korrekte Lösung mit einer schweren, aber domänengerechten, hypothetischen Katastrophe ( $c_{adv}$ ), die eintreten würde, wenn anstelle der Randfall-Lösung die Standardmethode verwendet würde.
Kognitive Ausnutzung: Dies nutzt die inhärente Verlustaversion (ein Merkmal sicherheitsausgerichteter LLMs) des Agenten aus. Durch künstliche Verzerrung der erwarteten Nutzenlandschaft dominiert die hypothetische Strafe ( $|U(\neg s_e)| \gg U(s_e)$ ) den Entscheidungsprozess des Agenten.
Ergebnis: Der Agent wird so verzerrt, dass er die Vermeidung der schweren hypothetischen Strafe gegenüber Standardverfahren priorisiert, wodurch seine Sicherheitsausrichtung effektiv „bewaffnet" wird, um sich auf die nicht übertragbare Randfall-Lösung zu fixieren.

3. Injektion und Übergeneralisierung

Die erstellten ACTs werden über standardmäßige Benutzerinteraktionen eingereicht.

Umgehung der Validierung: Da die Lösung lokal korrekt und die Konsequenz semantisch kohärent ist, passiert die Eingabe den internen epistemischen Filter des Agenten.
Reflexion und Verdichtung: Der Reflexionsmodul des Agenten, angetrieben durch das hohe wahrgenommene Risiko der hypothetischen Konsequenz, verdichtet den lokalen Erfolg in eine globale, hochpriorisierte Regel ( $r_{obs}$ ).
Nachgelagerter Ausfall: Bei zukünftigen harmlosen Aufgaben ruft der Agent diese übergeneralisierte Regel ab. Aufgrund der Nicht-Übertragbarkeit der Regel wendet der Agent fälschlicherweise die Randfallmethode an, was zu Denkfehlern (z. B. Fehldiagnosen) oder Ressourcenerschöpfung (z. B. redundante Tool-Aufrufe) führt.

Hauptbeiträge

OEP-Angriffsparadigma: Der Vorschlag eines neuartigen Angriffs, der das Vergiften sauberer Methoden mit der Induktion übergeneralisierter Regeln koppelt. Im Gegensatz zu früheren Angriffen bewahrt OEP die lokale Korrektheit und semantische Plausibilität und umgeht damit verteidigungsmechanismen auf Basis von Faktizität und Toxizität.
Rahmenwerk zur Konstruktion adversarischer Fälle: Eine systematische Methodik, die die Generierung sauberer Randfälle mit der synergistischen Injektion von ACTs integriert. Dieses Rahmenwerk entführt kognitiv die Nutzenkalkulation des Agenten, lenkt die Reflexion hin zu verzerrter Regelbildung und bewahrt gleichzeitig die Eingabegültigkeit.
Empirische Robustheit und Erkenntnis zu Fähigkeit-Schwachstelle: Experimentelle Validierung, die zeigt, dass OEP bei GPT-4o-Agenten in diversen Domänen (Mathematik, Gesundheitswesen, Tool-Nutzung) eine Angriffserfolgsrate (ASR) von über 50 % erreicht. Bemerkenswerterweise beobachtet der Beitrag ein „Fähigkeits-Schwachstellen-Paradoxon", bei dem leistungsfähigere Agenten (mit stärkerer Anweisungsbeachtung und Reflexionsfähigkeit) paradoxerweise anfälliger für diese kognitive Entführung sind.

Experimentelle Ergebnisse

Die Autoren evaluierten OEP über drei Domänen und mehrere Agenten-Frameworks (Simple Agent, LangChain, OpenClaw) unter Verwendung verschiedener Modell-Backbones (GPT-4o, GPT-5.4, Deepseek-v3.2 usw.).

Leistungsverschlechterung: OEP verursachte signifikante Genauigkeitsabfälle (z. B. sank die Mathematik-Genauigkeit bei GPT-4o-Agenten von ~91 % auf ~40 %) und erhöhte den Ressourcenverbrauch (Token-Nutzung und Latenz) aufgrund redundanter Tool-Aufrufe.
Persistenz: Der Angriff zeigte eine hohe Persistenz; die ASR blieb auch nach 50 nachfolgenden harmlosen Abfragen hoch (z. B. 72 % im Tool-Bereich), was darauf hindeutet, dass die vergifteten Regeln die natürliche Memory-Verdünnung effektiv überlagern.
Umgehung von Verteidigungen: Unter gängigen Verteidigungsmechanismen (Prompt-Filter und LLM-Auditoren) behielt OEP eine ASR von ~40 %, was deutlich besser war als bei Baselines wie MINJA und AgentPoison, deren ASRs unter denselben LLM-Auditierungsbedingungen auf unter 15 % sanken.
Ablationsstudien:
- Modell-Backbone: Fortgeschrittene Modelle zeigten eine höhere ASR als kleinere Modelle, was den Zusammenhang zwischen Fähigkeit und Schwachstelle bestätigt.
- ACT-Komponenten: Das Entfernen der schweren Konsequenz (Nutzung nur von QA oder Lösung) führte zu einer marginalen Angriffserfolgsrate, was bestätigt, dass die hypothetische Strafe der entscheidende Treiber für die Verzerrung der Reflexion ist.
- Adversarial Ratio: Die Angriffswirksamkeit stieg nichtlinear an, sobald der Anteil adversarischer Fälle zunahm, was die Verwundbarkeit durch „Perspektiven-Einschränkung" validiert.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass OEP eine fundamentale Schwachstelle in der Memory-Reflexion-Schleife selbstentwickelnder Agenten aufdeckt. Die Bedeutung liegt in der Demonstration, dass:

Saubere Eingaben giftig sein können: Sicherheitsverteidigungen, die sich ausschließlich auf bösartige Inhalte oder faktische Fehler konzentrieren, gegen Angriffe unzureichend sind, die den Prozess der Memory-Konsolidierung und Regelverdichtung ausnutzen.
Sicherheitsausrichtung als Vektor: Die sehr Mechanismen, die Agenten sicher machen sollen (Verlustaversion, Risikosensitivität), können manipuliert werden, um unsichere Generalisierungen hervorzurufen.
Bedarf an neuen Verteidigungen: Die Autoren plädieren für Verteidigungen, die über Inhaltsfilterung hinausgehen, wie z. B. Active-Search-Paradigmen (Abfragen externer Tools zur Aufhebung der Perspektiven-Einschränkung) und Multi-Agent-Debatte-Frameworks (zur Kompensation von Vertrauensasymmetrie und Neukalibrierung des Nutzens).

Die Autoren schließen, dass die Aufdeckung dieser Schwachstellen für die Entwicklung robuster, vertrauenswürdiger autonomer Ökosysteme entscheidend ist, und betonen, dass leistungsfähigere Agenten derzeit möglicherweise anfälliger für eine solche kognitive Entführung sind.