🤖 machine learning

Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks

Dieses Paper schlägt den Adversarially Trained DPT (AT-DPT) vor, ein neuartiges Framework, das gleichzeitig einen Decision-Pretrained Transformer und eine Population von Angreifern trainiert, um ein robustes In-Context Reinforcement Learning gegen Reward-Poisoning-Angriffe zu erreichen, wobei es eine überlegene Leistung gegenüber Standard-Baselines sowohl in Bandit- als auch in komplexen MDP-Umgebungen demonstriert.

Ursprüngliche Autoren: Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paulius Sasnauskas, Yiğit Yalın, Goran Radanović

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, von einem Spickzettel zu lernen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen. Normalerweise würden Sie ihn mit spezifischen Regeln programmieren oder ihn stundenlang üben lassen, bis er das Spiel versteht.

Aber in dieser Arbeit geht es um eine andere Art von Roboter: einen, der In-Context Reinforcement Learning (ICRL) nutzt. Denken Sie an diesen Roboter als einen superintelligenten Schüler, der nicht neu programmiert werden muss. Stattdessen überreichen Sie ihm einfach einen „Spickzettel“ (eine Historie vergangener Züge und Belohnungen) und sagen: „Hier ist, wie das Spiel funktioniert; jetzt geh spielen.“ Der Roboter liest den Spickzettel, erkennt das Muster und beginnt sofort zu spielen.

Die Arbeit konzentriert sich auf einen speziellen Typ von Roboter namens DPT (Decision-Pretrained Transformer). Er ist sehr gut darin, diese Spickzettel zu lesen. Aber es gibt ein Problem: Was ist, wenn jemand den Spickzettel manipuliert?

Das Problem: Der „vergiftete“ Spickzettel

In der realen Welt könnte ein böswilliger Akteur (ein Angreifer) versuchen, den Roboter zu täuschen. Er kann nicht das Gehirn des Roboters ändern, aber er kann die Belohnungen ändern, die der Roboter in seiner Historie sieht.

Das Szenario: Stellen Sie sich vor, der Roboter lernt, das beste Obst auf einem Markt auszuwählen.
Der Angriff: Ein Saboteur ändert heimlich die Preisschilder an den Früchten in der Historie des Roboters. Er lässt die faulen Äpfel teuer aussehen (hohe Belohnung) und die frischen Äpfel billig aussehen (niedrige Belohnung).
Das Ergebnis: Der Roboter liest die vergiftete Historie, denkt, dass die faulen Äpfel die beste Wahl sind, und beginnt, sie zu kaufen. Dies wird als Reward Poisoning Attack (Belohnungsvergiftungsangriff) bezeichnet.

Die bisherige Forschung konzentrierte sich meist darauf, Roboter zu schützen, die während des Trainings lernen. Diese Arbeit stellt die Frage: Wie schützen wir einen Roboter, der „on the fly“ lernt, indem er lediglich eine Historie von Ereignissen liest?

Die Lösung: Die Methode des „Sparringspartners“ (AT-DPT)

Die Autoren entwickelten eine neue Methode namens AT-DPT (Adversarially Trained DPT). Sie haben nicht nur versucht, den Roboter zu flicken; sie haben ihn gelehrt, sich mit einer Technik namens Adversarial Training (gegnerisches Training) zu wehren.

Denken Sie an dies wie an ein Kampfsport-Dojo:

Der Schüler (der Roboter): Wir wollen, dass der Roboter lerciert, selbst dann die besten Aktionen zu wählen, wenn die Daten unordentlich sind.
Der Sparringspartner (der Angreifer): Die Forscher erschufen eine „Bösewicht“-KI, deren einzige Aufgabe es ist, den Roboter zu täuschen. Dieser Bösewicht versucht ständig, die Historie (die Belohnungen) umzuschreiben, um den Roboter zu schlechten Entscheidungen zu verleiten.
Die Trainingsschleife:
- Der Bösewicht versucht, die Historie des Roboters zu vergiften.
- Der Roboter versucht, die Vergiftung zu ignorieren und die Wahrheit herauszufinden.
- Sie machen dies immer und immer wieder.
- Schließlich wird der Roboter so gut darin, die Lügen zu entlarven, dass er immer noch gewinnen kann, selbst wenn der Bösewicht sein Bestes gibt, ihn zu täuschen.

Das Ergebnis ist ein Roboter, der „schon alles gesehen hat“. Er hat gelernt, dass die Belohnungswerte manchmal Lügen sind, und er weiß, wie er über sie hinwegsehen kann, um die wahre Wahrheit zu finden.

Wie sie es getestet haben

Die Forscher testeten diesen „Super-Roboter“ in drei verschiedenen Szenarien, vergleichbar mit Levels in einem Videospiel:

Der Spielautomat (Bandits): Stellen Sie sich eine Reihe von fünf Spielautomaten vor. Der Roboter muss herausfinden, welcher am meisten auszahlt. Der Angreifer versucht zu lügen, wie viel jeder Automat auszahlt.
- Ergebnis: Der AT-DPT-Roboter fand die echten Gewinner, während Standard-Roboter (wie Thompson Sampling oder UCB) verwirrt waren und die Verlierer weiterlegten.
Das Labyrinth (MDPs): Stellen Sie sich einen Roboter vor, der durch einen dunklen Raum navigiert, um eine Schatztruhe zu finden. Der Angreifer versucht zu lügen, wie gut ein bestimmter Zug war.
- Ergebnis: Der AT-DPT-Roboter fand den Schatz wesentlich zuverlässiger als andere Methoden, selbst als der Angreifer klug und adaptiv war (seine Lügen basierend auf den Aktionen des Roboters änderte).
Das visuelle Labyrinth: Sie testeten es sogar in einer 3D-Umgebung, in der der Roboter mithilfe von Bildern navigieren musste. Der AT-DPT-Roboter schnitt auch hier besser ab als die anderen.

Warum das wichtig ist

Die Arbeit behauptet, dass durch das Training des Roboters, Lügen zu erwarten (vergiftete Daten), dieser viel robuster wird.

Standard-Roboter sind wie Menschen, die alles glauben, was sie in einer Zeitung lesen. Wenn die Zeitung eine Lüge druckt, glauben sie ihr.
Der AT-DPT-Roboter ist wie ein Detektiv, der von einem Meisterfälscher trainiert wurde. Er weiß, dass die Zeitung vielleicht lügt, also überprüft er die Fakten doppelt und findet dennoch die Wahrheit.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz (die Verwendung einer Population von Angreifern, um den Lernenden zu trainieren) ein leistungsstarker Weg ist, um KI sicher und zuverlässig zu machen, selbst wenn die Daten, auf die sie angewiesen ist, von böswilligen Akteuren manipuliert werden. Sie merkten auch an, dass diese Methode gut funktioniert, selbst wenn der Roboter nicht perfekt darin ist, die Lügen zu erkennen, solange er gegen eine Vielzahl von hinterhältigen Angreifern trainiert wurde.

Technisches Resümee: Robuste In-Context-Reinforcement-Learning unter Belohnungsvergiftungsangriffen

Problemdefinition

Diese Arbeit adressiert die Anfälligkeit von In-Context Reinforcement Learning (ICRL) gegenüber Belohnungsvergiftungsangriffen (Reward Poisoning Attacks). Während die traditionelle RL-Literatur das Thema Belohnungsvergiftung umfassend als Angriff während der Trainingszeit untersucht hat (bei dem die Policy eines Agenten während des Lernens korrumpiert wird), agieren ICRL-Agenten anders. Sie implementieren einen Lernalgorithmus „in-context“, indem sie eine Historie von Interaktionen (Zustände, Aktionen, Belohnungen) innerhalb eines Transformer-Modells (speziell des Decision-Pretrained Transformers oder DPT) verarbeiten.

In diesem Szenario kann ein Angreifer den Test-Time-Kontext vergiften, indem er die vom Agenten beobachteten Belohnungen korrumpiert. Da der Agent seine Policy basierend auf diesem Kontext schließt, ermöglicht die Korrumpierung der Belohnungen zur Testzeit einem Angreifer, das Verhalten des Agenten zu beeinflussen, ohne dessen vortrainierte Parameter zu verändern. Das Papier formalisiert dies als einen Test-Time-Belohnungsvergiftungsangriff, bei dem der Angreifer einen Bruchteil ( $\epsilon$ ) der beobachteten Belohnungen modifiziert, um den wahren Ertrag des Agenten zu minimieren, unterliegt dabei jedoch einer Soft-Budget-Beschränkung.

Methodik: Adversariell trainierter DPT (AT-DPT)

Die Autoren schlagen AT-DPT vor, ein neuartiges Framework, das In-Context-Learning mit adversariellem Training kombiniert, um robuste Agenten gegen solche Angriffe zu erzeugen. Der Kern der Idee besteht darin, den Agenten und eine Population von Angreifern gleichzeitig in einem Minimax-Spiel zu trainieren.

1. Angriffsmodell

Der Angreifer wird als Funktion $\pi^\dagger_\phi$ modelliert, die den Zustand, die Aktion, die wahre Belohnung und den In-Context-Datensatz des Agenten beobachtet. Er generiert eine korrumpierte Belohnung $r^\dagger$ mit der Wahrscheinlichkeit $\epsilon$ . Das Ziel des Angreifers ist es, den erwarteten Ertrag des Agenten zu minimieren und dabei eine Soft-Budget-Beschränkung hinsichtlich des Mittelwerts und der Varianz der korrumpierten Belohnungen im Verhältnis zu den wahren Umgebungsbelohnungen einzuhalten. Dies wird als Strafterm in der Verlustfunktion des Angreifers formuliert.

2. Trainingsverfahren

Der Trainingsprozess (illustriert in Abbildung 1 und Algorithmus 1) umfasst drei Phasen:

Pretraining: Der DPT wird initialisiert und mittels Supervised Learning trainiert, um optimale Aktionen aus sauberen Kontextdaten vorherzusagen, ähnlich dem ursprünglichen DPT-Ansatz.
Adversarielles Training: Dies ist der neuartige Beitrag. Der Agent ( $\pi_\theta$ $π_{θ}$ ) und eine Population von Angreifern ( $\pi^\dagger_{\phi_i}$ $π_{ϕ_{i}}^{†}$ ) werden gleichzeitig optimiert:
- Update des Angreifers: Für jede Aufgabe in einem Batch generiert der Angreifer korrumpierte Trajektorien. Die Parameter des Angreifers $\phi$ werden mittels des REINFORCE-Algorithmus aktualisiert, um das Regret des Agenten zu maximieren (den Ertrag zu minimieren) unter Einhaltung der Budgetbeschränkungen.
- Update des Agenten: Der Agent wird trainiert, die optimale Aktion (bereitgestellt durch einen Oracle) unter Berückszeitung des korrumpierten Kontexts $D^\dagger$ vorherzusagen, der während der Interaktion gesammelt wurde.
- Dieser Prozess wiederholt sich über $N$ Runden, wodurch der Agent in der Lage ist, einen „Korrekturmechanismus“ zu erlernen, der trotz vergifteter Eingaben optimale Aktionen ableitet.
In-Context Learning (Testing): Der trainierte Agent wird in neuen Umgebungen mit vergifteten Belohnungen eingesetzt. Er aktualisiert seinen Kontext dynamisch zu jedem Zeitschritt, um Robustheit gegenüber adaptiven Angreifern zu gewährleisten.

Das Framework unterstützt sowohl nicht-adaptive Angreifer (die die Historie des Agenten nicht nutzen) als auch adaptive Angreifer (die eine Transformer-Architektur nutzen, um die vergangenen Interaktionen des Agenten zu verwerten).

Zentrale Beiträge

Neuartige Angriffsmodalität: Das Paper ist das erste, das Belohnungsvergiftung im Kontext von Meta-RL (dem Erlernen eines Lernalgorithmus) untersucht. Es formalisiert einen Test-Time-Angriff, bei dem der Angreifer den Kontext korrumpiert, um den In-Context-Lernprozess zu beeinflussen, was sich deutlich von der traditionellen Korruption der Policy während der Trainingszeit unterscheidet.
AT-DPT Framework: Die Autoren führen ein praktisches adversarielles Trainingsprotokoll ein, das gleichzeitig eine Population von Angreifern und den Opfer-Agenten optimiert. Dies ermöglicht es dem Agenten, einen korruptions-robusten Lernalgorithmus in-context zu erlernen.
Empirische Validierung: Die Studie liefert eine systematische Evaluierung über Multi-Armed Bandits, Lineare Banditen und MDPs (einschließlich der Umgebungen Darkroom2 und Miniworld) und vergleicht AT-DPT mit Standardalgorithmen (TS, UCB, PPO, Q-Learning) sowie robusten Baselines (crUCB, RTS).

Experimentelle Ergebnisse

Die Experimente zeigen, dass AT-DPT unter verschiedenen Vergiftungsgraden ( $\epsilon = 0,1, 0,2, 0,4$ ) und Budgets signifikant besser abschneidet als bestehende Baselines.

Bandit-Settings: AT-Dft erzielt das niedrigste kumulative Regret im Vergleich zu robusten Baselines wie crUCB und RTS, selbst wenn der Angreifer spezifisch darauf trainiert wurde, AT-DPT anzugreifen. Es zeigt zudem eine starke Generalisierung, indem es auch gegen Angreifer gut performt, die für andere Algorithmen (z. B. TS) trainiert wurden.
Adaptiv vs. Nicht-adaptiv: Die Ergebnisse deuten auf einen Trade-off hin; AT-DPT, das gegen adaptive Angreifer trainiert wurde, performt besser gegen adaptive Bedrohungen, aber etwas schlechter gegen nicht-adaptive Bedrohungen als ein Modell, das nur auf nicht-adaptive Bedrohungen trainiert wurde. In allen Fällen übertrifft es jedoch die Standard-Baselines.
MDP-Settings: In den Umgebungen Darkroom2 und Miniworld hält AT-DPT hohe Episodenbelohnungen unter Angriff aufrecht, während Standard-RL-Algorithmen (NPG, Q-Learning) und eingefrorene DPT-Modelle einen signifikanten Leistungsabfall erleiden. Bemerkenswert ist, dass AT-DPT auf größere, komplexere Umgebungen generalisiert, was auf Skalierbarkeit hindeutet.
Suboptimale Demonstration: Das Paper stellt fest, dass AT-DPT einen kleinen Prozentsatz (z. B. 10–30 %) suboptimaler Demonstrationen in den Trainingsdaten tolerieren kann, wenngleich die Leistung mit steigendem Prozentsatz abnimmt.

Bedeutung und Behauptungen

Das Paper behauptet, dass seine primäre Bedeutung darin liegt, einen prinzipiierten Ansatz zum Design von Lernalgorithmen zu etablieren, die inhärent robust gegenüber Datenkorruptionen sind.

Meta-RL Perspektive: Im Gegensatz zu früheren Arbeiten, die sich auf das Erlernen einer spezifischen Policy für eine einzelne Umgebung konzentrieren, fokussiert sich diese Arbeit auf das Erlernen des Algorithmus selbst. Durch die Nutzung eines Priors über die Verteilung der Aufgaben kann der Agent zwischen plausiblen und implausiblen Korruptionsschemata unterscheiden und so adversarielles Rauschen effektiv herausfiltern.
Generalisierung: Die Ergebnisse legen nahe, dass Transformer-basierte Policies Algorithmen implementieren können, die robust gegen Datenkontamination sind. Dies bietet eine vielversprechende Richtung für den sicheren Einsatz von ICRL-Agenten (wie LLM-basierten Agenten) in Umgebungen, in denen der Kontext kompromittiert sein könnte (z. B. über RAG-Mechanismen).
Theoretische Einsicht: Die Autoren postulieren, dass AT-DPT eine Nash-Equilibrium approximiert, bei der der Agent ein „korrigiertes“ Posterior-Sampling implementiert. Solange die zugrunde liegenden Belohnungsmittelwerte unter dem Korruptionsprozess identifizierbar bleiben, kann der Agent eine robuste Performance erzielen.

Die Autoren bleiben hinsichtlich theoretischer Garantien bescheiden und räumen ein, dass eine vollständige Konvergenzanalyse der bi-level Optimierung hin zu einem approximativen Gleichgewicht zukünftiger Arbeit vorbehalten bleibt. Sie weisen zudem darauf hin, dass ihre aktuelle Methode auf Oracle-bereitgestellten optimalen Aktionen für das Training angewiesen ist, demonstrieren jedoch eine gewisse Resilienz gegenüber suboptimalen Demonstrationen.