🤖 machine learning

RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning

Dieses Paper stellt RoAd-RL vor, eine einheitliche Open-Source-Bibliothek und einen Benchmark, der die Evaluierung der Robustheit in Deep Reinforcement Learning durch die Bereitstellung reproduzierbarer Pipelines zur Testung von Policies gegen verschiedene adversarielle Angriffe und Abwehrmechanismen standardisiert und dabei kritische Erkenntnisse wie den potenziellen Schaden bestimmter Abwehrmechanismen sowie die Wirksamkeit von zeitlicher Glättung aufzeigt.

Ursprüngliche Autoren: Adithya Mohan, Daniel Kriegl, Torsten Schön

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Adithya Mohan, Daniel Kriegl, Torsten Schön

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, selbstfahrenden Roboter gebaut, der lernt, ein Auto zu fahren oder ein Raumschiff zu landen, indem er Millionen von Mal übt. Er wird sehr gut in seinem Job. Aber es gibt einen Haken: Dieser Roboter ist wie ein Mensch, der nie gelernt hat, ein plötzliches, verwirrendes Blitzlicht zu ignorieren. Wenn jemand einen winzigen, fast unsichtbaren Fehler in den Kamera-Feed des Roboters schleicht, könnte der Roboter in Panik geraten und abstürzen.

Dies ist das Problem des Adversarial Reinforcement Learning (kontradiktorisches bestärkendes Lernen). Forscher versuchen herauszufinden, wie man diese Roboter kaputt macht (Angriffe) und wie man sie schützt (Verteidigungen). Aber bis jetzt war die Forschungsgemeinschaft wie eine Gruppe von Menschen, die verschiedene Sicherheitsmerkmale von Autos vergleichen wollten, aber jeder benutzte andere Crash-Test-Dummy-Modelle, andere Aufprallgeschwindigkeiten und andere Wege, um den Schaden zu messen. Es war unmöglich zu wissen, welches Sicherheitsmerkmal tatsächlich das beste war.

Hier kommt RoAd-RL ins Spiel.

Betrachten Sie RoAd-RL als die Erschaffung eines standardisierten „Crash-Test-Labors“ für KI-Roboter. Es ist ein kostenloses Open-Source-Werkzeugpaket, das jedem exakt dieselbe Ausrüstung, exakt dieselben Crash-Szenarien und exakt dasselbe Lineal zur Messung des Schadens zur Verfügung stellt.

So funktioniert es, unter Verwendung einiger einfacher Analogien:

1. Das „Lego“-System (Das Framework)

Die Autoren haben ein System gebaut, bei dem jedes Teil ein separater Lego-Stein ist.

Die Policy (Das Gehirn): Dies ist das Gehirn des Roboters (die KI, die gelernt hat zu fahren).
Der Angriff (Der Prankster/Der Streich): Dies ist ein Werkzeug, das versucht, das Gehirn zu täuschen, indem es winzige, unsichtbare Fehler zu dem hinzufügt, was das Gehirn sieht.
Die Verteidigung (Der Bodyguard/Der Leibwächter): Dies ist ein Werkzeug, das versucht, die Fehler zu bereinigen, bevor das Gehirn sie sieht.
Die Metrik (Die Scorecard/Die Ergebnistabelle): Dies ist das Werkzeug, das misst, wie gut der Roboter nach dem Streich abgeschnitten hat.

Da dies alles separate Lego-Steine sind, können Sie einen „Prankster“ mit einem „Gehirn“ und einem „Bodyguard“ in jeder beliebigen Kombination zusammenstecken, ohne die ganze Maschine neu bauen zu müssen.

2. Der große Crash-Test (Die Experimente)

Die Autoren nutzten dieses neue Labor, um drei berühmte Arten von Roboter-Gehirnen (DQN, PPO und SAC) in zwei sehr unterschiedlichen Umgebungen zu testen:

LunarLander: Eine delikate Aufgabe, ein Raumschiff auf dem Mond zu landen.
Highway-v0: Eine Aufgabe, ein Auto auf einer belebten Autobahn zu fahren.

Sie führten 192 verschiedene Kombinationen aus Prankstern und Bodyguards durch, um zu sehen, was passiert.

3. Die überraschenden Ergebnisse

Die Crash-Tests enthüllten Dinge, die wir nicht erwartet hatten:

Nicht alle Gehirne sind gleichermaßen zerbrechlich: Der „LunarLander“-Roboter war viel leichter zu täuschen als der „Highway“-Roboter. Einige Gehirne (wie der SAC-Typ) reagierten sehr empfindlich auf bestimmte Arten von Tricks, während andere robuster waren.
Der „Bodyguard“ kann die Dinge manchmal verschlimmern: Dies war eine große Entdeckung. Einige der Sicherheitswerkzeuge, die Menschen zur Protektion der Roboter einsetzten, machten die Roboter tatsächlich ungeschickter, als wenn sie gar keinen Schutz hätten! Es ist, als würde man einem Fahrer einen schweren, nebligen Helm aufsetzen, um ihn vor einem winzigen Staubkorn zu schützen; der Fahrer kann nicht mehr gut genug sehen, um sicher zu fahren.
Der „Time-Averaging“-Trick funktioniert am besten: Eine spezifische Verteidigung namens Temporal Smoothing war der wahre Held. Stellen Sie sich vor, der Roboter würde nicht nur die Straße genau jetzt betrachten, sondern einen schnellen „Durchschnitt“ der letzten Sekunden dessen nehmen, was er gesehen hat. Dies half ihm, die plötzlichen, künstlichen Fehler zu ignorieren. Es war der zuverlässigste Weg, den Roboter sicher zu halten, ohne ihn ungeschickt zu machen.

Warum das wichtig ist

Vor RoAd-RL galt: Wenn ein Forscher sagte: „Mein Sicherheitswerkzeug ist großartig!“ und ein anderer sagte: „Meines ist besser!“, konnte man nicht wirklich sagen, wer recht hatte, weil sie unterschiedliche Regeln verwendeten.

RoAd-RL ist wie das offizielle Regelwerk und die Testeinrichtung für KI-Sicherheit. Es ermöglicht Wissenschaftlern, ihre Arbeit endlich fair miteinander zu vergleichen. Es zeigt uns, dass es keine „Einheitslösung“ gibt; was einen Mondlandungs-Roboter schützt, könnte einem Autobahn-Roboter schaden.

Kurz gesagt: RoAd-RL ist das Werkzeug, das uns hilft, aufzuhören zu raten, welche KI-Sicherheitsmaßnahmen funktionieren, und statzdessen sicher zu wissen.

Technisches Resümee: RoAd-RL

Problemstellung
Deep Reinforcement Learning (DRL) hat signifikante Erfolge in der Robotik und in autonomen Systemen erzielt, bleibt jedoch anfällig für adversarielle Perturbationen, die unsicheres Verhalten hervorrufen und die Leistung verschlechtern können. Während zahlreiche adversarielle Angriffe (z. B. FGSM, PGD, JSMA) und Verteidigungsmechanismen (z. B. adversarielles Training, zeitliche Glättung) vorgeschlagen wurden, leidet das Feld des adversariellen Reinforcement Learnings unter Fragmentierung. Die Forschung wird derzeit durch maßgeschneiderte, nicht reproduzierbare Implementierungen, inkonsistente Evaluierungsprotokolle und einen Mangel an standardisierten Benchmarks behindert. Im Gegensatz zur Community des überwachten Lernens (Supervised Learning), die von vereinheitlichten Frameworks wie RobustBench und Foolbox profitiert, fehlt dem adversariellen RL eine weit verbreitete Infrastruktur, die eine vergleichbare Erweiterbarkeit und Reproduzierbarkeit bietet.

Methodik und Framework-Design
Um diese Einschränkungen zu adressieren, präsentieren die Autoren RoAd-RL, ein Open-Source-, vereinheitlichtes Benchmarking-Framework, das für Robustes Adversarielles Reinforcement Learning entwickelt wurde. Das Framework basiert auf drei Kern-Designprinzipien:

Komponierbarkeit: Angriffe, Verteidigungen, Policies und Metriken fungieren als unabhängige Komponenten innerhalb einer gemeinsamen Evaluierungspipeline.
Erweiterbarkeit: Alle wichtigen Komponenten erben von abstrakten Basisklassen, was es Forschern ermöglicht, neue Methoden durch Subclassing zu integrieren, ohne den Kern des Frameworks zu modifizieren.
Reproduzierbarkeit: Deterministisches Seed-Management, strukturiertes Logging und standardisierte Verfahren gewährleisten konsistente Ergebnisse über verschiedene Umgebungen hinweg.

Die Architektur des Frameworks besteht aus vier primären Abstraktionen:

Policy: Eine vereinheitlichte Schnittstelle für RL-Agenten (unterstützt derzeit Stable-Baselines3-Implementierungen von DQN, PPO und SAC), die Lernalgorithmen von der Evaluierung entkoppelt. Sie beinhaltet eine DifferentiablePolicy-Schnittstelle für gradientenbasierte Angriffe.
Attack: Kapselt die Generierung adversarieller Perturbationen (z. B. FGSM, PGD, JSMA), die im Beobachtungsraum operieren.
Defense: Repräsentiert Mechanismen zur Inferenzzeit (z. B. zeitliche Glättung, Feature Squeezing, Outlier Clipping), die Beobachtungen vor der Policy-Inferenz verarbeiten.
Metric: Standardisiert die Berichterstattung über die Robustheit, einschließlich Ertragsmetriken (Mittelwert/Median-Return), Risiko-Metriken (CVaR), Sicherheits-Metriken (Terminationsraten) und Robustheits-Metriken (Area Under the Curve, AUC– $\epsilon$ ).

Der Evaluierungsworkflow folgt drei Stufen: (1) Training der Policy innerhalb einer ausgewählten Umgebung, (2) Komposition der trainierten Policy mit spezifischen Angriffs- und Verteidigungsmodulen und (3) Robustheitsbewertung über mehrere Perturbationsbudgets ( $\epsilon$ ), Random Seeds und Episoden hinweg. Das Framework lässt sich nahtlos in Stable-Baselines3 und Gymnasium integrieren und bietet sowohl eine Python-API als auch eine CLI-Ausführung (Command-Line Interface).

Experimentelle Evaluierung
Die Autoren validierten RoAd-RL durch die Evaluierung von DQN-, PPO- und SAC-Agenten in zwei unterschiedlichen Umgebungen: LunarLander-v2 (kompakt, sensible Dynamik) und Highway-v0 (strukturiert, kinematische Merkmale). Der Benchmark deckte ein vollständiges faktorielles Gitter von 192 Konfigurationen ab, bestehend aus:

Algorithmen: DQN, PPO, SAC.
Angriffe: FGSM, PGD, JSMA und eine saubere Baseline.
Verteidigungen: Keine Verteidigung, zeitliche Glättung, Median-Glättung, Gaußsches Rauschen, Feature Squeezing, Outlier Clipping (MAD) und adversarielle Detektion.
Perturbationsbudgets: $\epsilon \in \{0.0, 0.005, 0.01, 0.025, 0.05\}$ .

Die Leistung wurde mittels normalisierter AUC– $\epsilon$ (Area Under the Return– $\epsilon$ Kurve) gemessen, wobei 1.0 die Leistung der sauberen Baseline darstellt.

Wesentliche Ergebnisse

Umgebungsabhängigkeit: Die Robustheit variiert signifikant zwischen den Umgebungen. LunarLander-Agenten waren hochgradig anfällig für Perturbationen, während Highway-v0-Agenten gegenüber Angriffen weitgehend robust blieben.
Algorithmus-Sensitivität: SAC-Agenten auf LunarLander waren besonders anfällig für iterative PGD-Angriffe (AUC sank auf 0,590), was wahrscheinlich auf die Ausnutzung glatter Policy-Gradienten zurückzuführen ist. DQN zeigte eine deutliche Degradation unter einstufigem FGSM.
Effektivität der Verteidigung:
- Zeitliche Glättung (Temporal Smoothing): Erzielte konsistent die stärkste Leistung, insbesondere für SAC unter PGD auf LunarLander, wobei etwa 27 % der Leistung im Vergleich zur undefendierten Baseline wiederhergestellt wurden.
- Feature Squeezing: Erwies sich oft als nachteilig in niedrigdimensionalen Kontrollaufgaben (z. B. Reduzierung der DQN-AUC von 0,793 auf 0,547 unter FGSM), was darauf hindeutet, dass es besser für hochdimensionale Bildbeobachtungen geeignet ist.
- Verteidigungsinduziertes Versagen: Mehrere Verteidigungen (Outlier Clip, Adversarial Detector) verschlechterten die Leistung stärker als die Angriffe, die sie mildern sollten, insbesondere für Agenten mit kontinuierlicher Aktion. In einigen Fällen verursachte die Verteidigung allein einen größeren Leistungsverlust als der Angriff selbst.
PPO-Anomalien: PPO auf LunarLander wies unter bestimmten Angriffen AUC-Werte > 1,0 auf, was die Autoren darauf zurückführen, dass die Policy nahe einer schwachen Baseline operiert, wodurch kleine Perturbationen als implizites Rauschen wirkten, das die Erträge temporär verbesserte, bevor es zum Kollaps kam.

Bedeutung und Ansprüche
Das Paper behauptet, dass RoAd-RL einen standardisierten Benchmark für adversarielles Reinforcement Learning etabliert und eine kritische Lücke in der Reproduzierbarkeit und Erweiterbarkeit schließt. Durch Bereitstellung eines vereinheitlichten Frameworks, das die Interaktion zwischen Policies, Angriffen, Verteidigungen und Metriken standardisiert, ermöglicht RoAd-RL faire Vergleiche und systematische Analysen von Angriff-Verteidigung-Interaktionen.

Die Autoren betonen, dass ihre Ergebnisse die Notwendigkeit verdeutlichen, Verteidigungen nicht nur nach ihrer Fähigkeit zur Milderung von Angriffen zu bewerten, sondern auch nach ihrem Einfluss auf die nominelle Policy-Leistung, da einige gängige Verteidigungen schädlicher sein können als die Bedrohungen, die sie adressieren. RoAd-RL ist als Python-Paket öffentlich verfügbar, um die gemeinschaftsgetriebene Entwicklung von Methoden zur Robustheitsbewertung zu fördern. Zukünftige Arbeiten sollen die Unterstützung für Black-Box-Angriffe, adversarielles Training, zertifizierte Robustheit und Multi-Agenten-Umgebungen umfassen.

1. Das „Lego“-System (Das Framework)

2. Der große Crash-Test (Die Experimente)

3. Die überraschenden Ergebnisse

Warum das wichtig ist

Technisches Resümee: RoAd-RL

Mehr davon