🤖 machine learning

TCRL: Temporal-Coupled Adversarial Training for Robust Constrained Reinforcement Learning in Worst-Case Scenarios

Das Papier schlägt TCRL vor, ein neuartiges zeitlich gekoppeltes adversatives Trainingsframework, das die Robustheit in der beschränkten Reinforcement Learning durch die Einführung einer auf den Worst-Case wahrgenommenen Kostenbeschränkung und eines dualen Beschränkungsabwehrmechanismus verbessert, um zeitlich gekoppelte Störungen in sicherheitskritischen Domänen effektiv zu bekämpfen.

Ursprüngliche Autoren: Wentao Xu, Zhongming Yao, Weihao Li, Zhenghang Song, Yumeng Song, Tianyi Li, Yushuai Li

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wentao Xu, Zhongming Yao, Weihao Li, Zhenghang Song, Yumeng Song, Tianyi Li, Yushuai Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Auto zu fahren oder auf einem Seil zu balancieren. In der Welt des Constrained Reinforcement Learning (CRL) ist Ihr Ziel zweifach: Den Roboter dazu zu bringen, die Aufgabe schnell zu erledigen (Belohnung maximieren), aber niemals zu stürzen oder vom Rand zu fallen (Sicherheitsbeschränkungen einhalten).

Das Problem ist, dass die reale Welt nicht perfekt ist. Manchmal versucht ein „Hacker“ oder ein technischer Fehler, die Sensoren des Roboters zu täuschen. Dies wird als adversarieller Angriff bezeichnet.

Der alte Weg vs. das neue Problem

Frühere Methoden waren wie das Training eines Roboters, einen einzelnen, plötzlichen Stoß in das Auge zu ignorieren. Sie waren gut darin, einmalige Fehler zu bewältigen. Aber sie versagten, wenn der Angreifer begann, den Roboter wiederholt und rhythmisch zu stoßen, indem er den Stoß jede Sekunde leicht veränderte, um das Gedächtnis des Roboters zu verwirren.

Man kann es sich so vorstellen:

Alte Angriffe: Jemand wirft einen einzelnen Kieselstein auf einen Läufer. Der Läufer stolpert einmal, erholt sich aber wieder.
Der neue Angriff (Temporal-Coupled): Jemand läuft neben dem Läufer her, stolpert ihn mit einem Seil, lockert das Seil dann, zieht es wieder fest, lockert es erneut und stolpert ihn dann wieder. Dies geschieht in einer koordinierten Sequenz. Der Läufer wird verwirrt, weil die Angriffe zeitlich miteinander verknüpft sind und so lange Momentum aufbauen, bis der Läufer fällt.

Die Argumentation lautet, dass bestehende Sicherheitssysteme für Roboter nicht wissen, wie sie mit diesem „rhythmischen Stolpern“ umgehen sollen. Sie werden überfordert, weil sie nur den gegenwärtigen Moment betrachten, nicht das Muster des Angriffs.

Die Lösung: TCRL (Der „super-vorbereitete“ Roboter)

Die Autoren schlagen ein neues Framework namens TCRL (Temporal-Coupled Adversarial Training) vor. Sie trainierten ihre Roboter darauf, „super-vorbereitet“ für die schlimmsten möglichen rhythmischen Angriffe zu sein. Dies gelang ihnen durch zwei Haupttricks:

1. Das „Kristallkugel“-Sicherheitsnetz (Cost Constraint Function)

Normalerweise berechnen Roboter die Sicherheit basierend auf dem, was sie gerade jetzt sehen. TCRL gibt dem Roboter eine „Kristallkugel“.

Wie es funktioniert: Anstatt nur zu fragen: „Ist dieser Schritt sicher?“, fragt der Roboter: „Wenn mich jemand die nächsten 10 Sekunden lang in dem schlimmsten möglichen Rhythmus stolpern lässt, werde ich dann immer noch sicher sein?“
Die Analogie: Stellen Sie sich einen Seiltänzer vor. Ein normaler Seiltänzer prüft, ob das Seil jetzt gerade stabil ist. Der TCRL-Seiltänzer stellt sich vor: „Wenn ein Windstoß in einem bestimmten, sich verschlimmernden Muster einsetzt, werde ich dann fallen?“ Er passt sein Gleichgewicht an, bevor der Wind überhaupt auftrifft, und stellt so sicher, dass er selbst im schlimmsten Fall niemals die „Gefahrenlinie“ überschreitet.

2. Die „Verwirrende Musik“-Verteidigung (Dual-Constraint on Rewards)

Angreifer versuchen oft, den Roboter zu täuschen, indem sie die „Punktzahl“ (Reward) manipulieren, die der Roboter erhält. Wenn der Angreifer genau weiß, wie sich die Punktzahl verändert, kann er den nächsten Schritt des Roboters vorhersagen und ihn erneut zu Fall bringen.

Wie es funktioniert: TCRL füft zwei Regeln zum Training des Roboters hinzu:
1. Das Muster brechen: Die Änderungen der Punktzahl so unvorhersehbar zu machen, dass der Angreifer nicht erraten kann, was der Roboter als Nächstes tun wird. Es ist, als würde der Roboter plötzlich den Rhythmus seiner Musik ändern, sodass der Angreifer nicht mehr synchron dazu tanzen kann.
2. Stabilität bewahren: Selbst wenn der Angreifer versucht, die Punktzahl zu manipulieren, sollte das interne „Gefühl“ des Roboters bezüglich der Punktzahl nicht wild schwanken. Dies verhindert, dass der Roboter in Panik gerät und unkontrollierte Bewegungen macht.
Die Analogie: Stellen Sie sich ein Spiel Verstecken vor. Wenn sich der Verstecker immer nach einem vorhersehbaren Muster bewegt, wird der Sucher ihn fangen. TCRL lehrt den Versteckten, sich so zu bewegen, dass es für den Sucher zufällig aussieht (das Muster brechen), aber dennoch sicher und auf Kurs bleibt (Stabilität).

Was passierte in den Experimenten?

Die Forscher testeten dies an Robotern, die Aufgaben wie das Fahren von Autos oder das Rollen von Kugeln in Kreisen ausführten. Sie stellten ihre TCRL-Roboter gegen Folgendes auf:

Zufälliges Rauschen (statische Interferenzen).
Angreifer, die darauf abzielen, Unfälle zu maximieren.
Den „Worst-TC“-Angreifer: Den super-intelligenten, rhythmischen Stolperer, der oben beschrieben wurde.

Die Ergebnisse:

Sicherheit: Als der „Worst-TC“-Angreifer versuchte, die Roboter zu Fall zu bringen, stürzten die alten Methoden ständig ab oder fielen von der Strecke. Die TCRL-Roboter hingegen blieben sicher. In einigen Fällen reduzierten sie die Anzahl der Abstürze im Vergleich zu den alten Methoden um das 190-fache.
Leistung: Sie blieben nicht nur sicher, sondern erledigten die Aufgaben auch besser. Während andere Roboter verwirrt wurden und langsamer wurden, erzielten die TCRL-Roboter unter Angriff tatsächlich höhere Punktzahlen als unter normalen Bedingungen. Dies liegt daran, dass ihr „Sicherheit zuerst“-Training sie so robust machte, dass sie keine Energie mit Panikreaktionen verschwendeten.

Das Faz-it

TCRL ist eine neue Art, Roboter zu trainieren, die davon ausgeht, dass die schlimmsten möglichen, rhythmischen und koordinierten Angriffe stattfinden werden. Indem man den Roboter lehrt, diese Muster vorherzusehen und indem man sein Belohnungssystem für Angreifer unvorhersehbar macht, erschafft man einen Roboter, der unglaublich schwer zu täuschen und sehr schwer zu brechen ist, selbst in den chaotischsten Umgebungen.

Technisches Resümee: TCRL für robustes constrained Reinforcement Learning

Problemstellung

Constrained Reinforcement Learning (CRL) ist entscheidend für sicherheitskritische Domänen wie autonomes Fahren und Robotik, in denen Agenten Belohnungen maximieren müssen, während sie Sicherheitsbeschränkungen einhalten. Bestehende robuste CRL-Methoden weisen jedoch erhebliche Schwachstellen auf, wenn sie in realen Umgebungen eingesetzt werden, die adiabatischen Störungen unterliegen. Aktuelle Ansätze konzentrieren sich primär auf temporale-unabhängige (ein-stufige) Störungen, die häufig innerhalb fester $\ell_p$ -Norm-Kugeln modelliert werden. Sie versagen bei der Adressierung von temporal gekoppelten Störungen, bei denen ein Angreifer Störungen generiert, die sich über die Zeit basierend auf der Historie des Agenten und den Sicherheitskostenbeschränkungen entwickeln.

In Worst-Case-Szenarien können Angreifer die Sicherheitskosten- und Belohnungsfunktionen des Agenten erlernen, um Störungen zu generieren, die an Intensität zunehmen. Dies führt dazu, dass der Agent von seinem Ziel abweicht, Sicherheitsbeschränkungen verletzt und signifikante Belohnungsdegradationen erleidet. Bestehende Methoden stehen vor zwei spezifischen Herausforderungen:

Perzeption: Ihnen fehlen Mechanismen, um Kostenbeschränkungsfunktionen in die Lage zu versetzen, Worst-Case-Sicherheitskosten unter temporal gekoppelten Adversären zu erfassen und zu schätzen, ohne den Angreifer explizit modellieren zu zu müssen.
Defense: Es fehlt ihnen an effektiven Trainingsstrategien, um gegen temporale Kopplungsangriffe auf das Belohnungssignal zu verteidigen, wobei sie oft daran scheitern, die Unvorhersehbarkeit der Belohnung aufrechtzuerhalten oder die temporalen Muster des Angreifers zu stören.

Methodik: Das TCRL-Framework

Die Autoren schlagen TCRL (Temporal-Coupled Adversarial Training) vor, ein Framework, das darauf ausgelegt ist, Entscheidungsstrategien unter worst-case temporal gekoppelten Störungen zu optimieren. Das Framework besteht aus drei Kernkomponenten:

1. Temporal-gekoppeltes Störmodell

Das Paper definiert eine neuartige Störungsbeschränkung, bei der die Intensität der Störung dynamisch ist. Ein adaptiver Beschränkungsparameter $\bar{\epsilon}_t$ wird basierend auf der Magnitude der vorherigen Störung ( $p_{t-1}$ ) aktualisiert:
$\bar{\epsilon}_t = \bar{\epsilon}_{t-1} + \alpha \cdot \|p_{t-1}\|$
Dies ermöglicht es dem Angreifer, über die Zeit hinweg Strategien mit höherer Intensität zu explorieren, unterliegt jedoch einer Beschränkung der Differenz zwischen aufeinanderfolgenden Störungen: $\|p_t - p_{t-1}\| \leq \bar{\epsilon}_t$ .

2. Worst-Case Perceived Cost Constraint Function

Um die Herausforderung der Schätzung von Sicherheitskosten ohne explizite Modellierung des Angreifers zu adressieren, führt TCRL einen Worst-Case Cost Bellman Operator ( $\Gamma$ ) ein.

Definition: Der Operator schätzt die maximalen kumulativen Kosten über einen Entscheidungshorizont unter begrenzten Beobachtungsangriffen für eine Policy $\pi$ .
Implementierung: Ein Worst-Case-Kostennetzwerk ( $Q^\pi_\varphi$ ) wird mit einer spezialisierten Verlustfunktion trainiert, die die maximalen Kosten über die Menge der potenziellen Aktionen $\Omega(s, \pi)$ einbezieht, die ein Angreifer durch Zustandsstörung induzieren könnte.
Constraint-Transformation: Die Standard-CRL-Beschränkung ( $V^\pi_c \leq \eta$ ) wird in eine Worst-Case-Beschränkung transformiert: $V^\pi_c \leq C_{threshold}$ , wobei $V^\pi_c$ die geschätzten Worst-Case-Kosten sind. Dies gewährleistet Sicherheit selbst unter den schwersten temporal gekoppelten Angriffen.

3. Dual-Constraint Reward Defense Mechanism

Um Angreifern entgegenzuwirken, die historische Belohnungsdaten ausnutzen, um die Belohnungsfunktion zu modellieren, implementiert TCRL zwei Beschränkungen für das Belohnungssignal während des Trainings:

Temporale Korrelationsbeschränkung: Diese begrenzt die Autokorrelation der Belohnungssequenz innerhalb eines Zeitfensters $w$ . Durch das Erzwingen einer schwachen Korrelationsbeschränkung ( $C_{corr} \leq \epsilon_{corr}$ ) stört die Methode die Fähigkeit des Angreifers, temporale Abhängigkeiten in der Systemdynamik zu modellieren. Ein Gradienten-Korrekturmechanismus wird verwendet, um die Nicht-Differenzierbarkeit standardmäßiger Korrelationskoeffizienten zu handhaben.
Reward Entropy Stability Constraint: Diese verhindert abrupte Änderungen der Belohnungsverteilung durch Störungen. Sie beschränkt die Änderungsrate der Entropie der Belohnung ( $H_t$ ) zwischen aufeinanderfolgenden Zeitschritten ( $C_{ent} \leq \epsilon_{ent}$ ), wodurch sichergestellt wird, dass sich die Belohnungsverteilung glatt entwickelt und für den Angreifer unvorhersehbar bleibt.

Das Gesamtziel wird mittels Lagrangian-Relaxierung formuliert, wobei die Policy so optimiert wird, dass die erwarteten Belohnungen maximiert werden, während die Sicherheitskosten-, Korrelations- und Entropiebeschränkungen gleichzeitig erfüllt werden.

Wichtigste Beiträge

TCRL-Framework: Ein neuartiges Adversarial-Training-Framework, das speziell für robustes CRL in Worst-Case-Szenarien mit temporal gekoppelten Störungen entwickelt wurde.
Worst-Case Kosten-Schätzung: Eine Kostenbeschränkungsfunktion, die in der Lage ist, Worst-Case-Sicherheitskosten direkt unter temporal gekoppelten Störungen zu schätzen, ohne einen expliziten Angreifer zu modellieren, begleitet von einer maßgeschneiderten Loss-Funktion für robustes Training.
Dual-Constraint Defense: Ein belohnungsbasierter Verteidigungsmechanismus, bestehend aus einer temporalen Korrelationsbeschränkung (um Angriffsmuster zu stören) und einer Entropie-Stabilitätsbeschränkung (um die Unvorhersehbarkeit der Belohnung zu bewahren).
Empirische Validierung: Umfangreiche Experimente, die eine überlegene Robustheit gegenüber bestehenden Methoden demonstrieren.

Experimentelle Ergebnisse

Die Autoren evaluierten TCRL (integriert mit dem PPOL-Algorithmus) über vier kontinuierliche Kontrollaufgaben: Ball-Circle, Ball-Run, Car-Circle und Car-Run. Die Evaluierung umfasste fünf Bedingungen: Natural (kein Angriff), MAD (Maximum Action Difference), MC (Max Cost), Random und einen speziellen Worst-TC (Worst-Case Temporal-Coupled) Angreifer.

Sicherheitsleistung: TCRL erreichte konsistent die niedrigsten Sicherheitskosten unter Worst-TC-Angriffen. Das Paper berichtet von Reduktionen der Sicherheitskosten im Bereich von 559,38 % bis 19.077,78 % im Vergleich zu Baseline-Methoden über die vier Aufgaben hinweg. Beispielsweise reduzierte TCRL in der Aufgabe Car-Run die Sicherheitskosten um das bis zu 190,77-fache im Vergleich zu den Baselines.
Belohnungsleistung: Im Gegensatz zu den Baselines, die unter Worst-TC-Angriffen eine signifikante Belohnungsdegradation erlitten, konnte TCRL seine Belohnungswerte beibehalten oder sogar steigern. TCRL verbesserte die Belohnungswerte unter Worst-TC-Angriffen um 11,09 % bis 34,76 % im Vergleich zu den Baselines.
Ablationsstudie: Das Entfernen der Kostenbeschränkungsfunktion (TCRL-Worstcost) führte zu einem signifikanten Anstieg der Sicherheitskosten, während das Entfernen der Belohnungsverteidigungsbeschränkungen (TCRL-Reward) zu einem erheblichen Abfall der Belohnungen führte, was die Notwendigkeit beider Komponenten bestätigt.

Bedeutung und Behauptungen

Das Paper behauptet, dass TCRL eine kritische Lücke in der bestehenden Literatur schließt, indem es temporal gekoppelte Störungen explizit modelliert und verteidigt, welche im Vergleich zu ein-stufigen Angriffen repräsentativer für reale Szenarien sind.

Die Autoren behaupten, dass TCRL es Agenten ermöglicht:

Hohe Aufgabenbelohnungen aufrechtzuerhalten und gleichzeitig Sicherheitsbeschränkungsverletzungen unter Worst-Case-Temporal-Angriffen strikt zu vermeiden.
Optimale temporal gekoppelte Adversäre wahrzunehmen und zu verteidigen, ohne ein spezifisches Angreifermodell mit-trainieren zu müssen.
Die Fähigkeit des Angreifers zu stören, die Belohnungsfunktion durch temporale Korrelation und Entropiebeschränkungen zu erlernen.

Die Arbeit positioniert TCRL als eine robuste Lösung für den Einsatz von CRL in sicherheitskritischen physischen Umgebungen, in denen Zustandsbeobachtungen adiabatischem, korreliertem adversariellem Rauschen unterliegen.