CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors

Technisches Resümee: CALOS – Control-Affine Lyapunov On-manifold Safety Layer

Problemstellung
Deep Reinforcement Learning (DRL) hat signifikante Fähigkeiten bei der Steuerung von Quadrotoren demonstriert, doch gelernten Policies fehlt es an formalen Garantien hinsichtlich Sicherheitsbeschränkungen während des Trainings oder des Einsatzes. Bestehende sichere DRL-Ansätze stehen vor einem anhaltenden Spannungsverhältnis: Constrained Markov Decision Processes (CMDPs) können das Lernen destabilisieren, während Laufzeitfilter (Shielding oder Control Barrier Functions) die Gradientensignale oft zu aggressiv korrigieren und dadurch die Lernleistung verschlechtern. Zudem verhindern aktuelle architektonische Einschränkungen die gemeinsame Optimierung mehrerer Sicherheitszertifikate. Methoden wie ATACOM projizieren Aktionen auf Constraint-Manifolds, lassen jedoch keine energiebasierten Zertifikate für die Rotationsdissipation erkennen, während Lyapunov-basierte Methoden Constraints oft unabhängig behandeln, was das Risiko birgt, eine Beschränkung zu verletzen, während eine andere erfüllt wird. Die sequentielle Komposition dieser Methoden schlägt die gemeinsame Durchführbarkeit fehl, insbesondere wenn große Tracking-Fehler eine maximale Steuerautorität erfordern, da die sequentielle Skalierung dies oft zunichtemacht.

Methodik
Das Paper schlägt CALOS (Control-Affine Lyapunov On-manifold Safety) vor, eine Laufzeit-Sicherheitsschicht, die transparent über einer Standard-DRL-Policy (speziell Proximal Policy Optimization, PPO) operiert, ohne den zugrunde liegenden Lernalgorithmus zu modifizieren. CALOS vereint Neigungsgrenzen (Attitude-Tilt Constraints) und eine Lyapunov-Stabilitätsbedingung in einem einzigen Quadratischen Programm (QP), um die Korrektur mit minimaler Norm zum nominalen Drehmoment zu berechnen.

1. Neigungsgrenzen (Predictive Tilt Projection):
   Die Orientierung wird durch den Gravitationsvektor im Körperrahmen ($g_b$) dargestellt, um Euler-Winkel-Singularitäten zu vermeiden. Unter Verwendung einer symplektischen Euler-Diskretisierung wird der zukünftige Gravitationsvektor als affine Funktion des Steuerdrehmoments modelliert. Diese Formulierung ermöglicht die Auferlegung von Roll- und Nicklimits ($\phi_{max} = \theta_{max} = 60^\circ$) als vier lineare Ungleichungen ($A_{PTP}\tau \le b_{PTP}$).

2. Lyapunov-Beschränkung:
   Eine Lyapunov-Kandidatenfunktion $V(x)$ wird basierend auf dem Neigungsfehler und der Winkelgeschwindigkeit definiert. Die Schicht erzwingt eine Abklingbedingung $\dot{V} \le -cV$, was aufgrund der Steuer-Affinität der Rotationsdynamik in eine einzige lineare Ungleichung ($A_L\tau \le b_L$) übersetzt wird. Dies stellt sicher, dass die Rotationsenergie dissipiert wird.

3. Vereinheitlichte Formulierung:
   Im Gegensatz zu sequentiellen Ansätzen, die zuerst eine Tilt-Projektion und dann eine Lyapunov-Skalierung anwenden (was bei großen Fehlern zur Nullstellung des Drehmoments führen kann), fasst CALOS die fünf linearen Beschränkungen (vier Tilt-Beschränkungen, eine Lyapunov-Beschränkung) in einem einzigen System zusammen. Die Sicherheitsschicht löst:
   $$\tau^\star = \arg \min_{\tau \in \mathbb{R}^3} \frac{1}{2} \|\tau - \tau_0\|^2 \quad \text{s.t.} \quad A(x)\tau \le b(x)$$
   wobei $\tau_0$ das nominale Drehmoment der Policy ist.

4. Solver:

   • CALOS-P: Eine projektive Approximation mittels einer gedämpften Pseudo-Invers-Korrektur. Sie erzwingt alle Beschränkungen gemeinsam ohne die Garantie einer exakten Minimum-Norm-Lösung, wobei die Geschwindigkeit für das groß angelegte parallele Training priorisiert wird.
   • CALOS-QP: Ein exakter Solver, der den dreidimensionalen Drehmomentraum ausnutzt. Er enumeriert alle möglichen aktiven Mengen (26 Kandidaten), um die exakte Minimum-Norm-Lösung zu finden, welche die Karush–Kuhn–Tucker (KKT)-Bedingungen erfüllt. Falls keine zulässige Lösung existiert, fällt das System auf die unkorrigierte Policy-Aktion mit Aktuator-Clamping zurück.

Wesentliche Beiträge

• Vereinheitlichte Sicherheitsschicht: Die erste Laufzeit-Schicht, die Tilt-Beschränkungen und Lyapunov-Stabilität gemeinsam in einem einzigen QP-Schritt optimiert und so die Durchführbarkeitsprobleme der sequentiellen Komposition vermeidet.
• Echtzeit-Skalierbarkeit: Der exakte Solver (CALOS-QP) ist recheneffizient genug, um über tausende parallele Simulationsumgebungen hinweg zu laufen, was eine Voraussetzung für modernes, massiv paralleles DRL-Training ist.
• Null Verletzungen auf Trainings-Trajektorien: Die Methode erzwingt Beschränkungen strikt während des Trainings und verhindert so, dass der Agent in unsichere Regionen des Zustandsraums exploriert.

Experimentelle Ergebnisse
Evaluierung in NVIDIA Isaac Lab bei Trajektorien-Tracking-Aufgaben; CALOS wurde gegen unbeschränktes PPO, standalone Tilt-Projektion (PTP), standalone Lyapunov-Skalierung und eine sequentielle Kaskade aus beiden verglichen.

• Tracking-Leistung: CALOS-P und CALOS-QP reduzierten den lateralen Tracking-Fehler im Vergleich zur unbeschränkten PPO-Baseline auf den Trainings-Trajektorien um 55–60%. Auf ungesehenen Trajektorien mit großen anfänglichen Positionsabweichungen hielten CALOS-Varianten die Fehler unter 0,08 m, während Lyapunov- und Kaskaden-Methoden aufgrund von Drehmoment-Nullstellung beim Tracking versagten.
• Sicherheitsmetriken: Auf der Trainings-Trajektorie erreichte CALOS-QP null Verletzungen der Orientierungsbeschränkung. Unter extremen Anfangsabweichungen wurden Verletzungen auf maximal 3 aufeinanderfolgende Schritte (CALOS-P) oder 9 Schritte (CALOS-QP) begrenzt, verglichen mit bis zu 27 Schritten bei sequentiellen Methoden.
• Konvergenz und Dateneffizienz: Durch die Beschränkung der Exploration auf sichere Regionen beschleunigte CALOS die Trainingskonvergenz.
• Internalisiertes Verhalten: Mit CALOS trainierte Policies behielten selbst nach Deaktivierung der Sicherheitsschicht bei der Testzeit ein sichereres und präziseres Verhalten bei, was einen um 55–74% geringeren lateralen Fehler als PPO-trainierte Policies zeigte. Dies deutet darauf hin, dass die Policy die Sicherheitsbeschränkungen erfolgreich internalisiert hat.

Bedeutung
Das Paper behauptet, dass CALOS den Zielkonflikt zwischen Sicherheitserforcement und Lerneffizienz löst. Durch die Formulierung der Sicherheit als ein einziges, niedrigdimensionales QP wird sichergestellt, dass das Gradientensignal nicht durch aggressive, sequentielle Korrekturen degradiert wird. Die Methode ermöglicht es der Policy, optimale Verhaltensweisen innerhalb der sicheren Manifold zu lernen, was zu inhärent sichereren und dateneffizienteren Policies führt, ohne die Tracking-Leistung zu opfern. Die Autoren merken an, dass die zulässige Menge des QP in allen Tests nicht leer blieb, was die Robustheit der gemeinsamen Formulierung bestätigt.

Zukünftige Arbeit
Die Autoren identifizieren drei Richtungen für zukünftige Forschung:

1. Entwicklung von erlernten, aufgabenbezogenen Lyapunov-Zertifikaten, um unnötige Interventionen zu vermeiden, wenn die Drohne eine nicht-null, aber zulässige Referenzorientierung verfolgt.
2. Erweiterung des Frameworks auf nicht-steuer-affine Dynamiken (z. B. Modelle, die Rotorgeschwindigkeits-Dynamik oder Blattflattereffekte beinhalten).
3. Untersuchung des Sim-to-Real-Transfers mittels Domain Randomization und datengestützter Sicherheitsfilter, um Modellunsicherheiten auf physischer Hardware zu handhaben.