CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors

Résumé Technique : CALOS – Couche de Sécurité sur Manifold par Lyapunov Contrôle-Affine

Énoncé du Problème
L'apprentissage par renforcement profond (DRL) a démontré une capacité significative à contrôler des quadrotors, pourtant les politiques apprises manquent de garanties formelles concernant les contraintes de sécurité pendant l'entraînement ou le déploiement. Les approches existantes de DRL sécurisé font face à une tension persistante : les processus de décision markoviens contraints (CMDP) peuvent déstabiliser l'apprentissage, tandis que les filtres d'exécution (boucliers ou fonctions de barrière de contrôle) peuvent dégrader les signaux de gradient s'ils corrigent les actions de manière trop agressive. De plus, les limitations architecturales actuelles empêchent l'optimisation conjointe de multiples certificats de sécurité. Des méthodes comme ATACOM projettent les actions sur des variétés de contraintes mais manquent de certificats basés sur l'énergie pour la dissipation rotationnelle, tandis que les méthodes basées sur Lyapunov traitent souvent les contraintes indépendamment, risquant de violer une contrainte tout en satisfaisant une autre. La composition séquentielle de ces méthodes ne parvient pas à garantir la faisabilité conjointe, particulièrement lorsque de larges erreurs de suivi nécessitent une autorité de commande maximale, ce qui l'échelle séquentielle annule souvent.

Méthodologie
Le document propose CALOS (Control-Affine Lyapunov On-manifold Safety), une couche de sécurité d'exécution qui opère de manière transparente au-dessus d'une politique de DRL standard (spécifiquement PPO) sans modifier l'algorithme d'apprentissage sous-jacent. CALOS unifie les contraintes d'inclinaison de l'attitude et une condition de stabilité de Lyapunov dans un unique programme quadratique (QP) pour calculer la correction de norme minimale par rapport à la sortie de couple nominale.

1. Contraintes d'Inclinaison (Projection de l'Inclinaison Prédictive) :
   L'attitude est représentée par le vecteur gravité dans le référentiel du corps ($g_b$) pour éviter les singularités des angles d'Euler. En utilisant une discrétisation d'Euler symplectique, le futur vecteur gravité est modélisé comme une fonction affine du couple de commande. Cette formulation permet d'imposer des limites de roulis et de tangage ($\phi_{max} = \theta_{max} = 60^\circ$) sous la forme de quatre inégalités linéaires ($A_{PTP}\tau \le b_{PTP}$).

2. Contrainte de Lyapunov :
   Une fonction de candidat de Lyapunov $V(x)$ est définie sur l'erreur d'attitude et la vitesse angulaire. La couche impose une condition de décroissance $\dot{V} \le -cV$, qui, en raison de la nature contrôle-affine de la dynamique de rotation, se traduit par une seule inégalité linéaire ($A_L\tau \le b_L$). Cela assure la dissipation de l'énergie de rotation.

3. Formulation Unifiée :
   Contrairement aux approches séquentielles qui appliquent la projection d'inclinaison suivie de l'échelle de Lyapunov (ce qui peut mener à une annulation du couple lorsque les erreurs sont importantes), CALOS empile les cinq contraintes linéaires (quatre d'inclinaison, une de Lyapunov) dans un système unique. La couche de sécurité résout :
   $$\tau^\star = \arg \min_{\tau \in \mathbb{R}^3} \frac{1}{2} \|\tau - \tau_0\|^2 \quad \text{sous réserve de} \quad A(x)\tau \le b(x)$$
   où $\tau_0$ est le couple nominal provenant de la politique.

4. Solveurs :

   • CALOS-P : Une approximation projetée utilisant une correction par pseudo-inverse amortie. Elle impose toutes les contraintes conjointement sans garantir la solution exacte de norme minimale, privilégiant la vitesse pour l'entraînement parallèle à grande échelle.
   • CALOS-QP : Un solveur exact qui exploite l'espace de couple tridimensionnel. Il énumère tous les ensembles actifs possibles (26 candidats) pour trouver la solution exacte de norme minimale satisfaisant les conditions de Karush–Kuhn–Tucker (KKT). Si aucune solution faisable n'existe, le système revient à l'action de la politique non corrigée avec un écrêtage des actionneurs.

Principales Contributions

• Couche de Sécurité Unifiée : La première couche d'exécution qui optimise conjointement les contraintes d'inclinaison et la stabilité de Lyapunov dans une étape de QP unique, évitant les problèmes de faisabilité de la composition séquentielle.
• Scalabilité en Temps Réel : Le solveur exact (CALOS-QP) est suffisamment efficace sur le plan computationnel pour fonctionner sur des milliers d'environnements de simulation parallèles, une exigence pour l'entraînement moderne du DRL massivement parallèle.
• Zéro Violation sur les Trajectoires d'Entraînement : La méthode impose strictement les contraintes pendant l'entraînement, empêchant l'agent d'explorer des régions non sûres de l'espace d'états.

Résultats Expérimentaux
Évalué dans NVIDIA Isaac Lab sur des tâches de suivi de trajectoire, CALOS a été comparé à un PPO non contraint, à une projection d'inclinaison seule (PTP), à une mise à l'échelle de Lyapunov seule, et à une cascade séquentielle des deux.

• Performance de Suivi : CALOS-P et CALOS-QP ont réduit l'erreur de suivi latéral de 55–60 % par rapport à la ligne de base PPO non contrainte sur les trajectoires d'entraînement. Sur des trajectoires non vues avec de grands décalages initiaux de position, les variantes CALOS ont maintenu les erreurs en dessous de 0,08 m, alors que les méthodes Lyapunov et Cascade ont échoué au suivi en raison de l'annulation du couple.
• Métriques de Sécurité : Sur la trajectoire d'entraînement, CALOS-QP a obtenu zéro violation de contrainte d'attitude. Sous des décalages initiaux extrêmes, les violations ont été limitées à au plus 3 étapes consécutives (CALOS-P) ou 9 étapes (CALOS-QP), contre jusqu'à 27 étapes pour les méthodes séquentielles.
• Convergence et Efficacité des Données : En restreignant l'exploration aux régions sûres, CALOS a accéléré la convergence de l'apprentissage.
• Comportement Internalisé : Les politiques entraînées avec CALOS ont conservé un comportement plus sûr et plus précis même lorsque la couche de sécurité était désactivée lors du test, montrant une erreur latérale 55–74 % plus faible que les politiques entraînées par PPO. Cela indique que la politique a réussi à internaliser les contraintes de sécurité.

Signification
Le document affirme que CALOS résout le compromis entre l'application de la sécurité et l'efficacité de l'apprentissage. En formulant la sécurité comme un QP unique de faible dimension, il garantit que le signal de gradient n'est pas dégradé par des corrections séquentielles agressives. La méthode permet à la politique d'apprendre des comportements optimaux au sein du manifold sûr, résultant en des politiques intrinsèquement plus sûres et plus efficaces en termes de données sans sacrifier la performance de suivi. Les auteurs notent que l'ensemble faisable du QP est resté non vide à travers tous les tests, confirmant la robustesse de la formulation conjointe.

Travaux Futurs
Les auteurs identifient trois directions pour la recherche future :

1. Développer des certificats de Lyapunov appris et sensibles aux tâches pour éviter les interventions inutiles lorsqu'un drone suit une attitude de référence non nulle mais faisable.
2. Étendre le cadre à des dynamiques non contrôle-affines (par exemple, des modèles incluant la dynamique de vitesse des rotors ou les effets de battement de pale).
3. Étudier le transfert sim-to-real en utilisant la randomisation de domaine et des filtres de sécurité pilotés par les données pour gérer l'incertitude du modèle sur le matériel physique.