Joint Chance Constrained Safe-Optimal Control

Résumé Technique : Contrôle Optimal-Sûr à Contrainte de Chance Conjointe

Formulation du Problème
L'article traite des limites du contrôle optimal à contrainte de chance conjointe (JCC - Joint Chance Constrained) standard pour les systèmes stochastiques. Dans les formulations JCC traditionnelles, l'objectif est de minimiser le coût attendu de toutes les trajectoires (tant sûres qu'unsafe/non sûres) sous réserve d'une contrainte stipulant que la probabilité de rester dans un ensemble sûr dépasse un seuil $\alpha$. Les auteurs soutiennent que cette approche standard crée une incitation perverse : le contrôleur peut délibérément violer les contraintes de sécurité pour exploiter des trajectoires à faible coût, à condition que la probabilité globale de sécurité reste supérieure à $\alpha$. Ce comportement est indésirable dans les applications où les violations de contraintes sont catastrophiques et irréversibles (ex. : crashs d'avions, défaillances de dispositifs médicaux), car le coût d'une trajectoire ayant échoué ne devrait pas contribuer à l'objectif d'optimisation.

Pour y remédier, l'article propose un problème de Contrôle Optimal-Sûr à Contrainte de Chance Conjointe. L'objectif est modifié pour minimiser le coût attendu des uniquement des trajectoires sûres, tout en respectant toujours la contrainte de chance conjointe qui exige que la probabilité de sécurité soit au moins égale à $\alpha$. Les trajectoires non sûres se voient ainsi affectées un coût de zéro dans la fonction objectif, supprimant l'incitation à « sacrifier » la sécurité pour des économies de coût.

Méthodologie
La principale contribution méthodologique est la reformulation de ce problème non markovien en un cadre résoluble :

1. MDP à Espace d'États Augmenté : Les auteurs démontrent que le problème de Contrôle Optimal-Sûr peut être formulé comme un processus de décision markovien contraint (CMDP) sur un espace d'états augmenté $Z = X \times C$, où $X$ est l'espace d'états original et $C$ représente le coût accumulé.

   • L'évolution de l'état inclut un accumulateur de coût déterministe.
   • Un pas de temps virtuel supplémentaire et une entrée binaire sont introduits pour gérer la fonction de pondération de trajectoire $a(\cdot)$, qui détermine si une trajectoire contribue au coût/à la contrainte en fonction de sa sécurité et de son coût total.
   • Cette transformation permet l'utilisation des techniques standard de programmation dynamique (DP), qui ne sont pas directement applicables à la formulation originale en raison de sa dépendance à l'historique complet de la trajectoire.

2. Approximation et Bornes d'Erreur : Pour les systèmes à espaces d'états continus, les auteurs emploient une abstraction par grille pour discrétiser les espaces d'états, de coûts et d'actions. Ils dérivent des bornes théoriques sur l'erreur de sécurité introduite par cette discrétisation. Plus précisément, ils montrent que si une politique atteint une sécurité $\alpha$ sur le MDP discrétisé, la sécurité sur le système continu original est bornée inférieurement par $\alpha - N h_x M_x \mu \Delta x$, où les paramètres sont liés à la taille de la grille, aux constantes de Lipschitz du noyau de transition et au nombre de pas de temps. Cela permet de durcir les contraintes du problème discrétisé afin de garantir la sécurité sur le système continu.

3. Approches de Résolution : L'article évalue deux méthodes de résolution :

   • Programmation Dynamique (DP) : Résout le dual de Lagrange du CMDP en utilisant l'itération de valeur et la bisection sur le multiplicateur dual $\lambda$.
   • Apprentissage par Renforcement (RL) : Implémente un cadre d'apprentissage lexicographique utilisant l'algorithme Soft-Actor-Critic (SAC). Cela implique un processus d'entraînement en deux étapes : d'abord maximiser la probabilité d'atteinte-évitement (reach-avoid), puis ajuster le multiplicateur de Lagrange pour satisfaire le seuil de sécurité spécifique $\alpha$.

Contributions Clés

• Nouvelle Définition de Problème : Introduction d'un problème de contrôle qui minimise uniquement le coût des trajectoires sûres, découplant le coût des trajectoires non sûres de l'objectif d'optimisation.
• Reformulation Théorique : Preuve que le problème de Contrôle Optimal-Sûr est équivalent à un CMDP sur un espace d'états augmenté, permettant l'usage de la DP.
• Garanties de Sécurité : Dérivation de bornes explicites sur la sécurité de la politique lors de la résolution via des approximations par grille dans des espaces d'états continus.
• Validation Empirique : Expérimentations numériques complètes comparant l'approche proposée au contrôle JCC standard et aux solutions de RL.

Résultats Expérimentaux
Les auteurs valident leur approche sur un système de unicycle 2D simulé dans des environnements d'atteinte-évitement encombrés.

• Différences Comportementales : Les politiques JCC standard (minimisant le coût de toutes les trajectoires) ont été observées comme « abandonnant » l'objectif d'atteindre la cible pour éviter des routes sûres coûteuses, résultant souvent en des trajectoires à faible coût qui restent proches de l'état initial ou prennent des raccourcis dangereux. En revanche, les politiques Optimal-Sûres proposées optimisent exclusivement les trajectoires réussies et sûres.
• Métriques de Performance : Dans les simulations de Monte-Carlo, l'approche Optimal-Sûre a obtenu des coûts d'action plus faibles pour les trajectoires sûres par rapport au JCC standard, tout en maintenant la probabilité de sécurité requise. Le JCC standard a obtenu un coût attendu global plus faible uniquement parce qu'il incluait les coûts de nombreuses trajectoires non sûres (ou de non-atteinte) à faible coût.
• DP vs. RL : La DP a généralement surpassé le RL pour trouver des politiques optimales, particulièrement dans des environnements complexes (ex. : « Simple-Slit »), où le RL convergeait vers des solutions conservatrices localement optimales. Cependant, le RL a démontré sa capacité à gérer la structure du problème, bien qu'il nécessite des temps de calcul nettement plus longs (90–130 minutes contre <2 minutes pour la DP). Les auteurs notent que si la DP augmente exponentiellement avec la dimension de l'état, le RL est souvent préféré pour les problèmes réels de haute dimension où la DP est infaisable.

Signification et Revendications
L'article affirme que la formulation JCC standard est fondamentalement défaillante pour les systèmes dotés de contraintes irréversibles car elle incite aux violations de contraintes pour réduire les coûts. En déplaçant l'objectif vers la minimisation du coût des seules trajectiles sûres, la méthode proposée s'aligne sur l'intuition pratique : le coût d'un véhicule accidenté ou d'une procédure médicale ratée est non pertinent pour le coût opérationnel de missions réussies. Les auteurs soutiennent que leur formulation évite le comportement d'« abandon » des contrôleurs standards et fournit un cadre mathématiquement rigoureux (via la reformulation en CMDP et la DP) pour atteindre un contrôle sûr et optimal en termes de coût. Ils concluent que bien que la DP soit actuellement le solveur supérieur pour la formulation proposée dans des contextes de faible dimension, ce cadre ouvre des voies pour l'application de ces principes à des contraintes de logique temporelle plus larges et à des systèmes réels.