Trajectory Planning for Safe Dual Control with Active Exploration

1. Problématique et Contexte

La planification de trajectoires sûres en présence d'incertitudes de modèle est un défi fondamental en robotique et en automatique.

• Le compromis classique : Les méthodes de planification robustes garantissent la sécurité en considérant les pires cas d'incertitude, mais elles ignorent la réduction de l'incertitude, conduisant à des comportements excessivement conservateurs et à une dégradation des performances. À l'inverse, le contrôle dual vise à accomplir une tâche tout en réduisant activement l'incertitude du modèle (exploration).
• La limitation actuelle : La plupart des approches de contrôle dual intègrent l'exploration via un terme pondéré dans la fonction de coût. Cela crée un compromis implicite entre la performance de la tâche et la réduction de l'incertitude, sans garantie formelle sur le moment où l'exploration est bénéfique, ni sur le respect strict des contraintes de sécurité ou de budget de mission.
• L'objectif de l'article : Résoudre un problème de contrôle dual contraint par un budget, où le système doit :
  1. Respecter les contraintes d'état et de commande sous incertitude bornée.
  2. Réduire activement l'incertitude paramétrique via l'exploration.
  3. Garantir que le coût total de la mission (incluant le surcoût dû à l'exploration) reste dans un budget prédéfini, représentant la dégradation maximale acceptable par l'utilisateur.

2. Méthodologie : Le Framework "Dual-gatekeeper"

Les auteurs proposent un framework architectural nommé Dual-gatekeeper. L'idée centrale est de traiter l'exploration non pas comme une optimisation continue, mais comme une décision vérifiable : une trajectoire informative n'est exécutée que si elle est certifiée sûre et respecte le budget.

A. Architecture Globale

Le framework fonctionne en cycles de ré-planification (horizon glissant) :

1. Politique de Sauvegarde Robuste (Backup Policy) : À chaque instant de ré-planification, le système calcule d'abord une trajectoire de sauvegarde conservative. Cette trajectoire garantit la sécurité et l'accomplissement de la mission sous l'incertitude actuelle (pire cas).
2. Génération de Candidats : Parallèlement, un ensemble de trajectoires candidates est généré :
   • Conservatrices : Elles suivent la politique de sauvegarde.
   • Informatives : Elles sont conçues pour exciter le système et réduire l'incertitude des paramètres inconnus.
3. Filtrage et Sélection (Le "Gatekeeper") :
   • Vérification de Sécurité : Chaque candidat informatif est testé pour s'assurer qu'il reste dans les limites de sécurité pour toutes les réalisations d'incertitude possibles.
   • Vérification du Budget : Le coût prédit de l'exploration (surcoût par rapport à la trajectoire de sauvegarde) est calculé. Si l'ajout de ce coût dépasse le budget cumulé restant, le candidat est rejeté.
   • Sélection : Parmi les candidats valides et respectant le budget, celui offrant la plus grande réduction d'incertitude prédite (pondérée par la longueur de l'horizon) est sélectionné et "engagé" (committed). Sinon, le système exécute la trajectoire de sauvegarde conservative.

B. Prédiction de la Réduction d'Incertitude

Pour évaluer l'intérêt d'un candidat, le framework doit prédire la réduction de l'incertitude paramétrique avant l'exécution. Deux approches sont proposées :

1. Simulation (Rollouts) : Simulation en boucle fermée avec des échantillons de paramètres et de perturbations pour estimer la réduction de l'ensemble des paramètres admissibles (via l'identification par appartenance à un ensemble - SMID).
2. Cohérence des Données : Calcul analytique de la largeur de l'ensemble des paramètres restants compatibles avec les mesures prévues le long de la trajectoire planifiée, en supposant des perturbations bornées.

C. Garanties Formelles

Le framework fournit des garanties théoriques (Théorème 1) :

• Sécurité : La trajectoire en boucle fermée satisfait toujours les contraintes d'état et de commande, car le système ne quitte jamais la trajectoire de sauvegarde sans certification de sécurité.
• Budget : Le coût cumulé de l'exploration ne dépasse jamais le budget alloué, car la décision d'engager un candidat informatif est conditionnée par une vérification prédictive stricte.

3. Implémentations et Études de Cas

Les auteurs démontrent la modularité du framework en l'implémentant avec deux mécanismes de sécurité différents :

A. Quadrotor Navigation (Implémentation Tube-MPC)

• Contexte : Un drone quadricoptère avec un coefficient de traînée aérodynamique inconnu.
• Sécurité : Utilisation du Tube-MPC (Model Predictive Control basé sur les tubes). Une trajectoire nominale est planifiée, entourée d'un "tube" invariant qui garantit que l'état réel reste dans les limites de sécurité malgré les incertitudes.
• Résultats :
  • Réduction significative des bornes de l'incertitude du paramètre de traînée.
  • Coût de mission total réduit de 17,5 % par rapport à la solution de base conservatrice, tout en restant dans le budget de 110 %.
  • Le système devient progressivement moins conservateur à mesure que l'incertitude diminue.

B. Course Autonome (Implémentation Gatekeeper/Safety Filter)

• Contexte : Une voiture de course autonome avec un coefficient de frottement pneu-route inconnu.
• Sécurité : Utilisation d'une architecture de type Gatekeeper (filtre de sécurité). Un planificateur haute performance génère des trajectoires rapides, et un module de vérification (Gatekeeper) simule ces trajectoires sous incertitude pour rejeter celles qui pourraient violer les contraintes.
• Résultats (Comparaison avec des baselines) :
  • Sécurité : Le framework proposé atteint 100 % de runs sûrs (contre 30 % pour une approche purement nominale et 80 % pour une approche pondérée avec Gatekeeper).
  • Performance : Temps de tour moyen de 8,07 s (contre 17,0 s pour une approche purement conservatrice).
  • Efficacité : Réduction de l'incertitude de 95,5 % en utilisant seulement 23,8 % du budget d'exploration alloué. Cela montre que peu d'actions d'exploration sont nécessaires pour obtenir des gains majeurs.

4. Contributions Clés

1. Framework de Contrôle Dual Sûr : Introduction d'une architecture qui sépare la décision d'exploration de l'optimisation de la tâche, permettant de garantir formellement la sécurité et le respect du budget.
2. Décision Vérifiable : Remplacement du compromis implicite (poids dans la fonction de coût) par une décision explicite basée sur la certification de sécurité et la faisabilité budgétaire.
3. Modularité : Démonstration que le framework fonctionne avec différents mécanismes de sécurité (Tube-MPC et filtres de sécurité basés sur la simulation).
4. Validation Empirique : Résultats convaincants sur deux systèmes dynamiques complexes (drone et voiture de course), montrant une amélioration de la performance sans compromettre la sécurité.

5. Signification et Perspectives

Ce travail est significatif car il résout le dilemme classique entre sécurité et apprentissage/optimisation dans les systèmes autonomes. Il offre une méthode rigoureuse pour permettre aux robots d'explorer leur environnement afin d'apprendre des modèles plus précis, sans risquer de violer des contraintes critiques ou de gaspiller des ressources.

Limitations et travaux futurs mentionnés :

• L'hypothèse de paramètres invariants dans le temps (le framework suppose que les paramètres ne changent pas, ce qui est restrictif pour des environnements dynamiques comme le frottement variable).
• L'absence de lien théorique direct entre la taille de l'ensemble d'incertitude et le coût futur de la mission (le budget est imposé de l'extérieur).
• La prédiction de la réduction d'incertitude repose sur des trajectoires planifiées et ne tient pas compte des erreurs de suivi réelles.

En conclusion, Dual-gatekeeper représente une avancée majeure vers des systèmes autonomes capables d'opérer de manière sûre, efficace et adaptative dans des environnements incertains.