Safety-critical Control Under Partial Observability: Reach-Avoid POMDP meets Belief Space Control

Cet article propose une architecture de contrôle en couches pour les POMDPs de type « atteindre-éviter », qui découple la poursuite d'objectif, la collecte d'informations et la sécurité via des fonctions de Lyapunov et de barrière dans l'espace des croyances, permettant ainsi une synthèse de contrôle en temps réel avec des garanties de sécurité probabilistes.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans bagage technique.

🤖 Le Dilemme du Robot Perdu : Comment aller au but sans se faire mal ?

Imaginez un robot qui doit traverser une pièce sombre et remplie d'obstacles pour atteindre un trésor (le but). Mais il y a un gros problème : il ne voit rien. Il a des lunettes de soleil très sales et ses capteurs sont brouillés. Il ne sait pas exactement où il est, ni où sont les murs.

C'est ce qu'on appelle un problème de "décision sous incertitude". Le robot a trois missions contradictoires :

1. Arriver au but (aller vite).
2. Ne pas se cogner (être prudent).
3. Se repérer (aller voir un peu plus clair pour savoir où il est).

Le problème, c'est que ces trois missions demandent des choses différentes. Pour être prudent, il faut aller doucement et vérifier souvent. Pour aller vite, il faut foncer. Pour se repérer, il faut parfois s'arrêter ou faire des manœuvres bizarres.

Les robots actuels essaient de tout faire en même temps dans un seul gros cerveau, ce qui les rend lents, confus ou trop prudents (ils ne bougent plus).

🏗️ La Solution : Une Équipe de Trois Experts

Les auteurs de ce papier proposent une idée géniale : au lieu d'avoir un seul cerveau qui fait tout, donnons-leur trois experts spécialisés qui travaillent ensemble, comme une équipe de pilotage d'avion.

Voici comment fonctionne leur nouvelle architecture, découpée en trois couches :

1. Le Chef de Mission (Le Contrôleur de Référence)

C'est le pilote automatique classique. Il dit : "Le but est là-bas, allons-y !".

• Son rôle : Il regarde la position moyenne estimée du robot et lui donne la direction la plus directe vers le trésor.
• Son défaut : Comme il ne connaît pas les incertitudes, il pourrait envoyer le robot droit dans un mur s'il se trompe de position.

2. L'Explorateur Curieux (Le "BCLF" - Fonction de Lyapunov)

C'est l'expert qui s'occupe de la curiosité et de la réduction de l'incertitude.

• Son rôle : Il agit comme un aimant invisible. Si le robot est dans le flou, l'aimant le pousse vers des endroits où il pourra mieux se repérer (par exemple, aller frotter un mur pour savoir où il est).
• L'analogie : Imaginez que vous êtes dans le brouillard. L'explorateur vous dit : "Ne cours pas tout droit, va toucher ce mur à gauche, ça va nous dire exactement où on est !".
• L'innovation : Ils ont appris à cet explorateur à utiliser l'intelligence artificielle (Apprentissage par Renforcement) pour savoir quand et comment se repérer de la manière la plus efficace, sans perdre de temps.

3. Le Gardien de Sécurité (Le "BCBF" - Fonction de Barrière)

C'est le garde du corps ultra-vigilant.

• Son rôle : Il surveille en permanence la trajectoire. Si le Chef de Mission ou l'Explorateur proposent un mouvement qui risque de faire tomber le robot dans une zone dangereuse, le Gardien intervient immédiatement et corrige le mouvement.
• L'innovation : Contrairement aux anciens systèmes qui disaient "Attention, tu risques de tomber dans 1 seconde", ce nouveau Gardien utilise une technique statistique (la "prédiction conforme") pour dire : "Je suis sûr à 99% que tu ne tomberas pas dans le mur pendant tout le trajet de 10 minutes". C'est une garantie de sécurité sur la durée, pas juste un instant.

🎻 La Magie de l'Orchestre

Le génie de cette méthode, c'est que ces trois experts ne se battent pas. Ils sont organisés en couches :

• Le Chef donne la direction générale.
• L'Explorateur ajuste la trajectoire pour se repérer (parfois en s'éloignant un peu du but pour mieux le voir).
• Le Gardien vérifie en temps réel que personne ne fait une bêtise.

Si l'Explorateur veut aller vers un mur pour se repérer, mais que le Gardien voit un trou de l'autre côté, le Gardien coupe court et dit : "Non, on va par là, c'est plus sûr".

🚀 Résultats et Expériences

Les chercheurs ont testé cette idée sur des simulations et même sur un vrai robot spatial (qui flotte sur un sol lisse comme s'il était en apesanteur).

• Résultat : Le robot est plus rapide, plus sûr et réussit mieux ses missions que les robots qui essaient de tout faire en même temps.
• Réutilisabilité : Une fois que l'Explorateur (l'IA) a appris à se repérer dans une pièce, on peut le réutiliser dans une autre pièce complètement différente sans le réapprendre ! C'est comme si le robot avait appris à "apprendre" à se repérer.

En Résumé

Ce papier nous dit : "Ne faites pas tout en même temps !"
Pour qu'un robot autonome soit sûr et efficace dans le brouillard, il faut séparer les tâches :

1. Quelqu'un pour viser le but.
2. Quelqu'un pour réduire le flou (apprendre).
3. Quelqu'un pour garantir qu'on ne meurt pas (sécurité).

En combinant ces trois rôles avec des outils mathématiques modernes, on obtient un robot qui sait naviguer dans l'inconnu avec confiance, comme un marin expérimenté qui utilise sa boussole, sa carte et son instinct pour éviter les récifs tout en atteignant le port.

Résumé technique

Voici un résumé technique détaillé de l'article "Safety-critical Control Under Partial Observability: Reach-Avoid POMDP meets Belief Space Control" en français.

1. Problématique

Le papier aborde le défi du contrôle de robots dans des environnements incertains et partiellement observables, formulé comme un problème POMDP (Partially Observable Markov Decision Process) "Reach-Avoid". L'objectif est de faire atteindre un robot un ensemble d'états souhaités ($S_g$) tout en évitant avec une haute probabilité un ensemble d'états dangereux ($S_a$).

Les défis majeurs identifiés sont :

• L'incertitude de l'état : Le robot ne connaît pas sa position exacte mais dispose d'une croyance (distribution de probabilité) basée sur des observations bruitées.
• Conflit d'échelles temporelles : Les trois comportements nécessaires pour résoudre ce problème opèrent sur des échelles de temps différentes :
  1. Sécurité : Nécessite un contrôle réactif à haute fréquence pour éviter les violations de contraintes en temps continu.
  2. Atteinte de l'objectif : Bénéficie d'un horizon de planification plus long.
  3. Collecte d'information (Active Perception) : Nécessaire pour réduire l'incertitude afin que les deux objectifs précédents soient réalisables, mais souvent conflictuel avec la trajectoire directe vers le but.
• Limites des solveurs existants : Les solveurs POMDP en ligne actuels tentent d'optimiser ces trois objectifs simultanément dans une seule recherche d'arbre de croyance. Cette approche unifiée souffre de problèmes d'évolutivité et de difficulté à concilier les exigences de réactivité (sécurité) et de prévision (planification).

2. Méthodologie

Les auteurs proposent une architecture de contrôle en couches, basée sur des certificats, opérant directement dans l'espace des croyances (belief space). Cette architecture découple les trois comportements en modules modulaires :

A. Modélisation de l'Espace de Croyance

• Utilisation d'un filtre particulaire continu-discret pour approximer l'évolution de la croyance (postériorité bayésienne).
• La dynamique de la croyance est modélisée comme un système hybride stochastique de haute dimension (les particules évoluent selon des EDS entre les mesures et sont mises à jour par rééchantillonnage lors des mesures).

B. Quantification de l'Incertitude (Conformal Prediction)

• Au lieu de l'entropie différentielle (peu adaptée aux filtres particulaires), les auteurs utilisent la Prédiction Conformée (Conformal Prediction).
• Ils définissent une mesure d'incertitude $R_\epsilon(b)$ basée sur le rayon d'une boule centrée sur l'estimation moyenne, garantissant avec une probabilité $1-\delta$ que l'état réel se trouve à l'intérieur.

C. Architecture de Contrôle en Trois Couches

1. Contrôleur de Référence (État) :

   • Un contrôleur standard basé sur l'état moyen ($\mu$) qui guide le robot vers la région de l'objectif, en supposant une estimation parfaite.

2. Collecteur d'Information (BCLF - Belief Control Lyapunov Function) :

   • Concept : La collecte d'information est formalisée comme un problème de convergence de Lyapunov dans l'espace des croyances. L'objectif est de rendre l'ensemble des croyances "localisées" (incertitude faible) attractif.
   • Apprentissage : Une fonction de valeur apprise par Reinforcement Learning (RL) sert de BCLF. Les auteurs établissent des conditions théoriques garantissant qu'une fonction de valeur RL optimale satisfait les propriétés d'une fonction de Lyapunov stochastique.
   • Implémentation : Utilisation d'un encodeur invariant par permutation (inspiré du traitement de nuages de points) pour gérer la représentation des particules, suivi d'un réseau de neurones.
   • Fonctionnement : Le contrôleur minimise la déviation par rapport au contrôleur de référence tout en assurant la décroissance de la fonction BCLF (réduction de l'incertitude).

3. Filtre de Sécurité (BCBF - Belief Control Barrier Function) :

   • Concept : Extension des fonctions de barrière de contrôle (CBF) à l'espace des croyances pour garantir la sécurité probabiliste sur un horizon fini (et non pas seulement instantanément).
   • Mécanisme : Utilisation de la prédiction conformée sur les trajectoires simulées des particules pour établir une borne supérieure probabiliste sur le risque de collision.
   • Synthèse : Résolution d'un Programme Quadratique (QP) à haute fréquence qui corrige minimalment l'entrée de commande (issue du BCLF et du référence) pour garantir que la probabilité d'entrer dans la zone dangereuse reste inférieure à un seuil $\delta_a$ sur l'intervalle de temps considéré.

3. Contributions Clés

1. Formalisation de la collecte d'information : Définition de la collecte d'information comme un problème de convergence de Lyapunov dans un espace de croyance non gaussien.
2. Apprentissage de certificats (BCLF) : Présentation d'une méthode pour apprendre des fonctions de Lyapunov de croyance via le RL, avec des conditions théoriques validant leur usage comme certificats stochastiques et à temps fini.
3. Sécurité à horizon fini (BCBF) : Développement d'un filtre de sécurité utilisant la prédiction conformée pour fournir des garanties de sécurité probabilistes sur des horizons temporels finis, dépassant les garanties "point par point" des méthodes précédentes.
4. Architecture modulaire et évolutive : Démonstration que le découplage des objectifs permet une synthèse de contrôle réduite à des QP légers, solubles en temps réel même pour des croyances de dimension $> 10^4$ (non gaussiennes).
5. Validation expérimentale : Validation sur une plateforme robotique spatiale (simulant l'apesanteur) et en simulation, montrant des performances supérieures aux solveurs POMDP contraints de l'état de l'art.

4. Résultats

• Simulation :

  • Comparaison avec des solveurs basés sur la recherche d'arbre Monte Carlo (MCTS) comme CPOMCPOW et CPFT-DPW.
  • La méthode proposée obtient un taux de réussite (Success Rate) nettement supérieur (ex: 0.99 vs 0.47 dans l'environnement "Constrained Antenna") tout en maintenant une sécurité élevée.
  • Les solveurs MCTS échouent souvent car ils ne peuvent pas concilier la nécessité de réduire l'incertitude (aller vers des zones d'information) et la sécurité (éviter les zones dangereuses) avec un seul pas de temps de planification.
  • L'ablation montre que les coefficients de Lyapunov permettent de régler le compromis entre la rapidité de collecte d'information et la longueur du chemin parcouru.

• Expérimentation Matérielle (Hardware) :

  • Tests sur une plateforme robotique spatiale (à coussins d'air) capable de se localiser uniquement par des impacts contre les murs (capteur binaire).
  • Le robot a réussi à naviguer vers un objectif à travers un couloir étroit en réduisant activement son incertitude via des impacts, tout en respectant les contraintes de sécurité.
  • Le contrôle s'est exécuté en temps réel (10 Hz pour la collecte d'info, 50 Hz pour la sécurité) avec 8000 particules.

5. Signification et Impact

Ce travail est significatif car il résout un problème fondamental en robotique autonome : la gestion de l'incertitude dans des tâches critiques pour la sécurité.

• Dépassement des limites actuelles : Il propose une alternative viable aux solveurs POMDP monolithiques qui deviennent ingérables dans des espaces d'états continus et de haute dimension.
• Généralisation : La modularité de l'architecture permet de réutiliser les contrôleurs de collecte d'information (BCLF) appris pour de nouvelles tâches d'atteinte d'objectif, ne nécessitant qu'un changement du contrôleur de référence et du filtre de sécurité.
• Garanties formelles : L'intégration de la prédiction conformée et des fonctions de barrière offre des garanties de sécurité probabilistes rigoureuses, essentielles pour le déploiement de robots dans des environnements réels non structurés.
• Applicabilité : La capacité à traiter des croyances non gaussiennes de haute dimension en temps réel ouvre la voie à l'application de ces méthodes sur des robots complexes (drones, véhicules autonomes, robots spatiaux) opérant avec des capteurs imparfaits.