Résumé Technique : Tubes de Reach-Avoid Rétroactifs Neuronaux avec Supervision MPC pour Systèmes de Haute Dimension

Énoncé du Problème

L'amarrage autonome de vaisseaux spatiaux nécessite des politiques de contrôle garantissant à la fois l'évitement des collisions et l'atteignabilité de la cible dans des dynamiques translationnelles-rotationnelles fortement couplées et de haute dimension. Bien que la faisabilité de Hamilton-Jacobi (HJ) offre des garanties formelles pour ces problèmes de « reach-avoid », les solveurs classiques basés sur des grilles sont limités par le fléau de la dimensionnalité, restreignant généralement l'application pratique aux systèmes de cinq ou six dimensions. L'amarrage de vaisseaux spatiaux, impliquant une dynamique complète à 6 degrés de liberté (6-DOF), se traduit par un espace d'état à 13 dimensions, rendant les méthodes basées sur des grilles computationnellement intraitables.

Les approches existantes basées sur l'apprentissage, telles que DeepReach, tentent d'approximer les fonctions de valeur de HJ en utilisant des réseaux de neurones pour passer à des dimensions supérieures. Cependant, ces méthodes peinent spécifiquement dans les contextes de reach-avoid où l'ensemble cible (port d'amarrage) et l'ensemble d'échec (zone de collision) sont étroitement couplés. La structure imbriquée min-max de l'inégalité variationnelle (VI) de reach-avoid produit des gradients qui s'annulent dans de vastes régions de l'espace d'état, entraînant un entraînement instable et des politiques sous-optimales. De plus, un entraînement purement basé sur les équations aux dérivées partielles (PDE) échoue souvent à converger sur les horizons temporels longs requis pour les tâches d'amarrage.

Méthodologie

Les auteurs proposent un cadre d'apprentissage basé sur les Tubes de Reach-Avoid Rétroactifs (BRAT) qui intègre la structure HJ avec une supervision par Contrôle Prédictif de Modèle (MPC) pour relever ces défis. L'approche se compose d'une phase d'entraînement hors ligne et d'une phase de déploiement en ligne.

Entraînement Hors Ligne : Apprentissage par Curriculum Supervisé par MPC

L'innovation centrale est une stratégie d'entraînement qui complète la minimisation standard des résidus de PDE par une supervision MPC guidée par un curriculum.

1. Architecture Neurale : La fonction de valeur HJ est approximée à l'aide d'un réseau de neurones SIREN (Sinusoidal Representation Networks) avec une paramétrisation de condition aux limites exacte pour garantir que les contraintes de frontière sont satisfaites par construction.
2. Fonction de Perte Hybride : Le réseau est entraîné en minimisant une perte combinée :
   • Perte PDE : Pénalise les violations de l'inégalité variationnelle de reach-avoid.
   • Perte de Supervision MPC : Utilise des cibles de valeur générées par un solveur MPC. Ces étiquettes fournissent une supervision directe dans les régions où le signal de résidu PDE est faible (par exemple, loin de la frontière active).
3. Cycle Entraînement-Vérification-Raffinement : Pour relever le défi temporel de l'apprentissage de fonctions de valeur sur des horizons longs, les auteurs introduisent une boucle de rétroaction active. L'entraînement progresse selon un curriculum qui élargit progressivement l'horizon temporel. À des points de contrôle spécifiques, l'entraînement est mis en pause pour valider la fonction de valeur actuelle contre les estimations de coût MPC sur un ensemble retenu. Si la validation échoue, l'entraînement se poursuit à l'horizon actuel. Crucialement, les étiquettes MPC sont régénérées à chaque point de contrôle en utilisant la politique apprise actuelle comme « démarrage à chaud », créant une boucle d'amorçage où l'amélioration de la qualité du réseau conduit à de meilleures étiquettes de supervision.

Déploiement en Ligne : Architecture à Double Contrôleur

La fonction de valeur apprise est déployée via deux contrôleurs en temps réel, tous deux soutenus par un filtre de sécurité le moins restrictif possible (un BRT de type évitement uniquement) pour garantir la sécurité même lorsque le système se trouve en dehors du BRAT appris.

1. Contrôleur Gradient BRAT :
   • Phase de Convergence : Lorsque l'état est en dehors du BRAT ($V > 0$), le contrôleur utilise le gradient de la fonction de valeur pour diriger le système vers l'intérieur du BRAT en utilisant un contrôle tout-ou-rien (bang-bang).
   • Phase de Précision : Une fois à l'intérieur du BRAT ($V \leq 0$), le contrôleur effectue une recherche de temps minimum pour trouver la tranche de temps la plus serrée où l'état reste sûr, appliquant un contrôle tout-ou-rien pour un guidage terminal précis.
2. Contrôleur Terminal MPC : Ce contrôleur utilise un MPC à court horizon avec la fonction de valeur apprise servant de coût terminal différentiable, combinant la faisabilité de la planification à court horizon avec l'information de reach-avoid à long horizon encodée dans le réseau de neurones.

Contributions Clés

1. Extension aux Problèmes de Reach-Avoid : Les auteurs étendent DeepReach supervisé par MPC aux problèmes de reach-avoid, introduisant une stratégie d'entraînement basée sur un curriculum avec une boucle d'entraînement-vérification-raffinement pour permettre un apprentissage stable dans les systèmes de haute dimension.
2. Nouvelle Suite de Contrôleurs : Développement de deux contrôleurs en temps réel (gradient BRAT et Terminal MPC augmenté par fonction de valeur) qui exploitent la fonction de valeur apprise pour un amarrage sûr.
3. Validation en Haute Dimension : Évaluation sur des modèles d'amarrage de vaisseaux spatiaux de fidélité croissante, incluant un système planaire 6D (validé par rapport à une vérité terrain basée sur grille) et le système orbital complet 13D.
4. Supériorité de Performance : Démonstration que la méthode proposée surpasse les MPC existants, DeepReach Vanilla et les bases de référence par Apprentissage par Renforcement (RL) tant en taux de réussite qu'en efficacité computationnelle.

Résultats

Le cadre a été évalué sur un problème d'amarrage planaire 6D et un problème d'amarrage orbital complet 13D.

• Amarrage Planar 6D :

  • Précision : Le BRAT appris correspondait étroitement à la vérité terrain basée sur grille, atteignant un taux de vrais positifs (TPR) de 81,12 % et un faible taux de faux positifs (FPR) de 0,15 % par rapport à la solution grille.
  • Performance : Le contrôleur BRAT proposé a atteint un taux de réussite d'amarrage de 99,6 % avec 0 % de collisions, correspondant à la vérité terrain basée sur grille (99,8 % de réussite).
  • Efficacité : Le contrôleur BRAT a fonctionné en temps réel avec un temps de calcul moyen de 10,74 ms par étape, nettement plus rapide que le MPC standard (5880 ms) et le Terminal MPC (2246 ms).
  • Optimalité : Le contrôleur appris a atteint des temps moyens d'amarrage légèrement plus rapides (29,17 s) par rapport à la solution basée sur grille (30,18 s), attribué à la capacité du réseau de neurones à atténuer les erreurs de discrétisation inhérentes aux solveurs basés sur grille.

• Amarrage Orbital 13D :

  • Passage à l'échelle : Le cadre a réussi à passer à l'échelle du système 13D, un régime où les solveurs basés sur grille sont intraitables.
  • Performance : Le contrôleur BRAT a atteint un taux de réussite d'amarrage de 98,88 % avec un taux de collision de 0,58 % sur 10 000 conditions initiales échantillonnées uniformément.
  • Comparaison : Les bases de référence ont échoué de manière significative en 13D. Le MPC standard présentait un taux de collision de 27 % et un taux d'expiration de délai de 73 %. DeepReach Vanilla et les bases de référence RL ont échoué presque totalement (99,4 % d'expiration de délai). Le Terminal MPC a atteint 83 % de réussite mais nécessitait environ 12,7 secondes par étape de contrôle, le rendant impraticable pour une exécution en temps réel à bord. Le contrôleur BRAT proposé a maintenu un temps d'exécution par étape de 16,00 ms.

Importance et Revendications

L'article revendique que ce travail comble le fossé critique dans l'application de garanties formelles de reach-avoid aux systèmes dynamiques couplés de haute dimension comme l'amarrage de vaisseaux spatiaux. En intégrant étroitement la supervision MPC avec l'apprentissage basé sur les PDE, les auteurs surmontent l'instabilité de l'entraînement purement piloté par les PDE dans les contextes de reach-avoid.

L'importance réside dans la capacité à synthétiser des contrôleurs qui sont :

1. Formellement Sûrs : Capables de fournir des garanties de reach-avoid via le cadre HJ.
2. Évolutifs : Efficaces dans des espaces d'état à 13 dimensions où les méthodes de grille traditionnelles échouent.
3. Computationalement Efficaces : Capables d'une exécution en temps réel sur du matériel embarqué, contrairement au MPC basé sur l'optimisation qui est trop lent pour les problèmes de haute dimension.
4. Robustes : Capables de gérer le couplage étroit entre les ensembles de but et d'échec qui confondent généralement les approches basées sur l'apprentissage.

Les auteurs notent que la formulation actuelle suppose un environnement sans perturbation et une cible stationnaire. Les travaux futurs sont identifiés comme l'extension du cadre pour inclure des perturbations bornées via des formulations de jeux différentiels et la gestion de cibles en rotation avec des ensembles de buts variables dans le temps.