TRUST-UP: Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit

Cet article présente TRUST-UP, un cadre d'apprentissage par renforcement fiable pour la poursuite par drone qui combine des filtres de sécurité basés sur des fonctions de barrière de contrôle avec une stratégie de commutation transparente afin de garantir un vol autonome prouvablement sûr et certifiable dans des environnements urbains encombrés.

L'essentiel

Imaginez que vous enseigniez à un drone robotique à jouer à un jeu de « chat » dans un parc urbain très fréquenté, rempli de gens, d'autres drones et d'arbres. Vous voulez que le drone soit rapide, intelligent et capable de poursuivre une cible en mouvement.

Le Problème : Le drone « techniquement sûr » mais « effrayant »
L'IA standard (Apprentissage par Renforcement) est excellente pour apprendre à se déplacer rapidement. Cependant, elle présente une faille majeure : elle ne se soucie que de la sécurité mathématique.

• Le point de vue mathématique : Si le drone effectue un écart de dernière seconde pour éviter de heurter la tête d'une personne, les mathématiques disent : « Beau travail ! Aucune collision n'est survenue. »
• Le point de vue humain : Ce même écart de dernière seconde est terrifiant. Il envahit la bulle personnelle de la personne, ce qui la fait se sentir en insécurité et méfiante.

L'article soutient que pour que les drones puissent voler autour des gens, ils doivent être non seulement techniquement sûrs, mais aussi perceptuellement sûrs. Ils doivent respecter un « Rayon de Confiance » — une bulle invisible plus large autour d'une personne qui la rend confortable, et non simplement physiquement indemne.

La Solution : TRUST-UP
Les auteurs ont créé un système appelé TRUST-UP (Apprentissage par renforcement de confiance utilisant des techniques sûres pour la poursuite par UAV). Considérez cela comme un « Copilote de Sécurité Intelligent » qui se situe entre le cerveau de l'IA et les moteurs du drone.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Pilote « Sauvage » (Le modèle RL)

D'abord, ils entraînent une IA standard (en utilisant une méthode appelée Soft Actor-Critic) pour qu'elle soit un excellent pilote. Cette IA apprend à poursuivre une cible efficacement. Cependant, tel un pilote de course imprudent, elle pourrait tenter des mouvements dangereux ou saccadés pour gagner la course. Elle ne comprend pas intrinsèquement les zones de confort humain.

2. Le Filtre de Sécurité « Strict » (Les CBF)

C'est l'innovation centrale. Avant que la commande de l'IA n'atteigne les moteurs du drone, elle passe par un Filtre de Sécurité.

• L'analogie : Imaginez que l'IA est un enfant courant dans une aire de jeux, et que le Filtre de Sécurité est un parent strict mais juste tenant une laisse.
• Comment ça marche : Le filtre utilise des règles mathématiques appelées Fonctions de Barrière de Contrôle (CBF). Ces règles agissent comme des murs invisibles et flexibles.
  • Mur 1 (Collision) : Vous ne pouvez pas heurter la personne ou l'arbre.
  • Mur 2 (Détection) : Vous devez rester assez proche pour voir votre cible (comme un chien tenu en laisse qui ne peut pas s'éloigner trop loin).
  • Mur 3 (Limites du moteur) : Vous ne pouvez pas pousser le moteur du drone au-delà de ses limites physiques.

Si le « Pilote Sauvage » tente de foncer dans un mur, le « Parent » (le filtre) saisit instantanément la laisse et redirige le drone vers une trajectoire sûre. L'article prouve mathématiquement que ce filtre trouvera toujours un chemin sûr, même si le vent souffle ou si la cible se déplace de manière erratique.

3. L'« Interrupteur » (Transparence)

Le système possède un « Interrupteur » spécial qui décide qui est aux commandes à un instant donné.

• Lumière Verte : Si le plan de l'IA est déjà sûr et respecte le « Rayon de Confiance », l'Interrupteur laisse l'IA conduire librement.
• Lumière Rouge : Si l'IA tente de faire quelque chose d'insécurisant, l'Interrupteur prend instantanément le contrôle, calcule le mouvement le plus sûr possible et l'exécute.
• Pourquoi c'est important : Cela rend le système « transparent ». Nous pouvons examiner le code et dire : « Nous savons exactement pourquoi le drone s'est arrêté ou a tourné », ce qui est crucial pour obtenir l'approbation officielle (certification) pour voler en ville.

4. L'astuce du « Moteur Virtuel »

L'article mentionne une astuce ingénieuse où ils ajoutent un « moteur virtuel » aux mathématiques.

• L'analologie : Imaginez une voiture qui ne peut accélérer que jusqu'à un certain point. Si vous exigez soudainement un virage serré, la voiture pourrait déraper. La méthode des auteurs ajoute un « rapport de vitesse virtuel » qui lisse ces demandes soudaines, garantissant que le drone ne fait pas de mouvements brusques, ce qui préserve le « Rayon de Confiance » même lors d'urgences.

Les Résultats : Qu'est-ce qui s'est passé dans les simulations ?

Les auteurs ont testé cela dans une simulation informatique avec deux drones poursuivant deux cibles autour d'obstacles.

• L'IA « Sauvage » (SAC uniquement) : Elle a percuté des obstacles, a perdu la vue de ses cibles et a effectué des mouvements erratiques. Elle n'a pas réussi à maintenir le « Rayon de Confiance ».
• Le Système TRUST-UP : Les drones ont poursuivi leurs cibles avec succès, évité tous les obstacles, sont restés à la distance requise pour « voir » la cible et n'ont jamais violé les limites de sécurité. Même lorsque les cibles ont effectué des virages brusques en « huit » ou lorsque le vent soufflait, les drones TRUST-UP sont restés calmes et sûrs.

L'essentiel

L'article affirme que TRUST-UP comble le fossé entre une IA rapide et intelligente et la nécessité de la confiance humaine. Il prend une IA potentiellement dangereuse et l'enveloppe dans une « combinaison de sécurité » mathématiquement prouvée qui garantit que le drone ne fera jamais rien qui puisse sembler dangereux pour un humain, le rendant prêt pour une utilisation réelle dans les cieux urbains encombrés.

Résumé technique

Résumé Technique : TRUST-UP

Énoncé du Problème

L'article traite de l'écart critique entre la haute performance de l'apprentissage par renforcement (RL) pour la poursuite par des véhicules aériens autonomes (UAV) et les exigences strictes de sécurité et de transparence nécessaires à la certification aéronautique, particulièrement dans les environnements urbains à basse altitude avec présence humaine.

Bien que le RL permette un contrôle de vol agile, sa nature de « boîte noire » et son manque de garanties de sécurité déterministes entravent la certification de navigabilité. Un défi spécifique identifié est le concept de « sécurité perçue » ou de « rayon de confiance ». Contrairement aux obstacles inanimés, les humains nécessitent des marges de sécurité élargies basées sur le confort psychologique et la proxémie. Les politiques de RL standard privilégient souvent l'évitement technique de collision (par exemple, frôler étroitement un piéton à grande vitesse), ce qui peut techniquement satisfaire aux contraintes de collision mais viole la confiance humaine en envahissant l'espace personnel. Les méthodes de RL sûr existantes, telles que le façonnage de récompense (reward shaping) ou le bouclier statique, échouent souvent à fournir les garanties déterministes requises pour la confiance psychologique humaine ou peinent à assurer la faisabilité lors de l'application de contraintes complexes respectant la présence humaine parallèlement aux limitations de poussée et aux portées de détection.

Méthodologie : Le Cadre TRUST-UP

Les auteurs proposent TRUST-UP (Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit), un cadre qui intègre une politique de RL sans modèle à un filtre de sécurité formel basé sur des fonctions de barrière de contrôle (CBF). Le système est conçu pour transformer les actions de RL non sûres en commandes de vol prouvables et sûres tout en maintenant la transparence opérationnelle.

1. Augmentation et Transformation du Système

Pour traiter les problèmes de faisabilité courants dans les systèmes contraints par la poussée, les auteurs augmentent la dynamique de l'UAV en introduisant des entrées de commande virtuelles. Cette transformation transforme le problème original de premier ordre, contraint par la poussée, en un problème de second ordre, contraint par la sortie. Cette transformation intègre l'inertie de l'actionneur dans les contraintes de sécurité, atténuant les problèmes de surcharge causés par des changements d'entrée brusques dans les CBF de premier ordre traditionnels et améliorant la faisabilité du programme quadratique (QP) résultant.

2. Construction d'un Filtre de Sécurité Adaptatif

Le cœur de TRUST-UP est un filtre de sécurité construit à partir de trois CBF adaptatifs, formulés sous forme de problème QP. Ces contraintes assurent l'invariance vers l'avant de trois ensembles de sécurité spécifiques :

• Contrainte d'Entrée ($C_{u,i}$) : Une contrainte variable dans le temps qui adapte dynamiquement l'allocation de poussée maximale en fonction de la position relative entre le poursuivant et la cible. Cela permet d'assouplir les limites lors de manœuvres d'urgence tout en régulant strictement les commandes erratiques lors du vol nominal.
• Évitement de Collision ($C_{c,i}$) : Assure une distance de sécurité minimale entre le poursuivant et tous les autres agents (cibles, autres UAV) ainsi que les obstacles statiques.
• Portée de Détection ($C_{s,i}$) : Assure que le poursuivant reste à une distance maximale pour maintenir la couverture sensorielle de sa cible.

Le filtre prend en compte les incertitudes du système (ex. : vent, bruit des capteurs) en utilisant des lois adaptatives pour estimer les paramètres inconnus, garantissant ainsi la robustesse face aux perturbations.

3. Stratégie de Commutation Transparente

Le cadre emploie une loi de commande hybride avec une stratégie de commutation :

• Région $R_1$ : Si l'action de RL nominale ($\pi_i$) satisfait toutes les contraintes de sécurité (c'est-à-dire qu'elle se situe dans l'ensemble admissible), le système exécute directement l'action de RL.
• Région $R_2$ : Si l'action de RL viole une contrainte, le filtre de sécurité est activé. Le système résout le CBF-QP pour trouver l'entrée de commande sûre ($v^*_i$) la plus proche de l'action nominale qui satisfait toutes les contraintes.

Les auteurs prouvent formellement que cette stratégie de commutation garantit que le problème QP satisfait les conditions de Karush-Kuhn-Tucker (KKT), garantissant l'existence d'une solution unique et lipschitzienne qui maintient l'invariance de l'ensemble de sécurité.

Contributions Clés

1. Conception de CBF Contrainte par la Poussée : L'article introduit une méthode pour gérer les contraintes de poussée en augmentant le système avec des entrées virtuelles. Cette approche impose les limites de l'enveloppe de vol opérationnelle tout en adaptant les limites supérieures lors de manœuvres d'urgence, équilibrant la performance de la mission et la sécurité vérifiable.
2. Filtre de Sécurité Adaptatif : La conception de deux CBF basés sur la position (pour l'évitement de collision et la portée de détection) combinée à la CBF contrainte par la poussée forme un filtre de sécurité doté d'une faisabilité garantie. La nature adaptative de ces contraintes permet aux UAV de maintenir des opérations sûres même sous des perturbations atmosphériques.
3. Algorithme TRUST-UP avec Faisabilité Prouvée : La proposition d'une stratégie de commutation transparente qui détermine la sécurité des sorties de RL. Les auteurs fournissent une preuve formelle que l'algorithme satisfait les conditions KKT pour toutes les contraintes de sécurité, assurant la conformité aux exigences de fiabilité de l'aviation pour un déploiement certifié.

Résultats de Simulation

Les auteurs ont validé TRUST-UP via des simulations numériques impliquant deux UAV de poursuite suivant des cibles dans des environnements avec des obstacles statiques et des perturbations inconnues. Deux scénarios ont été testés :

1. Manœuvres Circulaires : Les cibles effectuent de larges manœuvres circulaires.
2. Manœuvres en Figure de 8 : Les cibles effectuent des trajectoires complexes en « figure de 8 » avec des courbures variables.

Analyse Comparative :

• SAC-Seul vs. TRUST-UP : L'algorithme de base Soft Actor-Critic (SAC), entraîné sans le filtre de sécurité, n'a pas réussi à garantir la sécurité. Dans les simulations, les agents utilisant uniquement le SAC ont collisionné avec des obstacles et ont perdu la détection de leurs cibles (dépassant le rayon de détection).
• Garanties de Sécurité : TRUST-UP a maintenu avec succès toutes les contraintes de sécurité (évitement de collision, portée de détection et limites d'entrée) dans les deux scénarios, même lorsque les cibles effectuaient des manœuvres d'évitement agressives.
• Stabilité du Contrôle : Les entrées de commande générées par TRUST-UP sont restées dans les limites prescrites sans oscillations à haute fréquence, alors que l'approche SAC-seul présentait un comportement de suivi instable sous l'effet des perturbations.
• Efficacité Computationnelle : L'implémentation CBF-QP de TRUST-UP a démontré une efficacité computationnelle en ligne améliorée, réduisant le temps moyen de résolution du QP d'environ 14,1 % par rapport à une technique standard de CBF-QP contrainte par l'entrée.

Signification et Revendications

L'article affirme que TRUST-UP répond à la déficience fondamentale du déploiement de systèmes autonomes dans des environnements humains : le décalage entre la sécurité technique et la confiance perçue. En convertissant les zones de sécurité psychologique (rayons de confiance) en contraintes déterministes et strictes au sein d'un filtre de sécurité transparent, le cadre comble le fossé entre la performance de l'IA et les normes de certification aéronautique.

Les auteurs soulignent que leur travail contribue à des cadres d'IA certifiables et explicables pour l'aviation à basse altitude. Contra \text{à} les méthodes reposant sur le façonnage de récompense (pénalités douces), TRUST-UP fournit des garanties déterministes. La stratégie de commutation transparente garantit que les décisions de sécurité sont interprétables, satisfaisant aux exigences de certification de navigabilité pour les opérations aériennes critiques pour la sécurité. L'article conclut que cette approche est une étape nécessaire vers des systèmes de vol autonomes dignes de confiance pour la future mobilité aérienne urbaine, particulièrement là où la présence humaine et le confort psychologique sont des facteurs critiques.