Stealthy Coverage Control for Human-enabled Real-Time 3D Reconstruction

Résumé Technique : Contrôle de Couverture Discret pour la Reconstruction 3D Temps Réel Assistée par l'Humain

Énoncé du Problème
Une reconstruction 3D précise à partir d'images nécessite un nombre d'échantillons proportionnel à la complexité structurelle de la scène cible. Cependant, cette complexité est spatialement non uniforme et difficile à prédire sans connaissances préalables. Les stratégies existantes de contrôle de couverture autonome imposent généralement un échantillonnage uniforme sur une scène, ce qui s'avère inefficace pour les structures complexes. Inversement, bien que les opérateurs humains possèdent la conscience situationnelle nécessaire pour identifier les régions nécessitant une densité d'échantillonnage plus élevée, l'intégration de la navigation humaine avec le contrôle de couverture autonome présente un défi important : les entrées manuelles peuvent entrer en conflit avec les lois de contrôle autonomes, ce qui peut déstabiliser le système ou dégrader la capacité de l'opérateur à guider efficacement les drones.

Méthodologie
Les auteurs proposent un système semi-autonome nommé Contrôle de Couverture Discret (Stealthy Coverage Control), qui intègre l'intervention humaine dans un essaim de drones autonome pour la reconstruction 3D. L'architecture du système repose sur un simulateur basé sur Unity/ROS2 où un opérateur humain visualise un modèle 3D en temps réel (reconstruit via NeuralRecon) ainsi que l'état moyen de l'essaim de drones via un casque de réalité virtuelle (HMD).

La méthodologie repose sur deux composantes techniques principales :

1. Contrôle de Couverture Reflétant l'Intention Humaine :
   Le système définit une fonction de performance de détection $f_1$ basée sur la relation géométrique entre les drones individuels et les cellules d'observation. Pour incorporer l'intention humaine, une seconde fonction $f_2$ évalue la performance de détection d'un « drone moyen virtuel » contrôlé par l'opérateur humain. Un indice d'importance $\phi_j$ pour chaque cellule d'observation est mis à jour dynamiquement : il augmente lorsque le drone virtuel opéré par l'humain atteint une haute performance de détection dans une région (indiquant un besoin de plus de données) et diminue à mesure que la cellule est suffisamment observée par l'essaim physique. Le contrôleur autonome minimise une fonction d'objectif globale $J$ (la somme des indices d'importance) en utilisant un contrôle basé sur des contraintes pour garantir un taux de décroissance minimal.

2. Contrôle Discret via la Projection dans le Noyau (Nullspace Projection) :
   Pour éviter que les entrées de couverture autonomes n'interfèrent avec les commandes manuelles de l'opérateur humain, les auteurs emploient un cadre de contrôle basé sur la redondance. L'entrée de vitesse totale pour chaque drone est la somme de la commande humaine ($u_h$) et de la commande autonome ($u_{ai}$). L'entrée autonome est projetée dans le noyau (nullspace) de la carte d'état du système (plus précisément, la position et l'orientation moyennes de l'essaim).

   • Définition : Une commande est dite « discrète » (stealthy) si elle ne modifie pas l'évolution de l'état moyen $\bar{g}$ perçu par l'opérateur humain.
   • Implémentation : Le vecteur de commande autonome est multiplié par une matrice $A(g)$ conçue pour se situer dans le noyau de la transposée de la Jacobienne reliant les états des drones à l'état moyen. Cela garantit que, bien que les drones se déplacent pour optimiser l'échantillonnage d'images (changeant leurs positions relatives), la pose moyenne de l'essaim reste gouvernée uniquement par les commandes de vitesse de l'humain. Ce découplage préserve la stabilité et l'opérabilité du système en boucle fermée avec l'humain.

Principales Contributions

• Stratégie Semi-Autonome : Un nouveau cadre qui tire parti du raisonnement flexible de l'humain pour identifier les régions de haute complexité structurelle, dirigeant l'essaim pour échantillonner ces zones plus densément sans nécessiter d'algorithmes complexes de détection de changement de maillage en temps réel.
• Contrôle de Couverture Discret : Une loi de contrôle qui découple mathématiquement l'optimisation de l'échantillonnage d'images autonome de la navigation humaine. Cela permet à l'essaim d'effectuer un contrôle de couverture efficace sans faire « dériver » l'état moyen que l'opérateur humain tente de contrôler, évitant ainsi les conflits opérationnels.
• Architecture du Système : Une implémentation complète intégrant la reconstruction 3D en temps réel (NeuralRecon), le contrôle de couverture et l'interaction humain-dans-la-boucle au sein d'un environnement ROS2/Unity.

Résultats
Des études de simulation ont été menées avec trois drones dans un environnement intérieur virtuel contenant des meubles (armoire, table, canapés).

• Vérification de la Discrétion : Dans les tests où l'opérateur humain commandait une trajectoire circulaire, le système avec contrôle discret a permis à la position moyenne du drone de suivre la trajectoire exactement. En revanche, le système sans contrôle discret présentait une dérive significative de la position moyenne due aux forces de couverture autonomes, rendant le contrôle manuel difficile.
• Qualité de la Reconstruction : Une comparaison des modèles 3D a révélé que le système entièrement autonome (sans intervention humaine) produisait des artefacts, tels que des objets inexistants flottant au-dessus d'un canapé et une distorsion du maillage sur le haut de l'armoire. Le système semi-autonome, où l'humain a guidé l'essaim vers les zones complexes (par exemple, le dessus des canapés et les côtés de l'armoire), a produit un modèle nettement plus précis et détaillé. L'échantillonnage guidé par l'humain a permis d'éliminer efficacement les artefacts et de corriger les distorsions géométriques.

Signification et Revendications
L'article affirme que le système semi-autonome proposé surpasse le contrôle de couverture purement autonome en termes de qualité du modèle reconstruit. La signification réside dans la capacité à gérer la complexité structurelle spatialement hétérogène en exploitant la reconnaissance situationnelle humaine tout en maintenant la stabilité du système grâce au découplage des entrées de contrôle. Les auteurs affirment que cette approche permet un échantillonnage d'images coopératif sans compromettre la performance du contrôle ou l'opérabilité humaine.

Les auteurs notent modestement que l'implémentation actuelle est centralisée, et que des travaux futurs sont nécessaires pour aborder une implémentation distribuée, une analyse rigoureuse de la stabilité en boucle fermée du système humain-dans-la-boucle, ainsi qu'une validation expérimentale au-delà de la simulation.