Résumé Technique : ActMVS – Reconstruction de Scène Active par Stéréo Multi-Vues Monoculaire

1. Énoncé du Problème

La reconstruction active de scènes est essentielle pour que les robots et les véhicules aériens sans pilote (UAV) puissent naviguer et cartographier de manière autonome des environnements inconnus, particulièrement dans des scénarios comme l'inspection industrielle et la réponse aux catastrophes où l'acquisition manuelle de données est coûteuse. Alors que les méthodes passives (ex: SfM, SLAM) traitent des données pré-collectées, la reconstruction active nécessite une planification en temps réel des trajectoires des capteurs pour maximiser la couverture tout en garantissant une navigation sans collision.

Les approches actuelles de reconstruction active reposent principalement sur des capteurs de profondeur (ex: LiDAR, lumière structurée) pour générer des cartes d'occupation à haute confiance pour un raisonnement spatial sûr. Cependant, ces capteurs introduisent des contraintes de coût, de poids et de puissance prohibitives pour les plateformes à ressources limitées. Les auteurs visent à développer une solution exclusivement visuelle monoculaire.

Le défi central réside dans l'acquisition de prédictions de profondeur denses à des taux de rafraîchissement d'image avec une précision d'échelle métrique en utilisant uniquement une seule caméra. Les méthodes existantes d'estimation de la profondeur monoculaire manquent de précision métrique, tandis que les techniques classiques de Stéréo Multi-Vues (MVS) font face à deux limitations critiques en contexte actif :

1. Bases de parallaxe insuffisantes : L'utilisation de trames adjacentes entraîne souvent une profondeur sous-optimale en raison d'un manque de parallaxe ou de co-visibilité.
2. Absence de contexte global : Les récentes méthodes MVS basées sur l'apprentissage traitent généralement un nombre limité de trames de référence (par exemple, 8), ce qui entraîne une accumulation d'erreurs et un manque de cohérence globale, compromettant la sécurité de la planification et la qualité de la reconstruction.

2. Méthodologie : Cadre de travail ActMVS

ActMVS est présenté comme le premier cadre pour la reconstruction de scène active monoculaire. Il intègre une représentation de scène hybride avec un nouveau graphe de facteurs de vue et une optimisation de profondeur globale pour permettre la génération de cartes de profondeur denses, en ligne, de haute qualité et globalement cohérentes.

A. Représentation de Scène Hybride

Le système maintient trois représentations simultanées :

• Graphe de Facteurs de Vue ($G_f$) : Modélise les relations géométriques entre les trames. Les nœuds stockent les images de vue, les cartes de profondeur optimisées, les poses et les intrinsèques. Les arêtes encodent les poids de visibilité voxel-trame pour indiquer le chevauchement géométrique.
• Carte de Voxels ($M_v$) : Construite sur OctoMap, elle stocke les probabilités d'occupation. Elle sert à la fois de carte d'occupation pour la planification sans collision et de modèle de visibilité pour les surfaces co-visibles.
• Carte de Gaussian Splatting ($M_g$) : Utilise des surfels gaussiens pour une reconstruction de surface haute fidélité, générant des cartes de couleur, de profondeur, de normales et d'opacité via un rendu différentiable.

B. Processus de Reconstruction Active en Ligne

Le cadre fonctionne de manière itérative en deux phases :

1. Phase de Planification (Prochaine Meilleure Vue - NBV) :
   • Des points de vue candidats sont échantillonnés dans des limites de sécurité et d'exploration.
   • Un score pondéré combinant la complétude de la vue (voxels inexplorés visibles) et la distance de voyage (calculée via une recherche de chemin A*) détermine la Prochaine Meilleure Vue (NBV).
   • Les trajectoires sont interpolées le long du chemin A* pour assurer une co-visibilité suffisante pour la prédiction de profondeur MVS ultérieure.
2. Phase de Cartographie :
   • Modélisation de la Visibilité : Calcule les chevauchements par paires ($\Omega_{tj}$) via la co-visibilité des voxels, mettant à jour le Graphe de Facteurs de Vue en connectant la vue actuelle aux $k$ plus proches voisins.
   • Prédiction de Profondeur : Adapte la méthode MVS de propagation directe MVSA pour estimer la profondeur dense en utilisant les voisins sélectionnés comme vues de référence.
   • Optimisation Globale de la Profondeur : Effectue $N_{iter}$ étapes d'optimisation globale sur la carte de profondeur via un déformage de profondeur par paires au sein du graphe.
   • Mise à jour : Met à jour la Carte de Voxels via l'intégration probabiliste d'occupation et affine la Carte Gaussienne en initialisant les primitives dans les zones de faible opacité et en minimisant les pertes photométriques/de profondeur.

C. Innovations Techniques Clés

1. Graphe de Facteurs de Vue avec Modélisation de Visibilité Voxel-Trame :

   • Pour traiter les problèmes d'occlusion lors de la sélection des trames de référence, la méthode calcule des masques de frustum par trame ($M_t$) en projetant les centres de voxels sur le plan de la caméra et en vérifiant par rapport à la profondeur gaussienne rendue.
   • Cela permet un calcul efficace du chevauchement via une opération ET logique, filtrant les voxels obstrués.
   • Un score de corrélation équilibre la co-visibilité ($\Omega_{ij}$) et la translation de la caméra pour sélectionner des trames de référence fournissant des bases de parallaxe significatives (évitant les poses trop proches ou trop éloignées).

2. Optimisation Globale de la Profondeur :

   • Pour surmonter le contexte limité du MVS standard (qui traite environ 8 trames), ActMVS impose une cohérence 3D à travers l'ensemble du Graphe de Facteurs de Vue.
   • Facteur de Cohérence de Profondeur : Aligne les structures 3D co-visibles entre les paires de trames en effectuant une rétroprojection de la profondeur, un déformage des points et l'application d'une perte Huber en espace logarithmique sur les correspondances valides.
   • Régularisation : Incorpore une régularisation de Variation Totale (TV) pour assurer la lissage et la plausibilité géométrique.
   • Le système résout cette optimisation non linéaire via une rétropropagation itérative (optimiseur Adam), propageant les contraintes géométriques de manière incrémentale.

3. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Replica (9 scènes) en utilisant le simulateur Habitat, comparant ActMVS aux lignes de base RGB-D de pointe : ActiveGS et NARUTO.

• Performance Quantitative :

  • ActMVS obtient la meilleure performance parmi toutes les méthodes RGB uniquement sur les métriques de rendu (PSNR, SSIM, LPIPS) et les métriques de qualité de maillage (Précision, Complétude, distance de Chamfer).
  • Bien que les méthodes RGB-D (ActiveGS) soient généralement plus performantes, ActMVS s'en rapproche étroitement, validant que l'optimisation de la profondeur multi-vues compense l'absence de capteurs de profondeur.
  • Études d'Ablation :
    • sans OPT : Le retrait de l'optimisation globale provoque une dégradation significative de la surface et une instabilité de la profondeur.
    • sans REF : Remplacer la sélection de référence basée sur les voxels par une simple sélection de trames adjacentes entraîne des échecs de MVS dus à une parallaxe insuffisante.
    • sans MVS : Remplacer le MVS par un estimateur métrique monoculaire (DepthAnythingV2) entraîne des échecs de reconstruction catastrophiques dus à l'accumulation d'erreurs.

• Résultats Qualitatifs :

  • Les comparaisons visuelles montrent qu'ActMVS produit des maillages de haute qualité et des rendus de vues nouvelles, surpassant NARUTO (qui souffre d'une dégradation due à la parcimonie des points de vue) et approchant la fidélité visuelle d'ActiveGS.

• Simulations Étendues :

  • Le cadre a été testé dans AirSim avec un quadrotor UAV utilisant l'Ego-planner pour l'exécution de la trajectoire.
  • Le système a navigué avec succès dans des environnements complexes sans collision, démontant la faisabilité de la boucle de planification de trajectoire et de reconstruction.
  • Note : Les auteurs reconnaissent que la reconstruction actuelle basée sur 3DGS nécessite une mémoire vidéo importante, dépassant la capacité des appareils embarqués typiques, ce qui nécessite un traitement côté serveur pour l'implémentation actuelle.

4. Signification et Revendications

L'article présente ActMVS comme le premier cadre de reconstruction de scène active monoculaire. Sa signification réside dans :

• Avancement de l'Intelligence Spatiale : Permettre aux robots/UAV de réaliser une exploration et une reconstruction autonomes et sûres en utilisant uniquement une caméra monoculaire, éliminant le besoin de capteurs de profondeur coûteux et lourds.
• Combler le fossé : Répondre avec succès au compromis entre la précision métrique du MVS et la cohérence globale requise pour la cartographie en ligne.
• Performance Compétitive : Démontrer qu'une approche exclusivement visuelle peut atteindre des performances compétitives avec les méthodes RGB-D, rendant la reconstruction active de haute fidélité accessible aux plateformes à ressources limitées.

Les auteurs concluent que bien que le système actuel nécessite des ressources de calcul importantes, les travaux futurs se concentreront sur l'optimisation pour un déploiement en temps réel sur des drones entièrement autonomes sous des contraintes physiques.