Résumé technique : Caméras externes fixes comme cartes a priori communes pour la génération active de graphes de scènes 3D

Énoncé du problème

Les systèmes robotiques modernes opérant dans des environnements humains non structurés (par exemple, foyers, hôpitaux) nécessitent une compréhension visuelle contextuelle riche pour percevoir, décider et agir de manière autonome. Les pipelines de perception traditionnels échouent souvent à fournir cela, produisant soit des cartes métriques denses de bas niveau dépourvues de contenu sémantique, soit des résultats centrés sur les objets qui manquent de structure relationnelle. Bien que les graphes de scènes 3D (3DSG) offrent une représentation structurée capturant les entités, leurs localisations 3D et les relations inter-objets, leur construction robuste dans des scénarios réels reste difficile, particulièrement lorsque les connaissances a priori sont incomplètes.

De plus, les systèmes existants de perception sémantique active (ASP) reposent généralement sur des capteurs égocentriques (embarqués) et dépendent souvent de données de profondeur (RGB-D) ou de modèles de langage à grande échelle (LLM) propriétaires pour l'inférence des relations. Il manque des cadres capables d'intégrer de manière transparente l'infrastructure de caméras externes fixes — déjà déployée dans de nombreux bâtiments pour la surveillance — comme source de connaissances a priori pour amorcer la compréhension de la scène, spécifiquement dans un contexte uniquement RGB.

Méthodologie

Les auteurs proposent un cadre uniquement RGB pour la génération active et incrémentale de graphes de scènes 3D qui traite les observations provenant de caméras externes fixes comme des Cartes A Priori Communes (CPM). Le système fonctionne au sein d'un pipeline unifié, agnostique du matériel, qui traite de manière identique les caméras embarquées du robot et les caméras externes fixes.

Architecture du système

Le système fonctionne comme une boucle incrémentale de perception-action :

1. Initialisation (t=0) : Les observations RGB provenant d'une ou plusieurs caméras externes fixes servent de CPM. Elles sont traitées pour initialiser un nuage de points et un 3DSG, fournissant une structure sémantique et géométrique avant que le robot ne se déplace.
2. Exploration active (t>0) : Le robot acquiert de nouvelles images RGB depuis son point de vue actuel. Le même pipeline met à jour le nuage de points et le graphe de scène. Un module d'exploration active sélectionne ensuite la prochaine meilleure vue (NBV) pour maximiser le gain d'information, guidant le robot vers des régions d'incertitude sémantique élevée.

Composants principaux

1. Génération de 3DSG uniquement RGB

• Estimation géométrique : Le pipeline utilise MapAnything [8] pour inférer la géométrie de la scène à partir d'images RGB. En une seule passe avant, le modèle prédit les directions de rayons par vue, des cartes de profondeur à l'échelle, les poses de la caméra et un facteur d'échelle métrique global. Cela permet au système de rétroprojeter les pixels 2D dans un nuage de points 3D à échelle métrique sans capteurs de profondeur physiques.
• Construction du graphe de scène : Le système adapte ConceptGraphs [12]. Il utilise SAM [21] pour les masques d'instances et CLIP [22] pour les embeddings sémantiques. Crucialement, au lieu d'interroger des LLM propriétaires pour les relations, les auteurs emploient une procédure déterministe, uniquement géométrique. Les arêtes spatiales sont dérivées de boîtes englobantes 3D orientées en utilisant des prédicats à priorité fixe (par exemple, sur, soutenu par, à l'intérieur de, à côté de) basés sur le contact vertical, l'inclusion et la proximité.

2. Perception sémantique active (ASP)
Le cadre intègre l'ASP [18] pour guider l'exploration. Un LLM (spécifiquement gemini-2.5-pro dans les expériences) échantillonne des complétions plausibles de la scène non observée conditionnées au graphe actuel. Le système calcule le gain d'information attendu pour les points de vue candidats en utilisant l'information mutuelle entre les observations prédites et le graphe actuel :
$$I(Y_{k+1}; G_k | x) = H(Y_{k+1} | x) - H(Y_{k+1} | x, G_k)$$
Le robot se déplace vers le point de vue qui maximise ce gain, priorisant la résolution des ambiguïtés sémantiques.

3. Cartes A Priori Communes (CPM)
Les observations de caméras RGB externes sont traitées de manière identique aux images embarquées. Lorsqu'elles sont utilisées comme CPM, elles fournissent une structure sémantique et géométrique partielle avant le déploiement, permettant au module ASP d'exploiter un contexte initial plus riche et de sélectionner des points de vue plus informatifs dès la première étape.

Contributions clés

1. Pipeline uniquement RGB : Un pipeline bout-en-bout pour la génération de graphes de scènes 3D qui permet l'intégration transparente de caméras externes fixes sans nécessiter de capteurs de profondeur ni de modifications matérielles.
2. Boucle d'exploration active : Un mécanisme d'exploration sémantique qui utilise le graphe de scène généré pour sélectionner des points de vue informatifs, affinant activement l'a priori.
3. Validation empirique : Des preuves expérimentales démontrant que les a priori d'infrastructure de caméras améliorent substantiellement l'exhaustivité du graphe de scène et l'efficacité de l'exploration.

Résultats expérimentaux

La méthode a été évaluée dans trois configurations utilisant les ensembles de données Replica et ReplicaCAD :

1. Validation du pipeline statique
La comparaison du ConceptGraphs original (utilisant la profondeur/poses de vérité terrain) avec la variante proposée uniquement RGB (utilisant les prédictions de MapAnything) sur l'ensemble de données Replica a montré une parité forte.

• Score F1 : Presque identique (0,499 pour CG contre 0,500 pour CG-RGB).
• Rappel : La variante uniquement RGB a légèrement amélioré le rappel (0,436 contre 0,401), probablement parce que des prédictions de profondeur plus bruyantes ont empêché la fusion trop agressive d'objets situés à proximité.

2. Exploration active avec initialisation CPM
Des expériences dans le simulateur Habitat (appartements ReplicaCAD) ont comparé l'ASP opérant sur les observations embarquées seules versus l'ASP initialisé avec une caméra externe unique.

• Impact initial : L'initialisation avec une caméra externe a augmenté le nombre de nœuds initial de +74 % (d'environ 23 à environ 40) et le rappel initial de +79 % (d'environ 0,15 à environ 0,26).
• Performance soutenue : À l'étape 30, le système initialisé par CPM a maintenu une trajectoire plus élevée, atteignant environ 107 nœuds et un rappel d'environ 0,56, contre environ 98 nœuds et un rappel d'environ 0,47 pour la base de référence uniquement embarquée.

3. Valeur autonome de la CPM
Évaluation du système utilisant uniquement des caméras externes fixes (1 à 3 caméras) sans robot mobile :

• Appartements complexes : Trois caméras ont atteint un rappel de 0,301.
• Salles meublées : Trois caméras ont atteint un rappel de 0,555.
• Conclusion : Bien que les caméras statiques ne puissent pas égaler la couverture d'une exploration robotique active, elles établissent avec succès la structure dominante de l'environnement, fonctionnant comme des a priori de haute qualité même sans robot mobile.

Importance et revendications

L'article revendique que le traitement des caméras externes fixes comme Cartes A Priori Communes offre une méthode pratique et sans coût pour améliorer l'autonomie robotique. En exploitant l'infrastructure de surveillance existante, le système fournit une représentation sémantique et géométrique structurée qui peut être affinée de manière incrémentale.

Les auteurs soulignent que cette approche :

• Amorce l'exploration : Même une seule caméra externe augmente considérablement le rappel initial des objets et fournit un contexte plus riche pour l'exploration active subséquente.
• Agnostique du matériel : Elle élimine les dépendances aux capteurs de profondeur et aux LLM propriétaires pour l'inférence des relations, s'appuyant plutôt sur une reconstruction 3D feed-forward et des règles géométriques déterministes.
• Améliore la robustesse : Les vues grand angle des caméras externes aident à ancrer la reconstruction dans un référentiel global cohérent, améliorant potentiellement la stabilité de la localisation et de la cartographie à travers les pièces.

Ce travail se positionne comme le premier système permettant la génération de 3DSG dans un contexte uniquement RGB intégrant des entrées de caméras externes, ouvrant de nouvelles directions pour une autonomie robotique évolutive assistée par l'infrastructure.