Résumé Technique : Perception Sémantique Active

Énoncé du Problème

L'article traite du défi de l'exploration autonome robotique dans des environnements intérieurs inconnus. Bien que les robots possèdent des capteurs et une mobilité avancés, ils manquent souvent de la capacité de construire des représentations sémantiques riches de l'espace. Les approches traditionnelles reposent sur des détails géométriques ou photométriques (entités syntaxiques) mais ne parviennent pas à capturer les relations et les significations entre les objets (sémantique), comme déduire qu'une chambre est probablement adjacente à une salle de bain ou qu'une porte mène à une cuisine.

Le problème central est la perception sémantique active : utiliser la sémantique d'une scène pour décider du prochain point de vue afin d'accomplir des tâches telles que la recherche d'objets spécifiques ou de pièces de manière rapide et efficace. Les auteurs soutiennent que les méthodes existantes ignorent soit la sémantique, soit reposent sur des représentations denses et coûteuses en calcul qui entravent le raisonnement de haut niveau sur les régions non observées. L'objectif est de développer un système capable de construire de manière incrémentale un graphe sémantique, d'émettre des hypothèses sur les structures non observées et de sélectionner des points de vue qui maximisent le gain d'information concernant à la fois les objets de bas niveau et les configurations de pièces de haut niveau.

Méthodologie

L'approche proposée intègre un graphe de scène multi-couches avec des Modèles de Langage de Grande Taille (LLM) pour effectuer une perception active. Le système fonctionne via trois modules principaux :

1. Cartographie : Construction d'un graphe de scène multi-couches

Le système construit un graphe de scène hiérarchique et compact à partir de données RGB-D, de la segmentation d'objets et des informations de pose. Contrairement aux cartes de voxels denses, ce graphe représente explicitement les objets et leurs relations spatiales. Il introduit quatre types de nœuds :

• Nœuds d'Objets : Détectés via YOLOE pour un rappel élevé. Les objets sont suivis par intersections de voxels 3D et ajustés avec des maillages via l'algorithme Marching Cubes pour garantir des boîtes englobantes serrées.
• Nœuds de Pièces : Dérivés du regroupement de nœuds de "lieu" (extraits de champs de distance signés euclidiens) basés sur les plongements (embeddings) CLIP. Les pièces sont étiquetées en faisant correspondre les plongements agrégés à des catégories prédéfinies.
• Nœuds "Rien" : Un ajout novateur représentant l'espace vide (espace libre). Le système identifie les plus grands cuboids d'espace libre au sein de la grille d'occupation pour encoder explicitement là où les objets ne sont pas présents, ce qui est crucial pour contraindre les hypothèses futures.
• Nœuds de Structure : Encode les murs, portes, fenêtres et stores en utilisant l'ajustement de plans RANSAC et le regroupement euclidien. Ces nœuds capturent les limites géométriques et l'intégrité structurelle des pièces.

2. Raisonnement et Estimation du Gain d'Information

Ce module utilise un LLM pour synthétiser des complétions plausibles des parties non observées du graphe de scène en se basant sur l'observation partielle actuelle ($G_k$).

• Prompting LLM : Le graphe de scène actuel est fourni au LLM (via YAML et des images en coupe transversale) avec des instructions pour proposer de nouvelles pièces et de nouveaux objets.
• Vérification des Contraintes : Le LLM est équipé d'un outil de vérification de collision pour s'assurer que les objets proposés n'intersectent pas les structures existantes ou d'autres objets.
• Échantillonnage : Le système échantillonne un ensemble de graphes de scènes complétés $\{G^{(i)}\}$ cohérents avec $G_k$.
• Calcul du Gain d'Information : Le système calcule l'information mutuelle entre une observation future potentielle et l'état actuel. Il génère des observations hypothétiques à partir des graphes échantillonnés et calcule l'entropie.
  • Le gain d'information $I(x)$ pour un point de vue $x$ est une somme pondérée des gains pour les nœuds d'objets et les nœuds de pièces, moins une pénalité pour la distance de trajet :
    $$I(x) = I_{object}(x) + \lambda_r I_{room}(x) - \lambda_d d$$
  • Pour gérer les contraintes physiques, le système sélectionne les $k$ meilleurs candidats, planifie des trajectoires vers eux dans la grille d'occupation, et réévalue le gain d'information au point le plus éloigné atteignable le long du chemin.

3. Planification

Un planificateur global A* opère sur une grille d'occupation (construite avec nvblox) pour générer des trajectoires sans collision vers les points de vue sélectionnés à haut gain d'information. Le robot replanifie continuellement à mesure que de nouvelles observations sont incorporées.

Contributions Clés

1. Graphe de Scène Multi-Couches Compact : Une représentation qui capture les pièces, les objets, les limites structurelles et l'espace négatif ("nœuds rien") à différents niveaux d'abstraction, permettant à la fois un raisonnement géométrique fin et une inférence sémantique de haut niveau.
2. Complétion de Scène Pilotée par LLM : Une procédure utilisant des LLM pour générer des graphes de scène plausibles et métriquement précis pour les régions non observées, exploitant les connaissances préalques riches des modèles de langage pour inférer les relations spatiales (ex: "un évier est à côté d'un lavabo").
3. Gain d'Information Sémantique : Une métrique novatrice qui calcule la réduction attendue de l'incertitude du graphe de scène (tant au niveau des objets qu'au niveau des pièces) pour piloter l'exploration, plutôt que de se fier uniquement à l'expansion des frontières géométriques.
4. Intégration de la Vérification : Un pipeline qui valide les hypothèses générées par le LLM par rapport aux contraintes géométriques (vérification de collision) pour garantir la faisabilité physique.

Résultats Expérimentaux

L'approche a été évaluée en simulation (Habitat, jeu de données HM3D) et sur un robot réel Unitree Go 2 dans un appartement de six pièces.

• Performance en Simulation :

  • Précision : La méthode a obtenu des scores F1 plus élevés pour la détection d'objets et une distance d'édition de graphe (GED) plus faible par rapport à l'exploration basée sur les frontières et SSMI (une base de comparaison sémantique) sur diverses longueurs de trajectoire.
  • Capacité de Prédiction : Le système a réussi à prédire l'existence et l'emplacement de pièces non observées (ex: une salle de bain ou une cuisine) avant leur découverte physique dans environ 30 % des cas. Cela a conduit à des trajectoires plus courtes vers les pièces cibles par rapport aux bases de comparaison.
  • Ablation : L'ajout progressif des nœuds "Rien" et "Structure" a considérablement amélioré la plausibilité des complétions de scènes, réduisant les placements d'objets incorrects et garantissant que les propositions respectent les limites des pièces.

• Performance en Monde Réel :

  • Le robot a exploré de manière autonome un appartement encombré (environ 1 200 pieds carrés) pendant 55 minutes.
  • Malgré le bruit des capteurs et les erreurs de localisation, le système a maintenu une représentation sémantiquement cohérente, surpassant les bases de comparaison en termes de métriques F1 et GED tout au long de la trajectoire.
  • Le système a démontré une résilience face aux champs de vision étroits et a navigué avec succès dans des configurations complexes là où les bases de comparaison ont souvent échoué en raison d'erreurs de grille d'occupation.

Signification et Revendications

L'article affirme que la perception sémantique active est une étape critique vers des robots capables de raisonner sur leur environnement comme le font les humains. En passant des cartes géométriques aux graphes de scènes sémantiques, le système peut :

• Raisonner sur l'Incertitude : Inférer la configuration probable des zones non observées (ex: prédire une cuisine derrière une porte) plutôt que d'explorer aveuglément l'espace inconnu.
• Améliorer l'Efficacité : Atteindre des cibles sémantiquement significatives (comme des pièces spécifiques) plus rapidement et par des chemins plus courts en priorisant les points de vue qui résolvent les ambiguïtés sémantiques de haut niveau.
• Réconcilier Syntaxe et Sémantique : Démontrer que la combinaison des connaissances préalques des LLM avec la vérification métrique permet aux robots d'effectuer un raisonnement spatial sophistiqué que les approches purement géométriques ou purement sémantiques ne peuvent atteindre seules.

Les auteurs reconnaissent des limites, notamment la dépendance aux LLM basés sur le cloud qui introduit de la latence et des coûts, ainsi que le potentiel des LLM à générer des hypothèses physiquement irréalisables dans des environnements complexes. Ils suggèrent que les travaux futurs devraient se concentrer sur l'entraînement de LLM spécifiquement pour l'expansion de scènes et le déploiement local sur les robots.