Résumé Technique : Construire une fois, surveiller continuellement

Énoncé du Problème

La surveillance sémantique persistante des environnements intérieurs (par exemple, les entrepôts, les hôpitaux, les bureaux) nécessite que les robots parcourent de manière répétée un même espace et suivent l'évolution des objets au fil du temps. Les approches existantes exécutent souvent une SLAM (localisation et cartographie simultanées) complète avec une reconstruction sémantique dense à partir de zéro lors de chaque visite. Cela est redondant sur le plan computationnel car la géométrie statique de l'environnement reste largement inchangée, alors que seuls les objets (leur position, leur présence ou leur absence) varient. De plus, de nombreux systèmes de cartographie sémantique actuels construisent une carte une seule fois et manquent de mécanismes pour la mettre à jour efficacement afin de refléter le déplacement, le retrait ou l'ajout quotidien d'objets.

Méthodologie

Les auteurs proposent un système modulaire à deux étapes qui découple la cartographie géométrique de la mise à jour sémantique, en adhérant au paradigme « Construire une fois, surveiller continuellement ». Le système fonctionne de manière autonome sur un robot physique sans téléopération humaine.

Étape 1 : Exploration Autonome et Cartographie Géométrique

• Objectif : Construire une carte de grille d'occupation 2D fiable de la géométrie de l'environnement.
• Algorithme : Le système emploie une méthode d'exploration basée sur les frontières modifiée, appelée Exploration de Fenêtre Dynamique de Frontière (DWFE - Dynamic Window Frontier Exploration).
  • Contrairement aux méthodes de frontières standards qui peuvent éprouver des difficultés dans de grands espaces en raison de paramètres de coût fixes, la DWFE utilise une fenêtre de recherche dynamique. Elle ajuste le rayon de recherche entre une région locale et une région globale en fonction de la densité des frontières disponibles.
  • Si le nombre de frontières dans un rayon local descend en dessous d'un seuil, la recherche s'étend à un rayon global. Cela garantit une couverture efficace et réduit le parcours redondant dans les grands environnements.
• Sortie : Une carte de grille d'occupation 2D sauvegardée et une trajectoire d'exploration enregistrée.

Étape 2 : Cartographie Sémantique et Mise à Jour Autonome

• Objectif : Se relocaliser au sein de la carte géométrique pré-construite et mettre à jour un graphe d'objets sémantiques pour refléter les changements d'objets.
• Planification de Trajectoire : Le robot replanifie un chemin de traversée en échantillonnant des points de passage (waypoints) à partir de la trajectoire d'exploration initiale. Ces points sont ordonnés à l'aide d'une heuristique de plus proche voisin gloutonne (résolvant une approximation du problème du voyageur de commerce) pour créer un chemin de traversée efficace pour revisiter l'environnement.
• Pile de Perception :
  • Détection : Utilise un détecteur d'objets à vocabulaire ouvert (GroundingDINO) pour identifier les catégories d'objets et les boîtes englobantes (bounding boxes) sans réentraînement.
  • Segmentation : Utilise un modèle de segmentation promptable (MobileSAM) pour générer des masques d'objets à l'intérieur des boîtes englobantes.
  • Localisation 3D : Les données de profondeur sont rétro-projetées et transformées dans le référentiel de la carte pour calculer le centroïde 3D de chaque objet.
• Représentation Sémantique : La carte sémantique est une représentation hybride :
  • Niveau Inférieur : La grille d'occupation 2D pour la géométrie.
  • Niveau Supérieur : Un Graphe d'Objets Sémantiques où les nœuds représentent des objets uniques avec des attributs : ID unique, catégorie, position 3D et score de confiance.
• Mécanisme de Mise à Jour (Association d'Objets) :
  • Le système associe les nouvelles détections aux nœuds existants du graphe basés sur la catégorie et la distance du centroïde (seuil $\delta$).
  • Suppression de Nœud : Si un nœud attendu (basé sur le graphe) n'est pas détecté dans le champ de vision (FoV) et la distance seuil du robot, il est supprimé (indiquant que l'objet a été déplacé ou retiré). Les nœuds ne sont évalués pour suppression que lorsqu'ils sont dans le FoV pour gérer les occlusions de manière robuste.
  • Ajout de Nœud : Si un objet détecté n'a aucun nœud correspondant dans le seuil de distance, un nouveau nœud est ajouté.
  • Types de Changements : Ce mécanisme capture les changements intra-session (objets se déplaçant pendant une seule traversée) et les changements inter-sessions (changements entre plusieurs visites).

Principales Contributions

1. Système Autonome Intégré : Un pipeline entièrement autonome combinant exploration, relocalisation, cartographie sémantique à vocabulaire ouvert et mise à jour de carte sur un robot physique (Fetch). Il utilise un graphe d'objets léger et des règles d'association basées sur la catégorie et la distance pour gérer les états des objets à travers les visites.
2. Conception à Deux Étapes Découplées : Le système échange explicitement une reconstruction géométrique dense et répétée contre un processus de mise à jour sémantique rapide et répétable. En construisant la carte géométrique une seule fois et en ne réexécutant que l'étape sémantique légère, le système passe à l'échelle efficacement avec le nombre de visites.
3. Validation en Monde Réel : Le système a été déployé et évalué dans deux environnements intérieurs distincts (environ 8 500 m² et 117 m²). Les auteurs rapportent des scores de précision, de rappel et de F1 à travers plusieurs itérations de mise à jour, démontrant la capacité du système à gérer les changements d'objets dynamiques.

Résultats Expérimentaux

• Efficacité de l'Exploration : Dans un environnement simulé à grande échelle (1 440 m²), la méthode DWFE a couvert environ 7,8 % de surface supplémentaire tout en parcourant 12 % de distance en moins par rapport à une référence de frontière conventionnelle.
• Performance de la Cartographie Sémantique :
  • Environnement A (8 500 m²) : Cartographie de tables, chaises et portes. Les scores F1 variaient de 0,75 à 0,87. Les baisses de performance dans la détection des chaises ont été attribuées à l'occlusion humaine et aux déviations de trajectoire plutôt qu'à des échecs de détection.
  • Environnement B (117 m²) : Cartographie d'objets divers (poubelles, parapluies, armoires, etc.). Le système a suivi avec succès les retraits et les ajouts à travers les itérations.
• Comparaison de Débit (Throughput) : Comparé à Khronos (un système de SLAM sémantique spatio-temporel de pointe) sur un ensemble de données de mezzanine :
  • À 21 FPS, les deux méthodes cartographient un nombre comparable d'objets (~86-87).
  • À 30 FPS, la méthode proposée a cartographié 79 objets, tandis que Khronos n'en a cartographié que 3. Les auteurs attribuent cela à la reconstruction dense de Khronos et à son optimisation de fermeture de boucle (loop-closure) qui supprime des images pour maintenir la cohérence, alors que le pipeline léger proposé maintient le débit.

Signification et Revendications

L'article positionne ce travail comme une contribution systémique plutôt que comme un nouvel algorithme unique. Sa principale importance réside dans l'adresse du cadre de surveillance persistante, où l'efficacité et la fiabilité du déploiement sur de nombreuses visites sont prioritaires sur la reconstruction dense à passage unique.

• Scalabilité : En séparant la géométrie de la sémantique, le système évite le coût computationnel de la re-cartographie des environnements statiques, ceant le rendant adapté à des visites fréquentes dans des espaces intérieurs dynamiques.
• Robustesse : L'utilisation de l'association par centroïde (plutôt que par IoU ou caractéristiques d'apparence) offre une stabilité à travers les visites où les poses ou les points de vue des objets peuvent changer.
• Limites Reconnues : Les auteurs notent que l'association par seuil de distance ne peut pas distinguer une détection manquée d'un véritable retrait (absence de preuve vs preuve d'absence). Ils reconnaissent également que la conception à deux étapes empêche le robot d'utiliser des objectifs sémantiques pour guider l'exploration initiale ou de planifier activement vers les objets changeants pendant un passage. Des travaux futurs sont suggérés pour inclure la perception interactive et la planification de traversée adaptative.