ExPrIS: Knowledge-Level Expectations as Priors for Object Interpretation from Sensor Data

Résumé Technique : ExPrIS – Les attentes au niveau de la connaissance comme priors pour l'interprétation d'objets

Énoncé du problème
Bien que l'apprentissage profond ait considérablement fait progresser la reconnaissance d'objets par les robots grâce à des approches fondées sur les données, ces méthodes manquent souvent de cohérence sémantique et ne parviennent pas à exploiter les connaissances préexistantes précieuses sur l'environnement. Les modèles purement basés sur les données peinent face au contexte environnemental, particulièrement en ce qui concerne les zones occultées ou les objets récemment non observés. Les approches existantes de construction de graphes de scènes sémantiques 3D (3DSSG) en régime ouvert (open-set) reposent généralement uniquement sur la puissance des réseaux de neurones profonds sous-jacents, ignorant les observations antérieures issues des flux de données de capteurs ou les connaissances de haut niveau. La question de recherche centrale abordée est la manière d'intégrer efficacement des attentes dérivées d'un niveau de connaissance en tant que priors au sein des méthodes modernes de génération de graphes de scènes.

Méthodologie
Le projet ExPrIS propose une architecture basée sur la construction incrémentale d'un graphe de scène sémantique 3D (3DSSG) pour intégrer les attentes au niveau de la connaissance. La méthodologie est structurée autour de trois composantes principales :

1. Architecture 3DSSG Dynamique :

   • Le système utilise un graphe hétérogène organisé en une hiérarchie de multiples couches avec des types de nœuds et d'arêtes variables, allant des objets de bas niveau aux concepts de haut niveau (pièces, bâtiments).
   • Contrairement aux hiérarchies rigides (par exemple, structures fixes objet-lieu-pièce) ou aux connexions simples basées sur des heuristiques de distance, la conception proposée est modulaire et extensible. Elle sépare les relations spatiales des relations sémantiques et supporte l'inférence dynamique de concepts composites.
   • Pour la représentation géométrique, le système emploie des volumes englobants (bounding volumes) et des grilles de voxels creuses plutôt que des maillages TSDF (Truncated Signed Distance Function). Ce choix privilégie l'efficacité du stockage, de la manipulation et un traitement rapide accéléré par GPU via l'intégration de PyTorch, ce qui est suffisant pour le raisonnement sémantique et les tâches en aval sans la charge de calcul élevée d'une reconstruction dense.
   • Le graphe est construit de manière incrémentale à partir de données de capteurs (RGB-D) selon une approche ascendante (bottom-up), dérivant la structure des relations de contact physique et de support entre les objets.

2. Génération d'attentes basées sur la connaissance :

   • Le système définit les « attentes » comme des informations supplémentaires disponibles avant une étape d'inférence. Deux types sont intégrés :
     • Contexte : Informations dynamiques provenant d'observations antérieures, spécifiquement le 3DSSG global construit à partir des images précédentes.
     • Connaissance : Informations de domaine statiques et générales issues de graphes de connaissances externes, spécifiquement ConceptNet.
   • Pour gérer le bruit et la taille de ConceptNet, le système extrait des sous-graphes pertinents en utilisant une recherche en largeur (breadth-first search) basée sur des classes de nœuds et des types de relations spécifiques. Il implémente également des algorithmes d'intégration de graphes (graph embedding) pour générer des vecteurs de caractéristiques pour le passage de messages, offrant des alternatives aux embeddings pré-calculés.

3. Apprentissage biaisé par les attentes (Expectation-Biased Machine Learning) :

   • Le mécanisme d'apprentissage central utilise un réseau de neurones sur graphe hétérogène (GNN), tel que GraphSAGE ou HGT.
   • L'architecture présente une couche globale (agrégeant les observations historiques et les priors sémantiques) et une couche locale (représentant l'image actuelle).
   • Des arêtes inter-couches facilitent le flux d'informations, permettant au modèle d'affiner les prédictions pour les objets partiellement observés en exploitant le contexte accumulé.
   • Les nœuds globaux sont enrichis de caractéristiques basées sur les priors (par exemple, étiquettes précédemment prédites, embeddings CLIP). Ces priors sont intégrés directement dans la structure du graphe plutôt que d'être encodés sous forme de vecteurs fixes.
   • L'objectif d'apprentissage se concentre sur une perte composite sur les prédictions de nœuds et d'arêtes dans le graphe local. Crucialement, le graphe global sert de mécanisme de biais lors de l'inférence, et non comme un signal de supervision directe pour la fonction de perte.

Contributions Clés

• Intégration des priors de connaissance : Le papier présente une approche novatrice pour incorporer à la fois les priors contextuels (issus des données de capteurs passées) et la connaissance sémantique (issues de graphes externes comme ConceptNet) directement dans le processus d'inférence de la génération de 3DSSG.
• Conception modulaire de 3DSSG : Il introduit une conception de couches flexible et extensible pour les 3DSSG qui dépasse les hiérarchies rigides et les heuristiques de distance simples, supportant l'inférence dynamique et les abstractions spécifiques au domaine.
• Représentation géométrique efficace : L'adoption de volumes englobants et de grilles de voxels creuses plutôt que de maillages TSDF permet un traitement évolutif et efficace, adapté à la perception robotique en temps réel tout en maintenant une fidélité suffisante pour les tâches sémantiques.
• GNN biaisé par les attentes : Le développement d'un cadre d'apprentissage où le graphe global agit comme un mécanisme de biais actif et dynamique lors de l'inférence, améliorant la robustesse et la cohérence sémantique au fil du temps.

Résultats et Évaluation
Le papier ne présente pas de résultats expérimentaux finaux issus d'un robot déployé, car le travail est actuellement au stade de la conception architecturale et de l'analyse hors ligne.

• État actuel : L'implémentation du 3DSSG est modulaire. Le modèle GNN biaisé par les attentes a été évalué dans le contexte de l'architecture proposée, avec des résultats détaillés et du code disponibles dans une publication séparée [15] et sur GitHub.
• Évaluation prévue : Les auteurs décrivent un plan d'évaluation complet qui sera mené sur la plateforme de manipulateur mobile Mobipick. Le système sera chargé d'un scénario de « rangement » dans un environnement de laboratoire. Cela implique de :
  1. Explorer l'environnement pour construire une carte sémantique.
  2. Identifier et déplacer les objets qui sont « mal placés ».
  3. Raisonner sur les contextes sémantiques actuels et corrects pour résoudre les ambiguïtés.
• Résultats hypothétisés : Les auteurs émettent l'hypothèse que l'approche biaisée par les attentes démontrera des avantages clairs par rapport aux modèles sans contexte image par image, notamment en termes d'amélioration de la cohérence sémantique et de la stabilité lors d'opérations à long terme, même en présence d'observations partielles ou d'ambiguïtés perceptuelles.

Signification
La signification du projet ExPrIS réside dans sa tentative de combler le fossé entre l'apprentissage profond purement basé sur les données et le raisonnement basé sur la connaissance en robotique. En traitant les attentes au niveau de la connaissance comme des priors, l'approche vise à dépasser l'analyse statique image par image pour créer une compréhension plus robuste et sémantiquement cohérente des scènes au fil du temps. Cette intégration est conçue pour soutenir l'opération autonome à long terme, la cartographie sémantique à grande échelle et l'IA explicable (XAI) en rendant traçable l'influence de la connaissance sur les prédictions locales. Le projet travaille de concert avec le projet jumeau LIEREx, qui incorpore des modèles vision-langage pour des requêtes en vocabulaire ouvert, visant à combiner la connaissance symbolique avec une perception multimodale en régime ouvert.