Résumé Technique : T-FunS3D

Définition du Problème

Le document traite du défi de la segmentation fonctionnelle 3D en vocabulaire ouvert (open-vocabulary 3D functionality segmentation). L'objectif est de permettre aux robots de localiser des composants fonctionnels spécifiques (par exemple, une poignée de porte, un cadran de thermostat) au sein d'une scène 3D, sur la base de descriptions de tâches en langage naturel libre, sans dépendre d'un ensemble fixe de classes d'objets prédéfinies.

Les méthodes actuelles de l'état de l'art font face à des limitations significatives :

• Focalisation sur l'objet : De nombreuses méthodes en vocabulaire ouvert reconnaissent des objets entiers mais échouent à segmenter les parties fonctionnelles plus fines nécessaires à l'interaction.
• Consommation de ressources : Les méthodes existantes de segmentation de parties à l'échelle de la scène (par exemple, Search3D) segmentent souvent l'intégralité de la scène de manière exhaustive pour détecter chaque entité à diverses granularités. Cette approche est coûteuse en termes de calcul et de mémoire, ce qui la rend inadaptée aux systèmes robotiques mobiles.
• Inefficacité lors des requêtes : Des méthodes comme Fun3DU nécessitent de réexécuter la détection d'objets pour chaque nouvelle requête de tâche, ce qui entraîne un calcul redondant.

Le problème central est de trouver un équilibre entre la granularité de la segmentation, la précision et la vitesse, spécifiquement en extrayant des composants fonctionnels fins de manière pilotée par la tâche plutôt qu'en effectuant une segmentation exhaustive de la scène.

Méthodologie : T-FunS3D

Les auteurs proposent T-FunS3D, un pipeline hiérarchique sans entraînement (training-free) qui exploite un graphe de scène en vocabulaire ouvert et des modèles de vision-langage (VLM). La méthode opère en deux étapes distinctes :

Étape I : Construction du Graphe de Scène (Pré-calcul)

Cette étape traite le nuage de points 3D d'entrée et les images RGB-D avec pose d'un environnement intérieur. Elle est effectuée une seule fois par scène.

1. Segmentation d'Instance en Vocabulaire Ouvert : Le système utilise Mask3D pour générer des propositions d'instances 3D agnostiques de la classe.
2. Extraction d'Embeddings Visuels : Pour lier la signification sémantique à ces propositions, la méthode extrait des embeddings visuels en utilisant FG-CLIP. Contrairement aux travaux antérieurs qui n'utilisent que des découpes d'images (image crops), T-FunS3D agrège les caractéristiques de :
   • Images RGB de taille complète.
   • Découpes multi-échelles autour de l'instance.
   • Découpes masquées (où les pixels non pertinents sont masqués) pour atténuer le biais premier plan-arrière-plan causé par les occlusions ou les matériaux transparents.
3. Construction du Graphe de Scène : Un graphe de scène en vocabulaire ouvert $G=(V, E)$ est construit où :
   • Les Nœuds ($V$) : Représentent les segments d'instances, stockant des embeddings visuels plutôt que des étiquettes de classe explicites.
   • Les Arêtes ($E$) : Représentent les relations spatiales inter-objets. Celles-ci ne sont pas pré-calculées comme des étiquettes fixes, mais sont calculées dynamiquement lors de la requête en moyennant les embeddings visuels des images de taille complète des paires de nœuds associées.

Étape II : Segmentation Pilotée par la Tâche (Temps d'exécution)

Lors de la réception d'une description de tâche en langage naturel $Q$ :

1. Compréhension de la Tâche (LLM) : Un grand modèle de langage (Qwen3) analyse la description de la tâche pour extraire une ontologie, incluant :
   • L'Objet Contextuel ($C$) (la cible avec laquelle interagir).
   • Le Composant Fonctionnel ($F$) (la partie spécifique à manipuler).
   • Les Objets de Référence ($R$) et les Relations Spatiales ($S$) (par exemple, "à côté du lit").
2. Ancrage de l'Objet Contextuel : Le système interroge le graphe de scène pour localiser $C$.
   • Il récupère les nœuds candidats pour $C$ et $R$ en se basant sur la similitude entre l'embedding texte-visuel (via FG-CLIP).
   • Il évalue les arêtes entre les paires de candidats pour trouver celles correspondant aux relations spatiales $S$ décrites dans la requête.
3. Segmentation du Composant Fonctionnel :
   • Une fois l'objet contextuel identifié, le système récupère les vues 2D les plus visibles de cette instance.
   • Molmo (un VLM) utilise l'ontologie de la tâche comme prompt pour détecter le composant fonctionnel et génère des coordonnées de pixels.
   • SAM (Segment Anything Model) utilise ces coordonnées pour générer des masques de segmentation 2D.
   • Choix de Conception Clé : Au lieu de sélectionner le masque ayant le score de confiance le plus élevé (qui segmente souvent l'objet entier), le système sélectionne les masques les plus petits pour garantir une segmentation de partie fine.
   • Les masques 2D sont rétro-projetés et agrégés dans l'espace 3D pour produire le masque de fonctionnalité 3D final.

Principales Contributions

1. Approche Pilotée par la Tâche sans Entraînement : Un nouveau pipeline pour la segmentation de fonctionnalité 3D qui ne nécessite aucun entraînement spécifique à la tâche, s'appuyant plutôt sur des VLM et LLM pré-entraînés.
2. Efficacité Hiérarchique : Une approche en deux étapes qui décompose d'abord la scène en instances, puis segmente uniquement les composants fonctionnels des entités pertinentes pour la tâche. Cela évite la surcharge de calcul d'une segmentation exhaustive de toute la scène.
3. Graphe de Scène en Vocabulaire Ouvert : Une structure de graphe légère encodant les nœuds et les arêtes inter-objets avec des embeddings visuels, permettant une localisation efficace des entités et de leurs relations spatiales dans un environnement ouvert.
4. Agrégation de Masques Optimisée : L'introduction de la sélection des plus petits masques SAM plutôt que des masques à plus haute confiance pour améliorer la précision au niveau de la partie.

Résultats Expérimentaux

La méthode a été évaluée sur le jeu de données SceneFun3D (split de validation : 30 scènes, 445 descriptions de tâches).

• Performance : T-FunS3D atteint l'état de l'art en segmentation de fonctionnalité 3D en vocabulaire ouvert.
  • Il surpasse la ligne de base Fun3DU de +1,2 AP25 et +0,5 mIoU dans les comparaisons standards.
  • Comparé à une version reproduite de Fun3DU utilisant les mêmes entrées de parsing de tâche (Fun3DU†), T-FunS3D montre une amélioration significative de +11,1 AP25 et +3,7 mIoU.
  • Dans les tâches impliquant des expressions de référence spatiale (par exemple, "ouvrez le tiroir à droite du lit"), T-FunS3D obtient +12,45 AP25 et +4,51 mIoU par rapport à la ligne de base.
• Efficacité :
  • T-FunS3D réduit considérablement le temps d'exécution et l'utilisation de la mémoire par rapport aux méthodes exhaustives.
  • Pour la segmentation de fonctionnalité par requête, T-FunS3D prend 78 secondes (sur un NVIDIA A40), contre 167 secondes pour Fun3DU.
  • La méthode bénéficie de la mise en cache des embeddings visuels des objets, permettant un traitement plus rapide pour les requêtes suivantes, là où Fun3DU doit répéter l'intégralité du pipeline de détection.

Signification et Revendications

L'article affirme que T-FunS3D fournit une solution pratique pour les applications robotiques en équilibrant le besoin d'une compréhension fonctionnelle fine et les contraintes de calcul des systèmes mobiles. En passant d'une segmentation exhaustive de la scène à un processus de récupération hiérarchique piloté par la tâche, la méthode permet aux robots d'identifier efficacement des parties actionnables (affordances) dans des environnements 3D complexes sans les coûts de ressources élevés associés aux approches de l'état de l'art précédentes. Les auteurs soulignent que cette approche facilite la "perception actionnable" pour les tâches interactives, allant au-delà de la simple reconnaissance d'objets pour atteindre l'interaction fonctionnelle.