Résumé Technique : AFFORDMEM – Ancrage par la Mémoire

Énoncé du Problème

L'article aborde l'ancrage fonctionnel 3D des affordances, une tâche exigeant qu'un agent non seulement reconnaisse un objet, mais localise la petite région 3D spécifique qui soutient une interaction (par exemple, la poignée d'un tiroir, le bouton d'une télécommande). Les auteurs identifient deux défis principaux que les pipelines existants de vision-langage sans entraînement ne parviennent pas à résoudre conjointement :

1. Ambiguïté de Granularité : Les régions actionnables sont souvent minuscules (par exemple, une poignée occupant moins de 30×30 pixels dans une image haute résolution). Les Modèles Vision-Langage (VLM) sollicités par un texte (par exemple, « poignée de tiroir ») tendent à localiser l'objet parent entier (le panneau du tiroir) plutôt que la sous-région opérationnelle spécifique.
2. Désambiguïsation d'Instance : Les scènes contiennent souvent plusieurs instances géométriquement identiques du même objet (par exemple, trois poignées de tiroir identiques). Résoudre des requêtes avec des qualificateurs spatiaux (par exemple, « la deuxième poignée depuis le haut ») nécessite un raisonnement spatial global sur l'ensemble de la scène, ce que les pipelines mono-vue ou indépendants des images ne peuvent fournir.

Les méthodes existantes traitent soit les images comme des sacs de 2D indépendants, en rejetant la géométrie 3D, soit se concentrent sur la segmentation d'objets entiers plutôt que sur des sous-régions fines.

Méthodologie : AFFORDMEM

Les auteurs proposent AFFORDMEM, un cadre sans entraînement qui ancre les affordances fonctionnelles 3D en maintenant une mémoire à deux niveaux distincts. Le système traite une séquence RGB-D posée et une requête en langage naturel sans affiner les modèles sous-jacents ni annoter la scène cible.

1. Décomposition de la Requête Fonctionnelle

La requête d'entrée est analysée en un triplet structuré :

• $\ell_{ctx}$ : L'étiquette de l'objet de référence (par exemple, « tiroir »).
• $\ell_{int}$ : L'étiquette de l'élément interactif (par exemple, « poignée »).
• $\sigma$ : Le descripteur relationnel spatial (par exemple, « deuxième depuis le haut »).

2. Mémoire d'Affordance Inter-scène (Résolution de la Granularité)

Ce composant résout l'ambiguïté de granularité en fournissant une prière géométrique au niveau de la catégorie.

• Construction de la Mémoire : Une banque de mémoire est construite à partir de scènes sources précédemment annotées. Pour chaque catégorie sémantique, le système projette des points d'affordance 3D annotés dans des plans d'image 2D en utilisant les poses de caméra source. Il filtre ces projections pour la cohérence de profondeur afin de supprimer les faux positifs aux limites d'occlusion.
• Rappel et Sollicitation : Au moment de la requête, le système récupère les $K$ images masquées les plus informatives (montrant où les affordances apparaissent typiquement sur l'objet) pour la catégorie cible. Ces images sont fournies comme sollicitations visuelles à un VLM figé, conjointement avec l'image courante.
• Sollicitation Adversaire : Le VLM est instruit de produire des paires de boîtes englobantes : une boîte « positive » pour le noyau directement opérationnel et une boîte « négative » pour les régions visuellement similaires mais non opérationnelles (par exemple, la base de montage). Cela oriente le modèle loin d'une segmentation grossière au niveau de l'objet.
• Fusion 3D : Les masques 2D fins résultants sont rétro-projetés et fusionnés en un pool de candidats 3D en utilisant un vote multi-vues et un clustering (DBSCAN).

3. Mémoire Spatiale Intra-scène (Résolution de la Désambiguïsation)

Ce composant résout la désambiguïsation d'instance en organisant le pool de candidats 3D en un graphe de scène structuré.

• Construction du Graphe de Scène : Chaque instance candidate 3D est un nœud annoté avec son centroïde 3D, sa Boîte Englobante Alignée sur les Axes (AABB) et son type sémantique. Les nœuds sont liés à leurs objets parents pour encoder les relations partie-objet.
• Raisonnement Global : Le graphe est sérialisé et présenté à un Grand Modèle de Langage (LLM) conjointement avec un rendu orthographique schématique, vu de dessus, de la scène (où tous les candidats sont visibles sans occlusion) et des crops RGB par nœud.
• Sélection : Le LLM raisonne sur la disposition globale pour résoudre les qualificateurs spatiaux (par exemple, « deuxième depuis le haut ») et sélectionne l'ID du nœud correct, qui correspond à la prédiction finale du masque 3D.

Contributions Clés

1. Mémoire d'Affordance Inter-scène : Une banque de mémoire visuelle au niveau de la catégorie qui rappelle des prières géométriques pour guider les VLM figés vers de petites sous-régions opérationnelles, surmontant la tendance à sélectionner les objets englobants.
2. Mémoire Spatiale Intra-scène : Une mémoire spatiale structurée qui accumule les candidats 3D et leurs relations, permettant une sélection fiable sous des qualificateurs spatiaux ordinaux, relationnels et à longue distance via le raisonnement du LLM.
3. État de l'Art Sans Entraînement : Le cadre ne nécessite aucun affinage de modèle ni aucune annotation de scène cible, atteignant une nouvelle performance état de l'art parmi les méthodes sans entraînement sur le benchmark SceneFun3D.

Résultats Expérimentaux

La méthode a été évaluée sur SceneFun3D, un benchmark à grande échelle pour la segmentation d'affordances fonctionnelles 3D.

• Performance : AFFORDMEM a surpassé l'état de l'art précédent sans entraînement (Fun3DU) de +3,23 AP50 sur le Split 0 et de +3,7 AP50 sur le Split 1.
• Comparaison avec les Méthodes Basées sur l'Entraînement : Sur le Split 0, AFFORDMEM a dépassé la méthode basée sur l'entraînement AffordBot avec une marge significative en AP25 (41,66 contre 24,76), indiquant une localisation supérieure des sous-régions opérationnelles malgré l'absence d'entraînement spécifique à la scène.
• Études d'Ablation :
  • Le retrait de la Mémoire Spatiale Intra-scène (graphe de scène) a causé la plus grande baisse de performance (7,18 AP50), confirmant sa nécessité pour résoudre les qualificateurs spatiaux.
  • Le retrait de la Mémoire d'Affordance Inter-scène (sollicitation adversaire) a réduit l'AP25 de 2,92 points, validant son rôle dans la localisation fine.
  • Un pipeline diagnostique de style « Fun3DU » utilisant les mêmes modèles de base (Qwen3-VL et SAM3) mais sans les modules de mémoire a atteint une performance nettement inférieure (7,14 AP50), démontrant que les gains proviennent des mécanismes de mémoire proposés plutôt que d'améliorations du modèle de base.

Signification et Revendications

L'article revendique que la géométrie 3D encode les signaux spécifiques manquants dans les pipelines actuels : des prières spatiales au niveau de la catégorie pour la granularité et des dispositions globales d'instances pour la désambiguïsation. En traitant ces éléments comme des « défaillances de mémoire » distinctes et en les abordant avec des mécanismes de mémoire géométrique dédiés, AFFORDMEM comble le fossé entre la reconnaissance d'objets et l'interaction fonctionnelle précise.

Les auteurs soulignent que leur approche est modeste en matière de généralisation : le système actuel repose sur une correspondance exacte de chaînes de caractères entre les étiquettes d'interaction et l'index de mémoire, ce qui signifie qu'il ne peut pas généraliser à des catégories non vues sans annotation préalable. Ils identifient un travail futur dans la récupération basée sur des embeddings pour les catégories non vues et l'extension du cadre aux scènes dynamiques. La contribution principale est un cadre robuste et sans entraînement qui établit une nouvelle référence pour l'ancrage d'affordances fonctionnelles 3D en exploitant efficacement la mémoire pour résoudre la granularité et l'ambiguïté spatiale.