Résumé Technique : PoseRefer

Énoncé du Problème

L'article aborde la résolution de référence exocentrique en robotique : la tâche d'identifier un objet spécifique dans une scène 3D à partir d'une combinaison de langage naturel et de geste (par exemple, un humain pointant du doigt et disant « pose la tasse sur celle-là »). Si l'ancrage d'images 2D est bien étudié, l'ancrage 3D dans les scénarios de robotique domestique reste sous-exploité.

Les benchmarks 3D existants souffrent de limitations significatives pour capturer l'interaction naturaliste :

• ScanRefer, Sr3D/Nr3D : Utilisent des descriptions a posteriori sur des scans statiques sans données corporelles de l'interlocuteur.
• Ges3ViG : S'appuie sur un langage généré par modèle et des poses 2D synthétiques.
• YouRefIt : Capture le pointage d'un seul utilisateur scénarisé pour une caméra.

Ces jeux de données synthétiques ou scénarisés échouent à capturer le régime où environ la moitié des références se produisent sans gestes de pointage clairs. De plus, les architectures existantes entremêlent souvent les embeddings de catégorie avec les voies de pose et de texte via des paramètres partagés, rendant difficile l'isolement de la contribution spécifique de chaque modalité ou de l'impact des choix de représentation de catégorie sur la performance de fusion.

Méthodologie : PoseRefer

Les auteurs proposent PoseRefer, un système évalué sur le jeu de données MM-Conv, qui contient environ 4 200 expressions de référence issues d'interactions VR dyadiques avec capture de mouvement corporel complet (SMPL-X) et graphes de scènes 3D de vérité terrain.

1. Architecture de Fusion Tardive Découplée

La contribution méthodologique centrale est une architecture de fusion tardive découplée où les voies de pose et de texte fonctionnent indépendamment, sans paramètres appris partagés (ni poids de MLP, ni tables d'embedding de catégorie).

• Voie de Pose :
  • Calcule l'affordance angulaire temporelle : Calcule l'angle entre les centroïdes des objets et les canaux de l'interlocuteur (bras, tête, corps) sur une fenêtre temporelle alignée avec l'énoncé.
  • Caractéristiques : Un vecteur de 6 dimensions dérivé des scores de noyau gaussien de ces angles.
  • Embedding : Concaténé avec un embedding de catégorie appris de 16 dimensions spécifique à la voie de pose.
  • Traitement : Passé à travers un encodeur et un scoreur à 2 couches pour produire un score de pose ($s_{pose}$).
• Voie de Texte :
  • Encode l'énoncé en utilisant un modèle MiniLM-L6 figé (384-D), projeté sur 128-D.
  • Variation Cruciale : La voie intègre les informations de catégorie par objet de deux manières lors de l'ablation :
    1. Appris : Un embedding de catégorie appris de 16 dimensions.
    2. Figé (Défaut) : Un encodage figé de 384-D de MiniLM du nom de catégorie canonique.
  • Traitement : Passé à travers un scoreur à 2 couches pour produire un score de texte ($s_{text}$).
• Fusion :
  • Les scores sont normalisés par z-score et combinés via une porte scalaire apprise ($\alpha$) :
    $$s_n = \alpha \hat{s}_{pose} + (1 - \alpha) \hat{s}_{text}$$
  • $\alpha$ est un scalaire unique appris par exécution d'entraînement, initialisé à 0,5.

2. Configuration Expérimentale

• Jeu de données : MM-Conv (5 pièces, 42–61 objets/pièce). Les références sont stratifiées en niveaux de pointage (T1, T2, T5) et de non-pointage (T3, T4).
• Entraînement : Validation croisée Leave-One-Room-Out (LORO).
• Ablation : L'architecture permet une ablation contrôlée des contributions de catégorie dans chaque voie indépendamment, isolant l'effet de la représentation de catégorie (apprie vs figée) sur la fusion.

Contributions Clés

1. Positionnement : Établit les données de geste référentiel naturaliste comme un banc d'essai critique, soulignant que ~45 % des références manquent de pointage clair, un régime largement exclu par les benchmarks synthétiques.
2. Méthode : Introduit une architecture de fusion tardive découplée avec des embeddings de catégorie locaux à la voie. Cette conception permet des ablations contrôlées pour distinguer les gains de fusion des artefacts causés par les choix de représentation de catégorie.
3. Résultats Empiriques :
   • Sensibilité de la Porte : La porte de fusion $\alpha$ inverse les politiques en fonction uniquement de la disponibilité de la catégorie. Sans catégorie sur la voie de texte, $\alpha \approx 0,84$ (confiance en la pose) ; avec catégorie, $\alpha \approx 0,22$ (confiance en le texte). Il s'agit d'une réponse architecturale déterministe, non d'un bruit d'entraînement.
   • Complémentarité Asymétrique : La pose domine les références de pointage (T1/T2/T5), tandis que le texte domine les références de non-pointage (T3/T4).
   • Performance : Avec des embeddings de catégorie MiniLM figés sur la voie de texte, le modèle fusionné atteint 31,9 % de précision top-1, surpassant les références basées uniquement sur la pose (18,8 %) et uniquement sur le texte (25,0 %) pour tous les types de références.
4. Implication de Fiabilité : Démontre que les gains de fusion dans les architectures avec encodeurs partagés ou tables de catégorie partagées peuvent refléter le choix de la représentation de catégorie plutôt que le mécanisme de fusion lui-même.

Résultats

• Performance Agrégée : La meilleure configuration (PTminilm : Pose + Texte avec catégories MiniLM figées) atteint 31,9 % de précision top-1 et 60,2 % de précision top-5.
• Gains : Cela représente un gain de 13,1 points par rapport à la pose seule et un gain de 6,9 points par rapport à la configuration la plus forte basée uniquement sur le texte.
• Comparaison Oracle : Le modèle fusionné dépasse l'« oracle singleton » (qui sélectionne la meilleure modalité unique par sous-ensemble) de 4,3 points, prouvant que le mécanisme de fusion combine efficacement des signaux complémentaires au sein des échantillons plutôt que de simplement basculer entre sous-ensembles.
• Impact de la Représentation de Catégorie : L'utilisation d'embeddings appris de 16 dimensions pour les catégories dans la voie de texte fait chuter la performance à 28,2 % (une baisse de 3,7 points), malgré une architecture identique. Cela souligne que la qualité de la représentation de catégorie (espace sémantique figé vs vecteurs clairsemés appris) est un facteur confondant caché dans l'évaluation de la fusion.

Importance et Revendications

L'article soutient que la représentation de catégorie est un facteur confondant caché dans l'évaluation des systèmes d'ancrage sémantique.

• Valeur Diagnostique : La configuration découplée révèle que les affirmations de précision de fusion sont souvent indistinguables des artefacts de représentation de catégorie à moins que les voies ne soient architecturalement découplées.
• Norme de Rapport : Les auteurs motivent le fait que les futures évaluations de la fusion multimodale pour l'ancrage sémantique doivent rapporter à la fois les représentations de catégorie apprises et figées pour garantir la fiabilité.
• Nécessité Naturaliste : Les benchmarks synthétiques qui excluent les références de non-pointage échouent à capturer le signal complémentaire (pose vs texte) sur lequel reposent les méthodes de fusion.

L'œuvre conclut que pour que la sélection d'actions en aval en robotique soit fiable, la contribution des représentations de catégorie doit être isolée et variée, et que des données naturalistes incluant des références de non-pointage sont essentielles pour une évaluation valide.