Résumé Technique : VistaRef

Énoncé du Problème

L'article traite d'une limitation critique des modèles actuels de Visual Grounding (VG) et de Referring Expression Comprehension (REC) : l'incapacité des modèles basés sur les Transformers standards à interpréter efficacement les gestes déictiques (spécifiquement le pointage) dans les images naturelles. Bien que les Transformers excellent dans la détection d'objets générale grâce aux mécanismes d'attention globale, ils négligent souvent les relations micro-géométriques. Dans les tâches de détection par pointage d'objet, cela se manifeste par une « insensibilité à l'orientation », où le modèle ne parvient pas à capturer les subtiles déviations de la pose des doigts qui définissent le rayon de pointage. Par conséquent, dans les scénarios impliquant des cibles distantes ou des objets densément regroupés avec des caractéristiques visuelles similaires, les modèles traditionnels souffrent d'une dérive de localisation sévère et d'une ambiguïté prédictive, étant incapables de distinguer plusieurs cibles potentielles sur la seule base de la direction d'un doigt pointé.

Méthodologie : Le Cadre VistaRef

Les auteurs proposent VistaRef, un cadre conçu pour améliorer explicitement la conscience de l'orientation spatiale en transformant les priors géométriques implicites en contraintes de caractéristiques explicites. L'architecture s'appuie sur la base de référence OneRef et introduit une chaîne de modélisation physique hiérarchique progressant des points clés de la main vers les vecteurs de pointage, et enfin vers la projection de la cible. Le cadre se compose de quatre modules principaux :

1. Agrégation Visuelle Guidée par le Texte : Utilisant un backbone BEiT3 gelé, le modèle encode des entrées vision-langage conjointes. Il emploie une matrice d'affinité cross-modale pour effectuer une agrégation d'informations pondérée, synthétisant une caractéristique vision-langage holistique ($h_{vl}$) qui sert de fondement sémantique pour les tâches spatiales ultérieures.

2. Modélisation du Rayon Géométrique (GRM) : Ce module fait le pont entre les instructions linguistiques abstraites et les orientations spatiales concrètes.

   • Localisation des Points Clés : Une tête dédiée régresse les coordonnées normalisées de la racine de la main ($p_r$) et du bout du doigt ($p_t$) basées sur $h_{vl}$.
   • Encodage Géométrique : À partir de ces coordonnées, le modèle dérive un vecteur de pointage, calculant sa magnitude ($l$) et son vecteur directionnel unitaire ($u$). Ils sont concaténés en un vecteur géométrique à 7 dimensions ($g_{ray} = [p_r; p_t; u; l]$) et projetés dans un espace latent de haute dimension via un Ray Encoder pour produire un embedding de rayon ($e_{ray}$). Cela encode explicitement la progression physique de « point vers la ligne ».

3. Modélisation de l'Entité Main Locale (LHEM) : Pour capturer les indices gestuels fins, ce module construit une Région de Main Locale ($\Omega_{hand}$) dynamique.

   • La région est un rectangle aligné sur les axes, centré sur un point décalé de la racine de la main le long du vecteur de pointage.
   • Ses dimensions sont mises à l'échelle dynamiquement en fonction de la longueur du rayon pour assurer une couverture suffisante.
   • Une opération de pooling moyen masqué extrait un vecteur de caractéristiques gestuelles purifié ($f_{hand}$) de cette région, isolant les caractéristiques spécifiques de la main du fond complexe.

4. Ancrage de Cible Sensible au Rayon : Ce module synthétise les informations géométriques et visuelles pour la localisation finale.

   • Une couche de fusion de requête combine $f_{hand}$ et $e_{ray}$ pour créer un vecteur de requête explicite ($Q_{rh}$).
   • Un mécanisme de Cross-Attention utilise $Q_{rh}$ pour interagir avec les caractéristiques visuelles globales, permettant au modèle de se concentrer sur les régions spatiales alignées avec le rayon de pointage.
   • Les caractéristiques d'interaction résultantes sont fusionnées de manière non linéaire avec le contexte global et l'embedding du rayon pour prédire la boîte englobante finale.

Objectifs d'Entraînement : Le cadre est optimisé à l'aide d'une Stratégie de Supervision Conditionnelle. Une nouvelle perte d'Alignement de Cohérence d'Orientation (OCAL) est introduite aux côtés des pertes de détection standard. OCAL comprend trois composantes :

• $L_{hand}$ : Supervise la présence de l'entité main.
• $L_{kp}$ : Supervise la régression fine des points clés.
• $L_{ray}$ : Impose la cohérence géométrique du rayon de pointage.
  Crucialement, les composantes géométriques ($L_{kp}$ et $L_{ray}$) sont appliquées uniquement aux échantillons positifs contenant des gestes de pointage valides, tandis que $L_{hand}$ est appliquée à tous les échantillons.

Contributions Clés

1. Identification de l'Insensibilité à l'Orientation : Les auteurs soulignent que les Transformers traditionnels manquent de la sensibilité à l'orientation spatiale requise pour les tâches de pointage, échouant à générer des variations de caractéristiques physiques en réponse aux changements subtils de la pose des doigts.
2. Le Cadre VistaRef : Une nouvelle stratégie de modélisation géométrique hiérarchique qui intègre le LHEM (pour capturer les mouvements subtils du bout du doigt) et le GRM (pour modéliser le chemin géométrique de la main vers la cible). Cela relie les indices gestuels de micro-niveau aux trajectoires spatiales de macro-niveau.
3. Supervision de Cohérence d'Orientation : L'introduction de la fonction de perte OCAL, qui incorpore des contraintes géométriques explicites dans le processus d'apprentissage de bout en bout pour assurer un alignement spatial physiquement auto-cohérent.
4. Validation Systématique : Des expériences approfondies démontrant que VistaRef surpasse significativement les baselines de l'état de l'art, particulièrement dans les scénarios de pointage encombrés ou distants.

Résultats Expérimentaux

Le modèle a été évalué sur le jeu de données EgoPoint-Ground, un benchmark spécifiquement conçu pour la localisation de cibles par pointage égocentrique.

• Gains de Performance : VistaRef a obtenu un gain absolu de 14 points en précision de grounding (mesuré par mIoU) par rapport à la baseline.
  • Dans le réglage "Train-Real Data Test", VistaRef (BEiT-3-Large) a atteint un mIoU de 82,01 %, surpassant la plus forte baseline (PropVG) d'environ 4,5 % et la baseline OneRef de plus de 13 %.
  • Dans le réglage "Train on Hybrid", VistaRef (BEiT-3-Base) a atteint un mIoU de 70,77 %, surpassant PropVG (BEiT-3-Large) de 6,36 %.
• Capacité Zero-Shot : Sans entraînement spécifique aux tâches de pointage, les modèles de VG conventionnels ont mal performé (par exemple, SimVG n'a atteint que ~31,84 % de mIoU), soulignant la nécessité d'une modélisation géométrique explicite pour les indices déictiques.
• Études d'Ablation : Supprimer soit le GRM, soit le LHEM a entraîné une baisse significative de performance (diminution d'environ 9 % du mIoU), confirmant que la modélisation explicite du rayon géométrique et l'extraction de caractéristiques de la main localisée sont fondamentales pour la désambiguïsation spatiale.
• Efficacité : Malgré l'ajout de modules géométriques, VistaRef maintient un nombre de paramètres (226,01M) comparable aux baselines légères comme OneRef (224,82M) et atteint un débit de 22,92 fps, démontrant un compromis favorable entre précision et efficacité de calcul.

Signification et Revendications

L'article affirme que VistaRef améliore fondamentalement la robustesse de la perception spatiale dans la collaboration humain-robot et la réalité augmentée (AR) en abordant le « fossé de perception spatiale » inhérent aux mécanismes d'attention traditionnels. En modélisant explicitement la corrélation géométrique de la main vers la cible, le cadre permet un alignement de rayon déterministe, permettant aux modèles de résoudre l'intention référentielle même lorsque les indices sémantiques sont ambigus ou que l'environnement est encombré.

Les auteurs reconnaissent des limitations, notant que la performance peut se dégrader sous des contraintes physiques extrêmes (par exemple, cibles très distantes ou régions de main à basse résolution) où les erreurs infimes de pose sont amplifiées. De plus, le modèle actuel privilégie les chemins de rayons géométriques par rapport aux attributs intrinsèques des objets, ce qui peut conduire à des erreurs si le rayon intersecte plusieurs objets superposés sans une compréhension suffisante des classes spécifiques. Les travaux futurs visent à relever ces défis.