Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

Résumé Technique : Fusion de la Trajectoire de la Main pour le Localisage de Requêtes en Langage Naturel Égocentrique

Définition du Problème
Le localisage (grounding) de requêtes en langage naturel (NLQ) égocentrique vise à identifier l'intervalle temporel $[t_s, t_e]$ au sein d'une longue vidéo à la première personne correspondant à une requête textuelle libre. Bien que les systèmes de pointe (par exemple, GroundNLQ) fusionnent efficacement l'apparence vidéo avec la sémantique textuelle à l'aide de grands encodeurs pré-entraînés, ils ignorent souvent le mouvement des mains. Il s'agit d'un oubli important étant donné qu'environ 41 % des requêtes du jeu de données Ego4D NLQ sont répondues lors de moments de manipulation objet-main ou de leurs résultats immédiats. Les modalités auxiliaires existantes, telles que le regard ou la détection d'objets, ont été explorées, mais la trajectoire de la main en tant que modalité distincte pour le localisage NLQ reste inexplorée malgré sa centralité dans l'activité à la première personne.

Méthodologie
L'approche proposée introduit un Encodeur de Trajectoire de la Main et un module de Fusion de Trajectoire pour intégrer des données squelettiques de la main éparses avec les représentations vidéo-texte. L'architecture se compose de cinq composants principaux :

1. Encodeurs :

   • Encodeur Vidéo : Utilise des backbones pré-entraînés et gelés (InternVideo et EgoVLP) pour encoder des clips égocentriques en jetons vidéo ($E_v$).
   • Encodeur de Texte : Utilise un modèle CLIP gelé pour encoder les requêtes en langage naturel en jetons textuels ($E_t$).
   • Encodeur de Trajectoire : Un module entraîenable qui traite une séquence temporelle de squelettes de mains (extraits via MediaPipe) en caractéristiques cinématiques denses et alignées sur la vidéo ($E_h$). Il utilise un transformeur spatio-temporel factorisé en deux étapes :
     • Agrégation Spatiale : Utilise l'attention croisée (cross-attention) pour regrouper 21 points de repère anatomiques par main en un descripteur par niveau de trame, en masquant explicitement les points de repère non détectés.
     • Modélisation Temporelle : Applique l'auto-attention pour modéliser l'évolution de ces descripteurs à travers les trames, capturant la dynamique de manipulation (approche, contact, relâchement). Les trames non détectées sont masquées pour éviter toute fuite d'information.

2. Fusion de Trajectoire :

   • Ce module intègre $E_h$ et $E_t$ dans les jetons vidéo $E_v$ en utilisant une stratégie d'attention croisée avec porte adaptative (cross-attention with adaptive gating).
   • Deux mécanismes d'attention croisée indépendants permettent aux jetons vidéo de questionner les flux de trajectoire et de texte, produisant des représentations enrichies ($E_{vh}$ et $E_{vt}$).
   • Porte Adaptative (Adaptive Gating) : Au lieu d'une sommation uniforme, les contributions des branches de trajectoire et de texte sont mises à l'échelle par des portes scalaires apprises ($g_h$ et $g_t$). Ces portes sont calculées via des MLP légers appliqués aux moyennes temporelles des sorties respectives de l'attention croisée. Cela permet au réseau d'atténuer sélectivement le signal de la trajectoire lorsque la détection de la main est éparse ou non pertinente.
   • Un bloc de raffinement par auto-attention traite ensuite la représentation fusionnée pour produire la sortie multimodale finale ($E_o$).

3. Prédiction :

   • Une tête de Prédiction de Segment Temporel prédit l'intervalle de réponse $[t_s, t_e]$ à partir de la représentation fusionnée $E_o$.

Contributions Clés

• Nouvelle Modalité : Ce travail est le premier à étudier la trajectoire de la main comme une modalité auxiliaire pour le localisage NLQ égocentrique, comblant une lacune où environ 41 % des requêtes dépendent de l'activité manuelle.
• Encodage de Trajectoire Robuste : La conception gère explicitement la parcimonie de la détection des mains (les mains ne sont visibles que dans environ 41 % des trames d'Ego4D en moyenne) grâce à des mécanismes de masquage dans les deux étapes du transformeur spatial et temporel.
• Fusion Adaptative : L'introduction de mécanismes de porte dépendants du contenu et appris permet de pondérer dynamiquement le signal de la trajectoire de la main par rapport aux caractéristiques vidéo et textuelles, évitant que le bruit des trames non détectées ne dégrade les performances.

Résultats Expérimentaux
Le système a été évalué sur le split de validation Ego4D NLQ v2 (4 552 paires requête-clip) en utilisant la métrique $R_m@IoU=n$.

• Gains Spécifiques par Catégorie : Les améliorations les plus significatives ont été observées dans les catégories directement liées à la manipulation :
  • Interaction Main-Objet (HOI) : Amélioration de +2,54 en $R1@IoU=0,3$.
  • Quantité/État : Amélioration de +4,32 en $R1@IoU=0,3$.
  • Au sein de l'HOI, les gains sont concentrés dans les modèles d'action (ex: "Qu'est-ce que j'ai mis dans X ?"), confirmant que les indices de trajectoire aident à localiser le moment précis de l'action.
• Performance Globale : Le modèle proposé a obtenu un gain de +0,77 en $R1@IoU=0,3$ global et de +1,39 en $R1@IoU=0,5$. Le gain plus important au seuil d'IoU plus strict suggère que la cinématique de la main aide non seulement à récupérer la région temporelle correcte, mais affine également la précision de la localisation.
• Efficacité : L'encodeur de trajectoire n'ajoute que 195K paramètres (0,6 % du modèle complet) et est entraîné à partir de zéro tout en gardant les backbones vidéo et texte lourds gelés.

Signification et Limites
L'article affirme que la cinématique de la main fournit un signal léger mais informatif qui complète l'apparence visuelle, particulièrement pour les requêtes impliquant la manipulation d'objets. La conception démontre que des modalités auxiliaires peuvent être intégrées efficacement sans modifier les modèles pré-entraînés.

Les auteurs reconnaissent modestement une limite principale : la parcimonie de la détection. Puisque les mains ne sont visibles que dans 41 % des trames, la contribution de la branche de trajectoire est intrinsèquement plafonnée. Le papier postule que de futures améliorations de la détection des mains en mode égocentrique se traduiront directement par de meilleures performances de localisage. De plus, le module de Fusion de Trajectoire est décrit comme étant agnostique à la modalité, suggérant qu'il pourrait naturellement s'étendre à d'autres signaux comme le regard ou à des scénarios d'entraînement à plus grande échelle.