Résumé Technique : WristCompass

Énoncé du Problème

La récupération de l'orientation de la caméra égocentrée (SO(3)) à partir de vidéos de manipulation égocentrée est une étape préalable critique pour dissocier le mouvement des mains du mouvement de la caméra dans l'apprentissage par imitation. Les approches existantes s'appuient sur la géométrie de la scène pour inférer la pose de la caméra. Cependant, cette stratégie échoue dans les scénarios de manipulation en gros plan où les mains masquent fréquemment la scène.

L'article démontre que les modèles de reconstruction de scène de pointe, tels que VGGT (un transformer de 1 milliard de paramètres), sont moins performants qu'un prédicteur constant sur le benchmark TACO (erreur géodésique médiane de 23,98° contre 21,22° pour une rotation constante). Cet échec survient car le concept visuel de « géométrie de la scène » cesse d'exister lorsque le cadre est obstrué par les mains. De plus, les solutions basées sur l'IMU sont inapplicables aux archives vidéo existantes composées uniquement de RGB. Le défi central est de récupérer l'orientation de la caméra à partir d'une simple vidéo monoculaire RGB sans dépendre de la structure visible de la scène.

Méthodologie : WristCompass

Les auteurs proposent WristCompass, une méthode qui récupère l'orientation de la caméra en exploitant la dynamique de couplage cinématique. Ce concept repose sur la relation physique structurée entre le mouvement du poignet et l'orientation de la caméra, imposée par la chaîne bras-épaule-tête humaine. Lorsque la tête (la caméra) pivote, les bras et les poignets doivent bouger pour maintenir l'interaction avec l'espace de travail, créant un couplage prévisible même lorsque l'arrière-plan est invisible.

Composants Techniques Clés

1. Représentation d'Entrée (Caractéristiques Inter-Poignets 4D) :

   • Au lieu d'utiliser l'ensemble des points clés de la main (126 dimensions issues de 42 articulations), le modèle extrait uniquement le vecteur de caractéristique inter-poignets en 4D.
   • Ce vecteur consiste en la distance euclidienne entre le poignet gauche et le poignet droit ainsi que le vecteur directionnel unitaire de leur différence ($d_t = w^L_t - w^R_t$).
   • Justification : Les expériences montrent que le signal d'orientation se concentre dans le vecteur inter-poignets. L'utilisation de l'intégralité des points clés de la main introduit un bruit spécifique au sujet (articulations des doigts) qui entrave la généralisation. La représentation 4D surpasse significativement la représentation 126D.

2. Modélisation Temporelle (GRU) :

   • La méthode utilise une unité récurrente à porte (GRU) à deux couches avec une fenêtre de 12 images (~0,4s à 30 fps).
   • Justification : Le signal d'orientation n'est pas accessible via une recherche statique. Une recherche par plus proche voisin sur des caractéristiques 4D statiques obtient un score inférieur à un prédicteur constant (26,69°), prouvant que le concept est intrinsèquement temporel et nécessite un modèle de séquence pour décoder la dynamique.

3. Architecture et Entraînement :

   • Le GRU traite la séquence de caractéristiques pour produire une représentation de rotation en 6D, projetée en SO(3) via l'orthogonalisation de Gram-Schmidt.
   • Le modèle est entraîné sur le jeu de données TACO (manipulation sur table) en utilisant la vérité terrain issue de la capture de mouvement optique NOKOV.
   • Efficacité des Paramètres : Le modèle central contient seulement 200K paramètres (hors l'extracteur de points clés WiLoR gelé), contre 1 milliard de paramètres pour VGGT.

4. Pipeline d'Inférence :

   • Le système fonctionne en temps réel sur un processeur (CPU).
   • Il traite les images où les deux poignets sont détectés ; les images avec un seul poignet détecté sont rejetées plutôt qu'interpolées afin d'éviter l'introduction de bruit.
   • L'évaluation utilise l'alignement de Procruste pour mesurer la structure d'orientation relative plutôt que la pose absolue, atténuant ainsi les erreurs de calibration globale.

Résultats Clés

1. Performance en Distribution (TACO)

• WristCompass atteint une erreur géodésique médiane de 13,80°.
• Cela surpasse significativement :
  • VGGT (1B de paramètres) : 23,98° (moins bon qu'un prédicteur constant).
  • Prédicteur Constant : 21,22°.
  • Recherche par Plus Proche Voisin Statique : 26,69°.
  • MLP sur les 126D des Points Clés : 17,5°.
• Le modèle est le plus performant sur les mouvements cycliques (ex: remuer : 5,9°) et rencontre des difficultés lorsque l'orientation de la tête se découple de la dynamique des poignets (ex: mesurer avec une règle : 24,3°).

2. Transfert Zero-Shot (Epic Kitchens)

• Entraîné exclusivement sur TACO, WristCompass effectue un transfert zero-shot vers le jeu de données Epic Kitchens (GoPro montée sur la poitrine, domaine de la cuisine).
• Il atteint une erreur géodésique médiane de 14,32°, battant la ligne de base constante (18,54°) pour 33 des 36 participants.
• Comparaison avec VGGT sur Epic Kitchens :
  • VGGT atteint 12,83° (légèrement meilleur que les 14,32° de WristCompass).
  • Cependant, VGGT est 1000 fois plus grand (1 milliard vs 200K paramètres).
  • Les auteurs notent que l'avantage de VGGT peut être dû à sa dépendance à la géométrie de la scène, plus disponible dans les vidéos de cuisine que dans les tâches de TACO en gros plan. À l'inverse, WristCompass l'emporte de plus de 10° sur TACO, là où les caractéristiques de la scène sont obstruées.

Contributions et Signification

L'article identifie la dynamique de couplage cinématique comme un concept visuel compact, structuré et physiquement ancré, suffisant pour la récupération de l'orientation de la caméra dans les vidéos de manipulation.

1. Identification du Concept : Ce travail établit que la chaîne bras-épaule-tête impose une contrainte physique qui encode le mouvement propre (ego-motion) dans la dynamique des poignets, un concept qui existe précisément quand la géométrie de la scène fait défaut.
2. Implémentation de WristCompass : Les auteurs réalisent ce concept à partir de simples flux RGB via un modèle léger de 200K paramètres, démontant que la récupération d'une orientation de haute fidélité ne nécessite pas de modèles massifs de reconstruction de scène.
3. Généralisation par l'Anatomie : Le transfert zero-shot vers Epic Kitchens démontre que le concept se généralise à travers les jeux de données et les montages de caméras car il est ancré dans l'anatomie humaine plutôt que dans l'apparence de la scène.

Limites et Portée

Les auteurs notent explicitement les limites suivantes :

• Modes d'Échec : La méthode échoue lorsque l'orientation de la tête est quasi-statique (faible variance) ou lorsque la position des poignets est contrainte indépendamment de l'orientation de la tête (ex: tâches de mesure).
• Portée de l'Évaluation : L'évaluation actuelle est limitée à la manipulation debout. Le transfert aux activités assises ou au corps entier n'a pas été testé.
• Relatif vs Absolu : La méthode mesure la structure d'orientation relative (via l'alignement de Procruste) ; la calibration de la pose absolue reste un problème distinct.
• Dépendance aux Données : Bien que le concept soit ancré physiquement, le modèle nécessite toujours un modèle temporel (GRU) et ne peut fonctionner avec une recherche de trames statiques.

En conclusion, WristCompass offre une alternative efficace en termes de paramètres et ancrée dans l'anatomie pour l'estimation de la pose basée sur la scène, répondant spécifiquement aux modes d'échec des modèles actuels dans les scénarios de manipulation égocentrée en gros plan et obstrués.