Résumé Technique : StableHand

Énoncé du Problème

La récupération du mouvement 4D dans l'espace mondial de deux mains en interaction à partir d'une vidéo egocentrique est une capacité critique pour superviser l'apprentissage de politiques robotiques, où les trajectoires du poignet guident les effecteurs terminaux et les articulations des doigts définissent les poses de préhension. Cependant, cette tâche fait face à deux défis principaux dans le contexte egocentrique :

1. Périodes Étendues Hors Champ : Le mouvement couplé de la tête et des mains provoque souvent la sortie d'une ou des deux mains du champ de vision de la caméra pendant de longues périodes.
2. Occlusions Persistantes : La manipulation dextre bimanuelle et les interactions main-objet entraînent des occlusions sévères, souvent asymétriques, des mains.

Les méthodes existantes souffrent de limitations significatives dans ces scénarios. Les pipelines basés sur la SLAM transforment les poses dans le repère caméra par image vers le repère mondial sans priors temporels, ce qui entraîne une dérive catastrophique pendant les périodes de main manquante. Les méthodes natives dans l'espace mondial apprennent des priors de mouvement au niveau de la séquence mais conditionnent généralement de manière uniforme sur les caractéristiques visuelles, échouant à prendre en compte l'hétérogénéité de la fiabilité des observations. Plus précisément, elles ignorent que les erreurs de dérive globale du poignet sont significativement plus grandes que les erreurs d'articulation des doigts et que les occlusions dégradent les deux mains de manière asymétrique.

Méthodologie

Les auteurs proposent StableHand, un cadre d'appariement de flux conscient de la qualité conçu pour synthétiser des trajectoires de mains doubles dans l'espace mondial en exploitant explicitement la qualité par composant des observations. Le cadre se compose de deux modules appris entraînés séquentiellement :

1. Signal de Qualité Adaptatif et Réseau

L'idée centrale est que la qualité de l'observation est hétérogène à travers les composants (poignet vs doigts) et les mains (gauche vs droite).

• Définition de la Qualité : Le système décompose la qualité du mouvement de la main en quatre canaux : poignet gauche ($L_W$), doigts gauches ($L_F$), poignet droit ($R_W$) et doigts droits ($R_F$). La qualité $q \in [0, 1]$ est dérivée de l'erreur entre les articulations observées et les articulations de référence (ground-truth) en utilisant un noyau de Fonction de Base Radiale (RBF) : $q = \exp(-e/\sigma)$.
• Réseau de Qualité (QN) : Puisque les erreurs de référence sont indisponibles lors de l'inférence, un Réseau de Qualité appris prédit directement l'erreur par composant $\hat{e}$ (en millimètres). Le réseau prend en entrée :
  • Les observations MANO dans l'espace mondial ($\bar{y}$) provenant d'un estimateur hors-the-shelf figé.
  • Des drapeaux binaires de confiance de la main ($\delta$).
  • La pose de la caméra par image ($g$).
  • Un jeton de contexte au niveau de la trajectoire apprenable, agrégé via une auto-attention temporelle.
• Entraînement : Le QN est pré-entraîné sur huit corpus bimanuels egocentriques (~10M d'images). Il est supervisé par une perte MSE dans l'espace logarithmique pour correspondre aux magnitudes d'erreur et par une perte de distance de Wasserstein-1 1D auxiliaire pour aligner la distribution empirique des erreurs prédites avec la référence, garantissant que la bande passante au moment du déploiement $\hat{\sigma}$ correspond au $\sigma$ du temps d'entraînement.

2. Modèle Génératif d'Appariement de Flux Conscient de la Qualité

Le modèle génératif est un Transformateur de Diffusion (DiT) conditionné par le signal de qualité prédit $\hat{q}$. Il emploie quatre mécanismes couplés pour traiter différemment les canaux de haute et de basse qualité :

• Programme d'Avance par Canal : Contrairement à l'appariement de flux standard qui utilise un programme scalaire, StableHand utilise un programme spécifique au canal $\alpha(\tau, \tilde{q})$. Pour les canaux de haute qualité ($q \approx 1$), le programme fige l'observation ($\alpha \equiv 1$), ancrant la trajectoire. Pour les canaux de basse qualité ($q \approx 0$), le programme les traite comme du bruit ($\alpha \approx 0$), nécessitant une régénération à partir du prior.
• Cible de Vitesse Ajustée par la Qualité : L'objectif d'entraînement régresse une cible de vitesse $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$. Cela garantit que le modèle apprend à laisser les canaux de haute qualité intacts tout en reconstruisant les canaux de basse qualité.
• Modulation AdaLN : Le débruiteur DiT utilise une Normalisation de Couche Adaptative (AdaLN) pilotée par le signal de qualité pour mettre à l'échelle les mises à jour pour les jetons de poignet et de doigts séparément, correspondant à la structure de qualité par canal.
• Initialisation Consciente de la Qualité : À l'inférence, l'ODE inverse est initialisée à $\tau=0$ avec $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$. Cela garantit que les canaux de haute qualité commencent près de l'observation et les canaux de basse qualité commencent près du bruit pur, éliminant le décalage entraînement-test trouvé dans les processus inverses tronqués (par exemple, SDEdit).

Contributions Clés

1. Formulation de Qualité par Composant : L'article cadre la récupération de mains doubles dans l'espace mondial egocentrique comme un problème de génération conscient de la qualité par composant, identifiant explicitement l'hétérogénéité de la qualité d'observation selon deux axes (composant, main) comme un prior de structure laissé précédemment implicite.
2. Parcours d'Appariement de Flux Conscient de la Qualité : Un parcours génératif novel piloté par un signal de qualité à quatre valeurs, intégrant un programme d'avance par canal, une cible de vitesse ajustée par la qualité, une modulation AdaLN et une initialisation d'ODE consciente de la qualité.
3. Signal de Qualité Calibré : L'introduction d'un signal de qualité adaptatif au corpus, prédit à l'inférence à partir de flux visuels, qui découple la dérive globale du poignet de l'erreur d'articulation des doigts et gère les occlusions asymétriques.
4. Performances de l'État de l'Art : La méthode obtient des résultats supérieurs sur des benchmarks présentant de longues périodes de main manquante et des occlusions persistantes.

Résultats Expérimentaux

Les auteurs évaluent StableHand sur HOT3D (caractérisé par de longues périodes de main manquante) et ARCTIC (caractérisé par une occlusion persistante main-objet et une qualité asymétrique).

• HOT3D : StableHand réduit le W-MPJPE (Erreur de Position Moyenne par Articulation dans l'Espace Mondial) de 20–25 % par rapport à la base de référence la plus forte (HaWoR), atteignant un W-MPJPE de 57,83 mm contre 71,89 mm. L'amélioration est la plus prononcée dans les clips avec de fortes fractions de main manquante.
• ARCTIC : StableHand réduit le W-MPJPE d'environ 25 % par rapport à la base de référence la plus forte, atteignant 124,59 mm contre 171,61 mm. Il montre également des gains significatifs en MRRPE (Erreur de Position de la Racine Relative Moyenne), indiquant un meilleur raisonnement articulé sur la cohérence spatiale relative des deux mains.
• Études d'Ablation : Le retrait du programme de qualité par canal dégrade le W-MPJPE d'un facteur de 1,6. Le remplacement de la division en quatre jetons (poignet/doigts par main) par un seul jeton dégrade les performances d'un facteur de 2,1, confirmant la nécessité d'une modulation par canal. L'utilisation d'un signal de qualité constant ou binaire au lieu du signal gradué prédit donne des performances comparables ou inférieures aux bases de référence.

Importance et Revendications

L'article revendique que l'estimation précise du mouvement de la main dans l'espace mondial est étroitement couplée à la qualité des observations par image. En modélisant explicitement cette hétérogénéité de qualité, StableHand peut « ancrer » les observations fiables tout en « régénérant » les observations peu fiables en utilisant un prior de mouvement bimanuel appris.

Les auteurs positionnent ce travail comme une étape fondamentale pour superviser l'apprentissage de politiques robotiques à partir de vidéos egocentriques à grande échelle, en particulier pour les tâches de manipulation dextre et bimanuelle où les méthodes existantes échouent en raison de la dérive et des occlusions. Le cadre est noté comme étant robuste à travers différents estimateurs de pose en amont (par exemple, WiLoR vs HaMeR) à condition que le réseau de qualité soit recalibré ou ré-entraîné.

L'article reconnaît modestement les limites : le signal de qualité est calibré sur un estimateur en amont spécifique, et dans les cas d'horizons de très basse qualité extrêmement longs où aucune main n'est observée, le modèle peut dériver vers des configurations plausibles mais non fidèlement ancrées. Un travail futur est suggéré pour inclure une modélisation conjointe objet-main et un entraînement de bout en bout.