Résumé Technique : ScaleHP – Estimation de la Pose de la Main dans l'Espace Métrique

1. Définition du Problème

L'estimation précise de la pose de la main (HPE - Hand Pose Estimation) dans l'espace métrique (coordonnées de la caméra absolues avec une échelle réelle) est cruciale pour l'interaction homme-machine (IHM) immersive, la réalité virtuelle/augmentée (VR/AR) et la robotique. Cependant, les méthodes existantes opèrent principalement dans des systèmes de coordonnées relatifs à la racine (root-relative), prédisant les poses de la main par rapport à une articulation de référence (par exemple, le poignet) sans déterminer la taille absolue ou la distance de la main par rapport à la caméra.

Le défi central pour passer à l'espace métrique est l'ambiguïté profondeur-échelle inhérente aux images monoculaires. Les approches actuelles tentant de résoudre cela reposent souvent sur :

• Des modules d'estimation de profondeur auxiliaires : Ceux-ci sont fragiles et échouent lorsque l'arrière-plan dévie des distributions d'entraînement ou lorsqu'une seule main est visible.
• La régression de modèles paramétriques : Celles-ci ignorent souvent l'échelle absolue ou nécessitent des cartes de profondeur pré-calculées.
• Des pipelines en deux étapes : Estimer d'abord la pose relative à la racine, puis la projeter dans l'espace caméra en utilisant des paramètres d'échelle externes ou des hypothèses.

Ces méthodes peinent à fournir des prédictions métriques stables et précises dans des scénarios réels généralisés.

2. Méthodologie : ScaleHP

Les auteurs proposent ScaleHP, un framework de bout en bout en une seule étape qui contourne les modules de profondeur fragiles en exploitant des priors anthropométriques intrinsèques. L'hypothèse centrale est que les relations proportionnelles entre les os de la main humaine encodent des informations stables sur la taille métrique globale de la main, qui peuvent être déduites directement de l'image.

2.1 Aperçu de l'Architecture

ScaleHP se compose de trois composants principaux (illustrés dans la Fig. 2) :

1. Backbone de Détection Gelé : Utilise un détecteur de style DETR pré-entraîné et gelé (par exemple, Grounding DINO) pour extraire des caractéristiques multimodales et localiser les mains via des invites textuelles (text prompts). Cela fournit une extraction de caractéristiques robuste sans entraîner le backbone.
2. Décodeur Métrique 2D–3D : Un nouveau décodeur basé sur les Transformers qui projette les observations 2D vers l'espace métrique 3D.
3. Module Analytique Sans Entraînement : Un solveur géométrique qui calcule le vecteur de translation final en se basant sur des contraintes de perspective.

2.2 Composants Clés

Le Jeton de Taille (Scale Token)

L'innovation centrale est l'introduction d'un jeton de taille ($Q_s$) dédié au sein du décodeur Transformer.

• Initialisation : Initialisé à partir de la requête d'instance de la main.
• Interaction : Le jeton de taille participe à une auto-attention (self-attention) avec les requêtes de joints 2D et 3D pour apprendre les proportions et la topologie squelettiques. Il interagit ensuite avec les caractéristiques d'image multi-échelles via une attention déformable pour capturer l'apparence globale et l'occupation spatiale.
• Prédiction : Le jeton produit un scalaire de taille globale ($s$), représentant la longueur moyenne de certains os de la main (par exemple, les index, majeurs, annulaires). Cela permet au modèle d'apprendre une correspondance déterministe entre les configurations de pixels et les longueurs réelles.

Récupération Métrique via les Contraintes de Perspective

Une fois que la taille globale $s$ est prédite, le framework récupère le vecteur de translation absolue $t$ sans apprendre de régresseur de profondeur séparé.

• Formulation : La relation entre les coordonnées 3D relatives à la racine ($J_{rel}$), les coordonnées de pixels 2D ($J_{2D}$) et les intrinsèques de la caméra ($K$) est modélisée sous projection perspective.
• Solution : Les auteurs formulent un système d'équations linéaires (2N équations pour N points clés) où l'inconnue est la translation de profondeur ($t_z$). Ce système est résolu à l'aide d'une approche par moindres carrés.
• Résultat : Le $t$ récupéré et le $s$ prédit sont appliqués à la pose relative à la racine pour reconstruire la main dans le véritable système de coordonnées métriques de la caméra.

2.3 Fonctions de Perte

Le modèle est entraîné de bout en bout en utilisant quatre signaux de supervision :

1. Supervision 2D : Perte L1 et similitude de points clés d'objet (OKS) sur les points clés 2D.
2. Supervision 3D : Perte L1 sur les points clés 3D relatifs à la racine.
3. Supervision de l'Échelle Métrique : Erreur quadratique moyenne (MSE) entre le scalaire de taille prédit et la taille réelle dérivée des longueurs osseuses.
4. Supervision de Projection : Supervision faible en projetant les joints 3D prédits vers la 2D et en les comparant aux annotations.

3. Contributions Clés

1. Framework Sensible à la Métrique : Le papier introduit un framework qui modélise explicitement l'échelle globale de la main en utilisant les proportions osseuses anatomiques intrinsèques, atténuant l'ambiguïté de la profondeur sans dépendre d'estimateurs de profondeur externes.
2. Architecture ScaleHP : Le premier framework de bout en bout en une seule étape pour la HPE en espace métrique, doté d'un jeton de taille qui interagit avec les requêtes de pose pour apprendre une correspondance directe des caractéristiques d'image vers l'échelle physique absolue.
3. Solveur Analytique Sans Entraînement : Une nouvelle approche pour récupérer la translation globale via une solution de moindres carrés sous contraintes de perspective, évitant ainsi le besoin de régresseurs de profondeur appris.
4. Performance de l'État de l'Art : La méthode atteint des résultats supérieurs sur les benchmarks standards, démontrant que les contraintes biologiques internes réduisent considérablement les erreurs de géométrie relative et les erreurs métriques absolues.

4. Résultats Expérimentaux

Les auteurs ont évalué ScaleHP sur les benchmarks FreiHand, DexYCB et HO3Dv3.

• Métrique Primaire (CS-MPJPE) : Mesure la distance euclidienne moyenne dans l'espace caméra sans alignement.

  • FreiHand : 35,8 mm (contre 42,4 mm pour le meilleur baseline suivant, NFV).
  • DexYCB : 136,3 mm (contre 183,2 mm pour CMR + GS).
  • HO3Dv3 : 50,7 mm (contre 132,6 mm pour HandDGP + GS).
  • Note : Les auteurs notent que les baselines nécessitent souvent un ajustement a posteriori par "Échelle Globale Optimale" (GS) pour être compétitives, alors que ScaleHP prédit cette échelle de bout en bout.

• Métriques Alignées (P-MPJPE / R-MPJPE) :

  • Sur FreiHand, ScaleHP atteint un P-MPJPE de 5,0 mm, égalant l'état de l'art.
  • Sur DexYCB, il atteint un P-MPJPE de 4,6 mm et un R-MPJPE de 10,3 mm.
  • Sur HO3Dv3, il atteint un P-MPJPE de 5,9 mm.

• Études d'Ablation :

  • Jeton de Taille (Scale Token) : Supprimer le jeton de taille augmente significativement le CS-MPJPE (par exemple, de 35,8 à 44,3 mm sur FreiHand), confirmant sa nécessité pour la précision métrique.
  • Ambiguïté de Profondeur : Le jeton de taille améliore également la géométrie relative (P-MPJPE), réduisant spécifiquement les erreurs le long de l'axe Z (profondeur), ce qui indique qu'il agit comme un régularisateur géométrique.
  • Stratégie d'Entraînement : L'entraînement conjoint du jeton de taille avec les requêtes de joints surpasse les stratégies de pré-entraînement/fine-tuning découplées.

5. Signification et Revendications

Le papier affirme que ScaleHP offre une solution robuste pour le suivi de la main généralisé et réel en déplaçant le paradigme de l'estimation de la profondeur fragile et dépendante du contexte vers des priors biologiques intrinsèques.

• Robustesse : En dérivant l'échelle uniquement de la structure interne de la main, la méthode reste invariante aux facteurs environnementaux extrinsèques (par exemple, changements d'arrière-plan, contexte de la scène), contournant efficacement l'ambiguïté échelle-profondeur inhérente à la reconstruction 3D monoculaire.
• Généralisation : Le framework démontre de solides performances sur des images "in-the-wild", gérant les interactions main-objet, les occlusions sévères et les changements de vue importants là où les méthodes précédentes échouent souvent.
• Efficacité : La conception en une seule étape et de bout en bout évite la surcharge de calcul et l'accumulation d'erreurs des pipelines multi-étapes ou des réseaux de profondeur auxiliaires.

Les auteurs concluent qu'en exploitant les régularités anthropométriques, il est possible de reconstruire la géométrie de la main dans l'espace métrique des coordonnées caméras absolues, fournissant ainsi une base pour des applications nécessitant une compréhension spatiale précise, telles que la téléopération et la manipulation robotique dextre.