Résumé Technique : EgoPressDiff

Énoncé du Problème

L'estimation de la pression de contact main-surface à partir d'une vue égocentrée (première personne) est une capacité critique pour des applications en RA/RV, l'imitation robotique et l'analyse ergonomique. Bien que la mesure directe nécessite des capteurs encombrants, l'estimation basée sur la vision offre une alternative évolutive. Cependant, les méthodes existantes font face à trois limitations principales :

1. Erreurs de Discrétisation : La plupart des approches classent les pixels dans des bacs de pression discrets, introduisant des erreurs de quantification et échouant à capturer les subtiles variations de pression.
2. Incohérence Temporelle : Les pipelines actuels traitent souvent les images de manière indépendante, ignorant le contexte temporel des actions (ex: presser, atteindre le pic, relâcher), ce qui entraîne des prédictions vacillantes ou incohérentes.
3. Priors Géométriques Limités : Les méthodes existantes reposent fortement sur les données RGB avec des informations géométriques limitées, échouant à exploiter pleinement les conditions structurées comme la profondeur, la cinématique squelettique et la géométrie de maillage 3D pour inférer la physique du contact sous-jacent.

Méthodologie : EgoPressDiff

Les auteurs proposent EgoPressDiff, un cadre de diffusion vidéo conditionnel qui reformule l'estimation de la pression de la main comme une tâche de génération de vidéo continue et dynamique. Au lieu d'une classification par pixel, le modèle génère une séquence temporellement cohérente de cartes de pression UV qui peuvent être texturées sur un modèle de main 3D MANO.

Architecture Centrale

Le cadre utilise une stratégie de conditionnement multimodal pour guider le processus génératif, garantissant que la sortie est à la fois visuellement plausible et physiquement ancrée. Le pipeline d'entraînement (Figure 2a) traite cinq flux d'entrée :

1. PoseNet : Un réseau convolutif léger (inspiré d'AnimateAnyone) qui extrait les caractéristiques de la pose de la main à partir de cartes de pose. Ces caractéristiques sont ajoutées au latent d'entrée pour améliorer la conscience de la posture sans la surcharge computationnelle d'une intégration complète de ControlNet.
2. Encodeur de Vertex : Un module spécialisé conçu pour extraire des représentations compactes et temporellement cohérentes des sommets (vertices) 3D MANO de la main. Il emploie un processus en trois étapes :
   • Extraction Spatiale : Normalise les sommets pour supprimer la translation/échelle globale, puis utilise un MLP partagé pour mapper les coordonnées vers un espace de dimension supérieure.
   • Mélange Temporel : Applique des convolutions depthwise-separable empilées pour capturer la dynamique temporelle locale.
   • Projection : Mappe les caractéristiques vers un output de 1024 dimensions via une couche linéaire et une LayerNorm.
3. Encodage de Profondeur : Les cartes de profondeur sont encodées à l'aide d'un auto-encodeur variationnel (VAE) pour projeter les caractéristiques dans le même espace latent que l'entrée.
4. Encodage d'Image : Un encodeur d'image CLIP traite les images RGB égocentrées pour fournir un contexte visuel global.

Couche Spatiale de Calibration de Distribution (DC Spatial Layer)

Pour fusionner efficacement des caractéristiques hétérogènes (embeddings d'image et de vertex) au sein de l'U-Net, les auteurs introduisent la couche spatiale DC. Les U-Nets standards se conditionnent généralement sur des embeddings textuels ; EgoPressDiff remplace cela par une conception à double branche se conditionnant à la fois sur les embeddings d'image et de vertex.

• Le Défi : Les embeddings provenant de domaines différents (image vs géométrie 3D) occupent des espaces de caractéristiques disparates, ce qui conduit à un conditionnement instable.
• La Solution : Un bloc de calibration aligne les propriétés statistiques des deux flux latents avant la fusion. Il calcule la moyenne ($\mu$) et l'écart-type ($\sigma$) pour les deux latents et remappe le latent de vertex ($\bar{z}_{vtx}$) pour qu'il corresponde à la distribution statistique du latent d'image ($z_{img}$) en utilisant la formule :
  $$\bar{z}_{vtx} = \frac{z_{vtx} - \mu_{vtx}}{\sigma_{vtx}} \times \sigma_{img} + \mu_{img}$$
  Le latent calibré est ensuite fusionné via une addition élément par élément.

Objectif d'Entraînement

Le modèle est entraîné de bout en bout en utilisant une perte de reconstruction MSE pondérée. Un masque UV binaire est appliqué à la fonction de perte pour augmenter le poids des pixels dans la région valide de la main, obligeant le modèle à prioriser la précision de la reconstruction sur la surface de la main.

Principales Contributions

1. Première Application de Diffusion Vidéo : À la connaissance des auteurs, il s'agit de la première application d'un modèle de diffusion vidéo à la tâche d'estimation de la pression de la main.
2. Ancrage Physique Multimodal : La méthode introduit un mécanisme de conditionnement qui fusionne des priors géométriques multimodaux (profondeur, pose et sommets 3D) avec des caractéristiques visuelles, ancrant la génération de pression dans la cinématique physique.
3. Calibration de Distribution : La proposition de la couche spatiale DC pour aligner les propriétés statistiques entre modalités hétérogènes, permettant un conditionnement cross-modal stable.
4. Performance État de l'Art : La méthode atteint de nouveaux résultats de pointe sur le réglage de vue égocentrée EgoPressure.

Résultats Expérimentaux

La méthode a été évaluée sur le jeu de données EgoPressure, qui contient des interactions de 21 participants capturées par des caméras RGB-D montées sur la tête et statiques.

Performance Quantitative

Comparé aux bases de référence (PressureVision, PressureVision avec HaMeR, PressureVision++, et PressureFormer), EgoPressDiff démontre des améliorations significatives :

• IoU Volumétrique : Amélioré de plus de 34 % par rapport à la base la plus forte (PressureVision++), atteignant 32,61 % (contre 24,19 % pour la base).
• IoU de Contact : Atteint 39,53 %, surpassant les 32,25 % de la base de référence.
• MAE : Réduit à 43 kPa (plus bas est mieux), contre 48 kPa pour la base de référence.
• Précision Temporelle : Maintient une haute précision à 94 %.

Analyse Qualitative

Les comparaisons visuelles (Figure 4) soulignent qu'EgoPressDiff produit des transitions de pression plus fluides et des régions de contact plus précises. Contrairement aux bases de référence qui souffrent de gradients grossiers dus à la discrétisation, le modèle de diffusion capture des champs de pression continus. Il identifie correctement le contact sur des doigts spécifiques (ex: majeur) tout en évitant les faux positifs sur des doigts non en contact (ex: index), une capacité attribuée à l'intégration de la profondeur, de la géométrie et des informations temporelles.

Études d'Ablation

Les expériences d'ablation (Tableau 2) confirment la nécessité de chaque composant :

• Entrée de Profondeur : La suppression de la profondeur a causé la chute de performance la plus significative sur tous les indicateurs, particulièrement en précision temporelle, soulignant son rôle dans l'inférence du contact physique.
• Couche Spatiale DC : Fusionner naïvement les caractéristiques sans la couche de calibration a entraîné une chute de performance plus sévère que la suppression totale de l'entrée de vertex, validant l'importance de l'alignement statistique.
• Masque UV : La suppression du masque de la fonction de perte a altéré la précision spatiale, confirmant la nécessité de se concentrer sur la région valide de la main.

Signification et Limites

L'article affirme qu'EgoPressDiff résout avec succès les limitations des travaux antérieurs en modélisant la pression comme un processus spatiotemporel continu. En générant des cartes de pression UV directement sur le maillage de la main, la méthode fournit une solution physiquement ancrée et temporellement stable pour l'estimation de la pression égocentrée.

Les auteurs reconnaissent les limites actuelles : le modèle est entraîné sur des postures de main et des modèles de contact simples, ce qui peut limiter la généralisation à des activités quotidiennes complexes. Des travaux futurs sont proposés pour inclure des jeux de données plus diversifiés pour les saisies complexes et étendre le modèle avec des priors plus forts pour les scénarios de multi-contact.