JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

Résumé Technique : JointHOI

Énoncé du Problème
La génération d'interactions main-objet (HOI) pilotée par le texte est cruciale pour la robotique et les applications immersives (AR/VR), mais produire des interactions physiquement plausibles reste un défi majeur. Bien que les méthodes récentes puissent générer des mouvements d'apparence naturelle, elles échouent souvent à maintenir une cohérence de contact précise. De petites erreurs dans le timing ou la proximité du contact se manifestent par des artefacts visibles, tels que des doigts flottant au-dessus des objets ou s'interpénétrant avec eux. Les approches existantes reposent généralement sur des pipelines multi-étapes (par exemple, prédire une saisie suivie d'un raffinement du mouvement) ou sur des priors latents implicites. Ces méthodes utilisent souvent des indices de contact statiques et binaires qui ne parviennent pas à capturer la nature spatio-temporelle structurée du contact, lequel évolue continuellement à mesure que les mains approchent, saisissent, manipulent et relâchent les objets. Par conséquent, ces pipelines peinent à modéliser l'évolution temporelle du contact, entraînant une propagation d'erreurs et un manque d'ancrage physique.

Méthodologie : JointHOI
Les auteurs proposent JointHOI, un cadre de diffusion conjoint en une seule étape conçu pour générer simultanément le mouvement main-objet en 3D et les cartes de contact dynamiques à partir de prompts textuels. L'innovation centrale consiste à traiter le contact non pas comme un signal de conditionnement séparé, mais comme une « modalité interne » du mouvement lui-même.

1. Représentation de la Carte de Contact Dynamique :
   Au lieu de cartes de contact binaires ou statiques, JointHOI représente le contact comme un champ continu basé sur la distance. La surface de l'objet est discrétisée à l'aide d'un ensemble fixe de $N_c=1024$ points d'ancrage (via l'échantillonnage de points les plus éloignés - Farthest Point Sampling). Pour chaque image, le modèle prédit la distance euclidienne minimale entre chaque ancrage et la surface de la main gauche et de la main droite. Cela produit un signal dense et temporellement évolutif ($C \in \mathbb{R}^{L_{max} \times N_c}$) qui suit la proximité image par image, évitant la sensibilité aux seuils et fournissant un signal fluide pour le guidage par gradient.

2. Modèle de Diffusion Conjoint :
   Le cadre utilise un modèle de diffusion basé sur un Transformer qui opère sur un jeton de séquence unifié $y_l$. Ce jeton concatène les états cinématiques de la main gauche, de la main droite et de l'objet, ainsi que les cartes de contact dynamiques pour les deux mains.

   • Architecture : Le modèle est conditionné par des plongements textuels (CLIP) et des caractéristiques de géométrie d'objet (PointNet). Il utilise un conditionnement de préfixe pour injecter ces signaux dans la séquence.
   • Entraînement : Le débruiteur est entraîné pour reconstruire la séquence conjointe propre (mouvement + contact) à partir d'entrées bruitées en utilisant une perte de reconstruction $L_2$ standard. En générant les deux modalités simultanément, le modèle apprend le couplage entre le mouvement et le contact (par exemple, la diminution des distances lors de l'approche, l'augmentation lors du relâchement) directement via des mécanismes d'auto-attention au sein d'un espace latent partagé.

3. Guidage Interne de Contact (CIG - Contact Inner Guidance) :
   Pour assurer la plausibilité physique lors de l'inférence, les auteurs introduisent le Contact Inner Guidance (CIG), une stratégie d'échantillonnage basée sur un classificateur sans entraînement supplémentaire.

   • Mécanisme : Pendant le processus de débruitage, le CIG impose une cohérence entre les cartes de contact explicitement générées par le modèle ($\hat{C}$) et les cartes de contact implicitement dérivées de la géométrie synthétisée ($\bar{C}$).
   • Fonction d'Énergie : Une énergie de cohérence de contact $\mathcal{L}_{cig}$ est calculée comme la distance $L_1$ entre les échelles logarithmiques des distances de contact générées et dérivées. L'échelle logarithmique met l'accent sur les régions de contact proche de précision où les violations physiques sont les plus critiques.
   • Guidage : Le gradient de cette énergie par rapport à la variable bruitée est utilisé pour orienter la trajectoire de débruitage, réduisant les artefacts tels que la pénétration et la flottaison sans nécessiter d'étapes d'entraînement secondaires ou de raffinement post-traitement.

Contributions Clés

• Cadre Conjoint en une Seule Étape : JointHOI est la première méthode de HOI pilotée par le texte qui génère conjointement le mouvement 3D et les cartes de contact dynamiques basées sur la distance en une seule étape de diffusion, éliminant la complexité et l'accumulation d'erreurs des pipelines multi-étapes.
• Représentation de Contact Dynamique : L'introduction d'une carte de contact dense temporellement et basée sur la distance qui capture l'évolution continue de la proximité main-objet, servant de signal plus informatif que les indices binaires statiques.
• Contact Inner Guidance (CIG) : Une nouvelle stratégie d'échantillonnage au moment de l'inférence qui exploite les cartes de contact co-générées pour guider la génération de mouvement. Elle impose une cohérence géométrique sans réseaux de neurones externes ou post-traitement, réduisant considérablement les artefacts physiques.
• Évaluation Complète : Des expériences approfondies et des études d'ablation validant l'efficacité de la modélisation conjointe et du guidage de contact.

Résultats Expérimentaux
La méthode a été évaluée sur les jeux de données GRAB (objets rigides) et ARCTIC (objets articulés).

• Plausibilité Physique : JointHOI a obtenu les volumes d'interpénétration (IV) et les profondeurs (ID) les plus bas parmi toutes les méthodes synthétisées. Sur ARCTIC, il a réduit le volume de pénétration d'environ la moitié par rapport à la base forte Text2HOI.
• Adhérence Sémantique : Le modèle a démontré une adhérence textuelle supérieure, atteignant la précision d'action Top-3 la plus élevée et la distance de Fréchet Inception (FID) la plus faible sur les deux jeux de données, indiquant un réalisme de mouvement et un alignement sémantique élevés.
• Efficacité : JointHOI est nettement plus efficace que les bases multi-étapes (ex. DiffH2O, LatentHOI), avec des temps d'inférence comparables aux bases à étape unique comme MDM, malgré l'étape CIG ajoutée.
• Études d'Ablation : Les ablations incrémentielles ont confirmé que le passage d'un modèle à deux étapes à un modèle conjoint en une étape, l'incorporation de cartes de contact dynamiques et l'application du CIG ont chacun contribué à des améliorations distinctes de la fidélité sémantique et de la cohérence physique.

Signification et Revendications
L'article affirme que JointHOI traite la déconnexion fondamentale entre la synthèse de mouvement et le contact physique dans la génération de HOI. En traitant le contact comme une modalité interne, le cadre modélise explicitement l'évolution spatio-temporelle de la proximité main-objet, permettant au modèle d'internaliser des motifs de co-variation physiquement ancrés. Les auteurs soutiennent que cette approche produit des interactions plus naturelles, stables et physiquement plausibles, atténuant efficacement les artefacts courants comme la flottaison et l'interpénétration qui affectent les méthodes précédentes. Le travail démontre que la génération conjointe, couplée à un guidage de cohérence au moment de l'inférence, offre une voie robuste vers une synthèse d'interaction haute fidélité pilotée par le texte pour la robotique et les applications immersives.