GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection

Each language version is independently generated for its own context, not a direct translation.

🎬 GenHOI : Le Magicien de la Vidéo qui ne Lâche Jamais l'Objet

Imaginez que vous êtes réalisateur de cinéma. Vous avez une vidéo d'un acteur tenant une tasse de café. Votre mission ? Remplacer cette tasse par un objet totalement différent (par exemple, un téléphone, un livre, ou même une baguette magique) tout en gardant le mouvement naturel de la main et en s'assurant que l'objet reste exactement le même du début à la fin de la vidéo.

C'est là que GenHOI entre en jeu. C'est un nouvel outil intelligent qui résout un problème majeur des vidéos actuelles : souvent, quand on change un objet dans une vidéo, il commence à "fondre", à changer de couleur ou à disparaître après quelques secondes. GenHOI, lui, garde l'objet parfaitement stable et réaliste.

Voici comment il fonctionne, expliqué avec des analogies du quotidien :

1. Le Problème : La "Mémoire à Court Terme" des Vidéos

Les anciennes méthodes (comme les grands modèles "tout-en-un") sont comme des étudiants qui ont lu un livre entier mais qui oublient le premier chapitre dès qu'ils arrivent au chapitre 10.

Ce qui se passe : Au début de la vidéo, l'objet ressemble à la photo de référence. Mais plus la vidéo avance, plus l'objet se déforme, change de couleur ou devient flou. C'est comme si le réalisateur oubliait à quoi ressemblait l'objet qu'il devait filmer.

2. La Solution de GenHOI : Deux Super-Pouvoirs

GenHOI est une petite "greffe" intelligente ajoutée à un grand modèle de vidéo existant. Il utilise deux astuces magiques pour garder le contrôle.

A. Le "Glissement de Tête" (Head-Sliding RoPE) : L'Équipe de Gardiens
Imaginez que vous avez une équipe de gardiens chargés de surveiller un objet précieux (votre tasse) dans une vidéo.

L'ancien problème : Dans les anciennes méthodes, un seul gardien regardait l'objet au début de la vidéo. Plus le temps passait, plus ce gardien s'éloignait et oubliait ce qu'il surveillait. Résultat : l'objet se dégrade.
La solution GenHOI : GenHOI a une équipe de gardiens (les "têtes" de l'attention). Au lieu de tous regarder le début, ils se relaient. Le gardien n°1 regarde la seconde 1, le gardien n°2 la seconde 2, et ainsi de suite, en glissant doucement à travers le temps.
Le résultat : L'objet est surveillé de manière égale du début à la fin. Il n'y a plus de "trous de mémoire". L'objet reste identique, même dans une vidéo très longue.

B. La "Porte Sélective" (Spatial Attention Gate) : Le Filtre de Sécurité
Imaginez que vous peignez une scène. Vous voulez changer la tasse dans la main de l'acteur, mais vous ne voulez pas toucher au décor de fond (le mur, la fenêtre, le sol).

L'ancien problème : Les modèles précédents étaient comme des peintres un peu étourdis : quand ils recevaient l'image de la nouvelle tasse, ils la "collaient" un peu partout, y compris sur le mur, ce qui créait des artefacts bizarres.
La solution GenHOI : GenHOI utilise une porte à double verrou.
1. Le verrou dur (Hard Mask) : Il dit : "L'information sur la nouvelle tasse est autorisée à entrer uniquement dans la zone où se trouve la main. Interdit d'entrer dans le décor !"
2. Le verrou doux (Soft Flow) : Il ajuste l'intensité. "Dans la zone de la main, peins fort et précis. Dans le reste, reste très léger."
Le résultat : L'interaction main-objet est parfaite et réaliste, tandis que le fond reste intact et naturel.

3. Pourquoi c'est génial ? (Les Résultats)

Grâce à ces deux astuces, GenHOI fait des choses incroyables :

Réalisme : La main semble vraiment tenir l'objet. On ne dirait pas un collage.
Stabilité : Même si la vidéo dure longtemps, l'objet ne change pas de forme ni de couleur.
Flexibilité : Vous pouvez prendre une vidéo d'une personne tenant un sac à main et la transformer en vidéo où elle tient une baguette magique, une tasse de thé, ou même un objet imaginaire, et tout cela fonctionne très bien.

En Résumé

Si les anciennes méthodes de vidéo étaient comme un photocopieur qui commence à baver après 10 pages, GenHOI est comme un photocopieur de haute technologie qui garde une copie parfaite, page après page, en sachant exactement où placer l'objet et comment le garder intact.

C'est une avancée majeure pour les créateurs de contenu, le e-commerce (montrer des produits dans des vidéos réelles) et l'éducation en ligne, car cela rend la création de vidéos interactives beaucoup plus simple et de meilleure qualité.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La synthèse vidéo de l'interaction main-objet (HOI - Hand-Object Interaction) reste un défi majeur dans la création de contenu humain numérique. Les modèles actuels peinent à satisfaire simultanément deux objectifs critiques, en particulier dans des scénarios réels et complexes ("in-the-wild") :

Plausibilité physique : Générer un contact naturel et physiquement crédible entre la main et l'objet.
Cohérence de l'identité de l'objet : Préserver l'apparence visuelle de l'objet de référence (couleur, texture, logo) de manière constante sur toute la durée de la vidéo.

Les approches existantes présentent des limites :

Les méthodes de ré-enactment HOI spécifiques sont souvent entraînées sur des données de domaine restreint et ne généralisent pas bien aux scènes réelles.
Les modèles de montage vidéo "tout-en-un" (comme VACE) possèdent une meilleure généralisation grâce à des données Internet massives, mais échouent souvent à maintenir la cohérence de l'objet sur le long terme, entraînant des artefacts ou une dégradation de l'identité de l'objet au fil des images.

2. Méthodologie

Le papier propose GenHOI, une augmentation légère (lightweight) des modèles de génération vidéo pré-entraînés. Au lieu de réentraîner un modèle complet, GenHOI injecte des informations sur l'objet de référence de manière temporellement équilibrée et spatialement sélective.

L'architecture repose sur trois piliers principaux :

A. Unité de Conditionnement HOI (HOI Condition Unit - HCU)

Pour adapter un modèle de génération vidéo générique à la tâche de ré-enactment HOI sans ajouter de branches réseau complexes, le modèle reformule le problème comme une tâche d'inpainting vidéo conditionnée par la première image.

Une vidéo de référence ( $V_r$ ) est construite en masquant les régions d'interaction main-objet dans la vidéo source et en y injectant une valeur constante (ou l'image de référence selon le mode).
Les entrées (vidéo bruitée, vidéo de référence, masque) sont concaténées dans l'espace latent pour alimenter le modèle DiT (Diffusion Transformer).

B. Équilibrage Temporel : Head-Sliding RoPE

C'est l'innovation clé pour résoudre la dégradation temporelle de l'objet.

Problème : Dans les architectures DiT standard utilisant des embeddings de position rotatifs (RoPE) 3D, les tokens de condition (l'objet de référence) sont souvent assignés à un index temporel fixe (ex: frame -1). Cela entraîne une réponse d'attention inégale : forte au début de la vidéo et faible à la fin, causant la perte de l'identité de l'objet.
Solution GenHOI : L'auteur propose le Head-Sliding RoPE. Au lieu d'un index fixe, l'index temporel attribué aux tokens de l'objet "glisse" (sliding) à travers les différentes têtes (heads) de l'attention multi-têtes.
Effet : Cela distribue l'influence des tokens de référence uniformément sur toute la durée temporelle de la vidéo, atténuant la décroissance de l'attention et assurant une cohérence de l'objet sur de longues séquences.

C. Sélectivité Spatiale : Porte d'Attention Spatiale (Spatial Attention Gate)

Pour garantir que l'objet est injecté uniquement là où l'interaction se produit, sans corrompre l'arrière-plan.

Hard Mask Gate (Porte à masque dur) : Un masque binaire force le flux d'information uniquement des tokens de l'objet de référence vers les tokens de la région d'interaction (HOI). Il bloque strictement l'influence de l'objet sur les tokens d'arrière-plan, évitant ainsi l'apparition d'artefacts dans le fond.
Soft Flow Gate (Porte à flux doux) : Inspiré des LLM, cette porte module dynamiquement l'intensité de l'attention sur les tokens vidéo mis à jour. Elle amplifie les régions informatives et supprime les réponses redondantes, préservant le réalisme du fond tout en renforçant la fidélité de l'interaction.

3. Contributions Clés

Head-Sliding RoPE : Une nouvelle formulation des embeddings de position qui assigne des décalages temporels spécifiques à chaque tête d'attention pour les tokens de référence, équilibrant leur influence temporelle et améliorant la cohérence à long terme.
Porte d'Attention Spatiale à deux niveaux : Une combinaison de masques durs et de portes douces qui concentre l'attention conditionnée sur les régions d'interaction main-objet tout en protégeant l'intégrité de l'arrière-plan.
Module d'augmentation léger : Une approche qui améliore les capacités de ré-enactment HOI des modèles de base (comme Wan-14B) avec seulement ~157M de paramètres supplémentaires (0,95% du modèle original), minimisant la dégradation des capacités de génération vidéo d'origine.

4. Résultats

Les évaluations ont été menées sur le jeu de données AnchorCrafter HOI (scènes "in-the-wild"), en comparant GenHOI aux méthodes de pointe (VACE, HOI-Swap, UniAnimate-DiT, MimicMotion).

Performance Quantitative : GenHOI surpasse systématiquement les concurrents sur toutes les métriques (PSNR, SSIM, LPIPS, FID, FVD, Object CLIP).
- En génération de vidéos courtes (81 images), GenHOI atteint un PSNR de 31.71 contre 28.60 pour VACE.
- En génération de vidéos longues (401 images), l'écart se creuse, confirmant la robustesse temporelle de la méthode (PSNR de 30.69 vs 26.32 pour VACE).
Étude Utilisateur : Les participants ont noté GenHOI bien supérieur en termes de fidélité à l'image de référence (4.63/5 vs 2.79/5 pour VACE) et de qualité vidéo globale.
Qualité Visuelle : Les résultats montrent une capacité à gérer des objets déformables, des physiques dynamiques, des occlusions et des rotations, tout en maintenant une identité d'objet cohérente là où les autres méthodes échouent (dégradation ou "collage" artificiel).

5. Signification et Impact

GenHOI représente une avancée significative pour la synthèse vidéo réaliste :

Généralisation : Il comble le fossé entre les modèles spécialisés (qui ne généralisent pas) et les modèles génériques (qui manquent de précision HOI), permettant un ré-enactment robuste dans des scénarios non vus.
Efficacité : En utilisant une approche d'augmentation légère plutôt qu'un ré-entraînement massif, il offre un compromis optimal entre performance et coût computationnel.
Applications Pratiques : La capacité à remplacer des objets dans des vidéos réelles tout en préservant leur identité et la physique du contact ouvre de nouvelles perspectives pour le e-commerce (présentation de produits), l'éducation en ligne et la création de contenu numérique.

En résumé, GenHOI résout le problème de la cohérence temporelle des objets dans les interactions main-objet grâce à une ingénierie fine de l'attention (spatiale et temporelle), établissant un nouvel état de l'art dans ce domaine.