💻 computer science

CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation

Le papier présente CoInteract, un cadre de synthèse vidéo end-to-end pour les interactions humain-objet qui améliore la stabilité structurelle et le réalisme physique grâce à un mélange d'experts conscient du corps humain et à une génération conjointe spatialement structurée intégrée dans un transformateur de diffusion.

Auteurs originaux : Xiangyang Luo, Xiaozhe Xin, Tao Feng, Xu Guo, Meiguang Jin, Junfeng Ma

Publié 2026-04-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xiangyang Luo, Xiaozhe Xin, Tao Feng, Xu Guo, Meiguang Jin, Junfeng Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez créer une vidéo où un présentateur tient et montre un produit (comme un sac à main ou une tasse) en parlant, le tout généré automatiquement par une intelligence artificielle. C'est ce qu'on appelle la synthèse vidéo d'interaction humain-objet.

Le problème ? Les IA actuelles sont comme des artistes très doués pour le dessin, mais qui ont du mal avec la physique. Elles peuvent dessiner un visage magnifique, mais dès qu'il s'agit de faire tenir une main sur un objet, ça se transforme en catastrophe : les doigts traversent l'objet comme des fantômes, ou les mains se déforment en une masse informe.

Voici comment CoInteract résout ce problème, expliqué simplement avec des analogies :

1. Le Problème : L'IA qui "voit" mais ne "comprend" pas

Les modèles actuels regardent seulement les pixels (les couleurs et les formes). C'est comme si un peintre regardait une photo de quelqu'un tenant une pomme, mais qu'il ne savait pas que la pomme est solide et que la main doit être autour d'elle, pas dedans. Résultat : la main traverse la pomme.

2. La Solution : CoInteract, l'architecte et le sculpteur

CoInteract est une nouvelle méthode qui donne à l'IA deux outils magiques pour comprendre la physique du monde.

Outil A : Le "Squelette Invisible" (Co-Génération Spatiale)

Imaginez que vous construisez une maison. Avant de peindre les murs et de poser le papier peint (l'apparence), vous devez d'abord construire le squelette en béton armé (la structure).

Comment ça marche : CoInteract entraîne l'IA avec deux flux d'images en même temps :
1. Le flux "Couleur" : La vidéo normale, belle et réaliste.
2. Le flux "Squelette" : Une version simplifiée de la vidéo où l'objet et la personne sont des silhouettes (des ombres chinoises) sans texture. C'est comme un plan d'architecte.
L'analogie : L'IA apprend d'abord à placer correctement les ombres (où la main touche l'objet) sur le plan d'architecte. Une fois qu'elle a compris la géométrie, elle "peint" la vidéo colorée par-dessus.
Le tour de magie : À la fin de l'entraînement, on retire le "plan d'architecte". L'IA a intégré la physique dans sa tête. Quand elle génère la vidéo finale, elle n'a plus besoin du plan, mais elle respecte toujours les règles de la physique (pas de fantômes traversant les murs).

Outil B : Les "Spécialistes du Détail" (MoE Humain)

Les mains et les visages sont les parties les plus difficiles à dessiner pour une IA. C'est comme demander à un peintre généraliste de faire un portrait ultra-réaliste tout en dessinant des montres de précision : il risque de faire des erreurs.

Comment ça marche : CoInteract utilise un système d'experts. Imaginez une équipe où :
- Un expert s'occupe du corps entier.
- Un spécialiste des visages ne s'occupe que des yeux et de la bouche.
- Un spécialiste des mains ne s'occupe que des doigts.
L'analogie : Quand l'IA doit dessiner une main, elle ne demande pas à tout le monde, elle appelle le "Spécialiste des Mains". Ce dernier sait exactement comment articuler les doigts pour qu'ils ne se fondent pas les uns dans les autres. Cela rend les mains et les visages beaucoup plus nets et réalistes, sans alourdir le système.

3. Le Résultat : Une vidéo fluide et logique

Grâce à ces deux astuces, CoInteract produit des vidéos où :

La personne tient vraiment l'objet (pas de traversée fantomatique).
Les doigts bougent naturellement.
Le visage reste reconnaissable.
Tout cela se fait en une seule étape, sans avoir besoin de retoucher la vidéo après coup.

En résumé :
Alors que les autres IA essaient de "deviner" comment tenir un objet en regardant des millions de photos, CoInteract apprend d'abord la géométrie (comme un ingénieur) et utilise des spécialistes (comme un artisan) pour les détails. Le résultat ? Des vidéos de présentateurs virtuels qui semblent vraiment tenir les produits qu'ils montrent, rendant le commerce en ligne et la publicité beaucoup plus réalistes.

1. Problématique

La synthèse vidéo d'interactions humain-objet (HOI) est cruciale pour le commerce électronique, la publicité numérique et le marketing virtuel. Bien que les modèles de diffusion actuels excellent dans le rendu photoréaliste, ils échouent souvent dans deux domaines critiques lors de la génération d'interactions complexes :

Instabilité structurelle : Les régions sensibles comme les mains et les faces subissent souvent des artefacts (doigts fusionnés, traits faciaux flous).
Violation physique : L'absence de contraintes géométriques explicites conduit à des interpenetrations (les mains traversent les objets) et à des poses de préhension irréalistes.

Les approches existantes se divisent en deux catégories limitées :

Génération multi-condition : Nécessite un prétraitement lourd (poses, annotations d'objets par image) qui limite la robustesse et la généralisation.
Génération multi-référence : Offre plus de flexibilité mais manque de mécanismes explicites pour imposer la structure de l'interaction, conduisant à des résultats physiquement plausibles.

Le problème fondamental réside dans la nature centrée sur le "RGB" des modèles de diffusion actuels, qui apprennent des priorités d'apparence sans notion intrinsèque des relations spatiales 3D ou de la topologie du corps.

2. Méthodologie

CoInteract propose un cadre de bout en bout basé sur un Transformateur de Diffusion (DiT) qui intègre des priors structurels humains et des contraintes physiques directement dans le processus de génération. L'architecture repose sur deux piliers techniques principaux :

A. Génération Co-Structurée Spatialement (Spatially-Structured Co-Generation)

Au lieu de générer uniquement une vidéo RVB, le modèle entraîne simultanément deux flux dans un seul backbone partagé :

Flux RVB : Génère l'apparence visuelle standard.
Flux Structure HOI : Génère une représentation structurelle auxiliaire où le corps humain est réduit à une silhouette (ou un maillage projeté) et l'objet conserve son masque, éliminant ainsi les indices d'apparence (textures) pour forcer le modèle à apprendre la géométrie de l'interaction.
Mécanisme d'Attention Asymétrique :
- Entraînement : Un masque d'attention asymétrique est utilisé. Le flux HOI peut voir le flux RVB (pour apprendre la structure à partir de l'apparence), mais le flux RVB ne voit que lui-même. Cela permet au flux HOI de régulariser les poids partagés du backbone via sa fonction de perte.
- Inférence : Le flux HOI est supprimé. Le flux RVB, ayant appris les contraintes géométriques via l'entraînement conjoint, génère la vidéo finale sans coût de calcul supplémentaire (zéro surcharge).

B. Mixture-of-Experts (MoE) Conscient de l'Humain

Pour résoudre les problèmes de haute fréquence dans les mains et les visages :

Un routeur léger (spatialement supervisé par des boîtes englobantes de mains et de visages) dirige les tokens spécifiques vers des experts spécialisés.
Le système comprend un expert "Partagé" (le FFN original du DiT) et trois experts légers dédiés : Tête, Main et Base.
Cela permet d'améliorer la fidélité structurelle des régions critiques sans augmenter massivement le nombre de paramètres.

C. Encodage de Position 3D (3D RoPE)

Pour intégrer harmonieusement les modalités hétérogènes (images de référence statiques, frames de mouvement, flux RVB et HOI), chaque token se voit attribuer des coordonnées 3D $(h, w, t)$ via un encodage de position rotative. Cela permet au modèle de distinguer les références d'identité (placées loin dans le temps) des frames générées et d'aligner les deux flux spatialement.

3. Contributions Clés

Cadre CoInteract : Un framework end-to-end pour la synthèse vidéo HOI pilotée par la parole, intégrant des priors structurels humains et des contraintes de géométrie d'interaction directement dans le DiT, éliminant le besoin de prétraitement ou de post-traitement externe.
MoE Conscient de l'Humain : Une architecture MoE guidée par une supervision spatiale pour traiter spécifiquement les mains et les visages, réduisant les artefacts dans ces zones critiques avec un surcoût minimal en paramètres.
Génération Co-Structurée Asymétrique : Une nouvelle approche d'entraînement dual-stream qui injecte des règles d'interaction physique dans le modèle via un masque d'attention asymétrique, garantissant une plausibilité physique tout en assurant un coût d'inférence nul pour la branche auxiliaire.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données de 12 000 clips haute qualité (40 heures de vidéos de démonstration de produits).

Comparaison Quantitative : CoInteract surpasse les méthodes de l'état de l'art (AnchorCrafter, Phantom, Humo, InteractAvatar, etc.) sur la plupart des métriques.
- Plausibilité HOI : Meilleur score VLM-QA (0.72 vs 0.62 pour le meilleur concurrent), indiquant une meilleure logique d'interaction.
- Qualité des Mains : Meilleur score HQ (Hand Quality) à 0.724, confirmant une stabilité structurelle supérieure.
- Cohérence Temporelle et Identité : Meilleurs scores de cohérence temporelle (Smooth) et de préservation de l'identité (DINOid, FaceSim).
Étude Utilisateur : Dans une étude aveugle avec 24 évaluateurs, CoInteract a obtenu le meilleur classement moyen pour la cohérence des objets, la cohérence humain/fond et, surtout, la plausibilité de l'interaction.
Études d'Abstraction :
- Sans le flux HOI (Co-Gen), la plausibilité de l'interaction chute drastiquement (-33% sur VLM-QA).
- Sans le MoE, la qualité des mains et des visages se dégrade significativement.
- L'approche asymétrique permet d'obtenir des performances proches de celles d'un modèle avec branche HOI complète en inférence, mais avec un coût de calcul 4x inférieur.

5. Signification

CoInteract représente une avancée majeure dans la génération vidéo centrée sur l'humain. En passant d'une génération purement basée sur l'apparence (RGB) à une génération consciente de la structure, le papier démontre qu'il est possible d'enseigner aux modèles de diffusion des règles physiques et géométriques fondamentales sans sacrifier l'efficacité de l'inférence.

Cela ouvre la voie à des applications pratiques robustes dans le e-commerce et la publicité, où la fiabilité des interactions (ne pas traverser les objets, tenir correctement les produits) est aussi importante que le réalisme visuel. La capacité à générer des vidéos complexes avec une seule étape d'inférence et sans prétraitement lourd rend cette technologie particulièrement adaptée à une intégration industrielle à grande échelle.