Target-Aware Video Diffusion Models

Les auteurs proposent un modèle de diffusion vidéo ciblé capable de générer des vidéos où un acteur interagit avec un objet spécifique défini par un masque de segmentation, en intégrant ce masque dans le prompt textuel et en affinant l'entraînement via une perte d'attention croisée pour garantir la précision des interactions humain-objet.

L'essentiel

🎬 Le Problème : Le Cinéaste qui ne comprend pas vos ordres

Imaginez que vous avez un réalisateur de cinéma génial, capable de créer des vidéos incroyables à partir d'une simple phrase. C'est ce qu'on appelle les modèles de "diffusion vidéo" (comme CogVideoX).

Mais ce réalisateur a un petit défaut : il est un peu têtu et ne comprend pas toujours quel objet vous voulez qu'il touche.

• Si vous lui dites : "L'homme prend la tasse", il peut prendre la tasse rouge, la tasse bleue, ou même inventer une tasse qui n'existe pas dans la scène.
• Il agit comme un acteur qui improvise : il fait ce qu'il veut, pas forcément ce que vous voulez.

Les chercheurs de l'Université de Séoul (Taeksoo Kim et Hanbyul Joo) ont voulu réparer ça. Ils ont créé un nouveau modèle qu'ils appellent "Target-Aware" (Conscient de la cible).

🎯 La Solution : Le "Pointeur Magique" et le "Mot Secret"

Pour apprendre à ce réalisateur à viser juste, ils ont utilisé deux astuces principales, comme dans un jeu de rôle :

1. Le Pointeur Magique (Le Masque)

Au lieu de juste donner une photo de départ, vous pouvez maintenant dessiner un cercle (ou un masque) autour de l'objet précis que vous voulez toucher.

• Analogie : C'est comme si vous montriez du doigt l'objet sur la photo en disant : "Non, c'est celui-là que je veux, pas l'autre !"
• Le modèle accepte cette photo avec le cercle comme un guide supplémentaire.

2. Le Mot Secret (Le Token [TGT])

C'est ici que ça devient astucieux. Dans la phrase que vous écrivez (le "prompt"), ils ajoutent un mot spécial : [TGT] (pour Target, Cible).

• Au lieu d'écrire "L'homme prend la tasse", on écrit "L'homme prend le [TGT] objet".
• Ce mot [TGT] agit comme un aimant. Grâce à une technique spéciale d'apprentissage, le modèle apprend que ce mot aimanté doit toujours "coller" au cercle que vous avez dessiné.

🧠 L'Entraînement : Apprendre à regarder les bons endroits

Pour que ce système fonctionne, les chercheurs n'ont pas juste donné des vidéos au modèle. Ils ont créé un professeur de mathématiques très strict.

Imaginez que le modèle est un étudiant qui dessine.

• L'erreur habituelle : L'étudiant regarde le mot "tasse" et dessine une tasse n'importe où.
• La correction du professeur : Le professeur utilise une pénalité spéciale (une "perte de croix-attention"). Si l'étudiant regarde le mot [TGT] mais ne regarde pas le cercle sur la photo, le professeur lui dit : "Non ! Regarde le mot [TGT] et regarde le cercle en même temps. Ils doivent être liés !".

Ils ont même été très précis : ils ont appris au modèle à faire cela uniquement dans les "cerveaux" (les couches du modèle) qui sont les plus intelligents pour comprendre le sens, pour ne pas perdre de temps ni d'énergie.

🚀 À quoi ça sert dans la vraie vie ?

Ce n'est pas juste pour faire de jolies vidéos. C'est un outil de planification de mouvement. Voici deux exemples concrets :

1. Pour les Robots (Le "Jumeau Numérique") :
   Imaginez un robot qui doit apprendre à faire le café. Au lieu de programmer chaque mouvement à la main, on utilise ce modèle pour générer une vidéo d'un humain qui prend la tasse. Le robot regarde cette vidéo et apprend à faire le même mouvement de manière réaliste. C'est comme donner un tutoriel vidéo au robot, et le robot comprend exactement quel objet saisir.

2. Pour les Créateurs de Contenu (Le "Monteur Automatique") :
   Vous voulez faire une vidéo où un personnage traverse une pièce et s'assoit sur un fauteuil spécifique. Avec ce modèle, vous dessinez juste le fauteuil, vous dites "s'asseoir", et la vidéo se génère toute seule, avec le personnage qui vise le bon fauteuil, même s'il y en a trois dans la pièce.

🌟 En Résumé

Ce papier présente un super-pouvoir pour les IA vidéo : la capacité de dire "Fais ça, mais avec CET objet précis".

• Avant : L'IA devinait l'objet (souvent mal).
• Maintenant : Vous lui donnez un pointeur (le masque) et un mot-clé ([TGT]), et elle agit avec une précision chirurgicale.

C'est comme passer d'un réalisateur qui improvise tout le temps à un réalisateur qui lit votre scénario mot à mot et qui sait exactement quel accessoire utiliser à chaque scène. 🎬✨

Résumé technique

1. Problématique

Les modèles de diffusion vidéo actuels (Image-to-Video) sont capables de générer des vidéos réalistes à partir d'une image et d'un prompt textuel. Cependant, ils souffrent d'un manque de conscience de la cible (target-awareness). Lorsqu'un utilisateur demande à un acteur d'interagir avec un objet spécifique (par exemple, "la personne prend la tasse bleue"), le modèle a tendance à :

• Halluciner un objet qui n'existe pas dans la scène initiale.
• Interagir avec le mauvais objet si plusieurs objets similaires sont présents.
• Ne pas respecter la localisation spatiale précise de l'objet cible.

Les méthodes existantes pour contrôler les interactions (cartes de profondeur, flux optique, trajectoires de mouvement) nécessitent des entrées denses et complexes, ou ne permettent pas d'inférer des interactions plausibles sans guidance de mouvement explicite. L'objectif est de transformer les modèles de génération vidéo en planificateurs de mouvement capables d'inférer des interactions réalistes entre un acteur et un objet désigné, en utilisant uniquement un masque de segmentation simple et un prompt textuel.

2. Méthodologie

Les auteurs proposent un modèle de diffusion vidéo conscient de la cible basé sur l'extension de CogVideoX (un modèle de diffusion Transformer). L'approche repose sur quatre piliers techniques :

A. Injection du Masque de Cible

Le modèle de base (Image-to-Video) est étendu pour accepter un masque de segmentation binaire de l'objet cible comme entrée supplémentaire.

• Le masque est redimensionné et concaténé avec l'encodage latent de l'image d'entrée (pour la première image) et le bruit latent pour les images suivantes.
• Une couche de projection d'image est étendue pour intégrer ce canal supplémentaire, avec des poids initialisés à zéro pour préserver les connaissances pré-entraînées.

B. Token Spécial et Alignement par Attention Croisée

Pour lier l'information spatiale du masque au texte, une phrase générique est ajoutée au prompt : "The person interacts with [TGT] object.", où [TGT] est un token spécial.

• Perte d'Attention Croisée (Cross-Attention Loss) : Pendant le fine-tuning, une perte supplémentaire ($\mathcal{L}_{attn}$) est appliquée pour aligner la carte d'attention croisée associée au token [TGT] avec le masque de la cible fourni en entrée.
• Cela force le modèle à associer le token sémantique [TGT] à la région spatiale spécifique définie par le masque, agissant comme un mécanisme de "grounding" spatial.

C. Sélection Stratégique de l'Apprentissage

Pour une efficacité maximale et une économie de mémoire (VRAM), la perte d'attention croisée n'est pas appliquée uniformément :

• Régions d'attention : La perte est appliquée uniquement sur les régions Video-to-Text (V2T) de l'attention croisée. Les auteurs démontrent que cette région influence directement les représentations latentes vidéo, contrairement à la région Text-to-Video (T2V).
• Blocs Transformer : La perte est appliquée sélectivement aux blocs transformer (de la 5e à la 23e couche) qui capturent le mieux les détails sémantiques, identifiés par une analyse d'alignement préalable.

D. Dataset Curated

Un jeu de données spécifique a été créé à partir des datasets BEHAVE et Ego-Exo4D. Il contient des vidéos où un acteur interagit avec un objet cible, annotées avec un masque de la cible sur la première image et des prompts textuels générés automatiquement.

3. Contributions Clés

1. Modèle Vidéo Conscient de la Cible : Premier cadre de diffusion vidéo capable de générer des interactions précises entre un acteur et un objet désigné via un masque de segmentation et un prompt.
2. Mécanisme d'Alignement par Perte d'Attention : Proposition d'une perte d'attention croisée ciblée pour forcer l'association spatiale entre un token textuel et un masque, sans nécessiter de modules de contrôle externes lourds.
3. Nouveau Dataset et Benchmark : Création d'un ensemble de données et d'un benchmark dédié pour évaluer l'alignement cible-acteur, comblant un vide dans la littérature.
4. Applications en Aval : Démonstration de l'efficacité du modèle pour la synthèse de mouvements 3D HOI (Human-Object Interaction) en zero-shot (avec plausibilité physique) et la création de contenu vidéo long terme.

4. Résultats Expérimentaux

Les résultats montrent une supériorité nette par rapport aux modèles de base (CogVideoX) et aux méthodes de contrôle existantes (modulation d'attention, méthodes basées sur le "drag").

• Alignement Cible (Contact Score) : Le modèle atteint un score de 0.878, contre 0.560 pour CogVideoX standard et 0.638 pour une version fine-tunée sans la perte d'attention. Cela signifie que l'acteur interagit physiquement avec le bon objet dans la grande majorité des cas.
• Qualité Vidéo : Le modèle maintient une qualité de génération comparable aux baselines (scores VBench similaires), prouvant que l'ajout de la contrainte de cible ne dégrade pas la cohérence temporelle ou l'esthétique.
• Robustesse :
  • Le modèle fonctionne même avec des masques de segmentation imparfaits (dilatés ou érodés).
  • Il généralise à des acteurs non-humains (animaux, bras robotiques) bien qu'entraîné uniquement sur des interactions humaines.
  • Il gère correctement les scènes avec multiples objets identiques en ciblant spécifiquement celui désigné par le masque.
• Applications :
  • HOI 3D Zero-Shot : Les vidéos générées servent de données d'entraînement pour l'apprentissage par imitation physique, permettant à des agents robotiques d'exécuter des interactions plausibles dans Isaac Gym.
  • Création de Contenu : Génération de vidéos longues combinant navigation et interactions avec des objets, nécessitant une intervention utilisateur minimale.

5. Signification et Impact

Cet article marque une avancée significative vers la réalisation de modèles du monde (world models) pour la robotique et la planification de mouvement. En permettant aux modèles de diffusion vidéo de comprendre et d'exécuter des interactions dirigées vers des objets spécifiques sans guidance de mouvement explicite, il ouvre la voie à :

• La génération automatique de données d'entraînement pour la robotique (sim-to-real).
• Des outils de création vidéo plus intuitifs où l'utilisateur désigne simplement "quoi" et "où", laissant au modèle le soin d'inférer "comment".
• Une meilleure compréhension des relations spatiales et sémantiques dans les modèles génératifs multimodaux.

En résumé, cette méthode transforme la génération vidéo d'une tâche purement créative en un outil de planification d'actions physiques, comblant le fossé entre la synthèse visuelle et l'interaction physique réelle.