DreamVideo-Omni: Omni-Motion Controlled Multi-Subject Video Customization with Latent Identity Reinforcement Learning

Le papier présente DreamVideo-Omni, un cadre unifié qui permet une personnalisation vidéo multi-sujets avec un contrôle omni-mouvement grâce à un paradigme d'entraînement en deux étapes intégrant des mécanismes d'ancrage d'identité et un apprentissage par renforcement basé sur des récompenses d'identité latente pour garantir une préservation fidèle des identités et une précision du mouvement.

L'essentiel

Imaginez que vous êtes un réalisateur de cinéma, mais au lieu d'avoir des acteurs et des décors réels, vous travaillez avec une intelligence artificielle. Jusqu'à présent, cette IA était comme un acteur très doué mais un peu têtu : elle pouvait créer de superbes vidéos, mais si vous lui demandiez de faire bouger deux personnages en même temps tout en gardant leurs visages parfaitement reconnaissables, elle perdait pied. Soit les personnages changeaient de visage, soit ils ne bougeaient pas du tout, soit l'IA les confondait entre eux.

C'est là que DreamVideo-Omni entre en scène. C'est une nouvelle méthode qui agit comme un super-réalisateur capable de gérer des scènes complexes avec une précision chirurgicale.

Voici comment cela fonctionne, expliqué simplement avec des images :

1. Le Problème : Le Chaos de la "Fête de l'Anniversaire"

Imaginez que vous organisez une fête avec plusieurs invités (les sujets) et que vous voulez que chacun fasse une action précise (courir, danser, saluer) tout en restant bien identifiable.

• Les anciennes méthodes étaient comme un DJ qui mettrait la même musique pour tout le monde : les gens bougeaient tous pareil, ou alors l'IA oubliait à quoi ressemblait le petit Paul pour le transformer en petit Pierre.
• Le défi : Faire bouger tout le monde de manière réaliste (globalement et localement) sans qu'ils ne se mélangent ni ne perdent leur identité.

2. La Solution : Le "Carnet de Notes" Intelligent (L'Architecture)

DreamVideo-Omni utilise une approche en deux étapes, comme un apprentissage progressif.

Étape 1 : L'Entraînement avec des "Étiquettes Magiques"
Pour éviter la confusion, le système donne à chaque personnage et chaque mouvement une étiquette unique, comme des badges de conférence.

• Les "Groupes et Rôles" : Imaginez que vous mettez un badge "Groupe A" sur le petit garçon et un badge "Groupe B" sur la petite fille. Le système sait exactement quel mouvement (courir) appartient à quel badge. Plus de confusion !
• La "Carte de Navigation" (RoPE) : C'est comme un GPS 3D qui dit à l'IA : "Toi, tu es le visage, toi, tu es le mouvement de la main, et toi, tu es le décor". Cela permet à l'IA de ne pas mélanger les ingrédients.
• Le "Directeur de Scène" (Injection Hiérarchique) : Au lieu de donner juste une instruction générale, le système donne des ordres précis à chaque niveau de la vidéo (où est le personnage, où va sa main, où va la caméra). C'est comme si le réalisateur disait : "Toi, tu bouges ta main ici, maintenant", plutôt que "Bouge un peu".

Étape 2 : Le "Juge de Goût" (Apprentissage par Récompense)
C'est la partie la plus brillante. Souvent, les IA sont trop rigides : elles copient-collement le visage d'une photo, ce qui donne un effet "froid" et peu naturel.

• DreamVideo-Omni entraîne un Juge Spécial (le modèle de récompense) qui regarde la vidéo en cours de création.
• Ce juge ne dit pas juste "C'est pareil". Il dit : "Oui, c'est bien le même visage, même s'il sourit et tourne la tête, l'essence de la personne est là."
• Si l'IA fait une erreur (un visage qui se déforme), le Juge lui donne une "note négative" et l'IA se corrige immédiatement, sans avoir besoin de tout défaire et refaire. C'est comme un coach qui vous corrige en temps réel pendant que vous jouez au tennis, au lieu de regarder la vidéo après le match.

3. Les Résultats : La Magie Opère

Grâce à cette méthode, DreamVideo-Omni peut :

• Gérer plusieurs personnages : Une scène avec un chien, un enfant et un adulte, chacun faisant sa propre chose, sans que l'enfant ne prenne la tête du chien.
• Contrôler chaque mouvement : Vous pouvez dire "Le chien doit sauter par-dessus la hauche" et "La caméra doit tourner autour d'eux", et l'IA le fait parfaitement.
• Garder l'identité : Même si le personnage fait un grand saut ou tourne la tête, on reconnaît toujours qui c'est.

En Résumé

DreamVideo-Omni, c'est comme passer d'un dessin animé où les personnages sont rigides et confus, à un film d'Hollywood où chaque acteur garde son rôle, son visage et suit parfaitement le scénario, même dans les scènes d'action les plus complexes.

Le plus beau ? Tout cela fonctionne "à la volée" (sans avoir besoin de réentraîner le modèle pour chaque nouvelle vidéo), ce qui rend cette technologie prête à être utilisée pour créer des histoires incroyables, simplement en décrivant ce que l'on veut voir.

Résumé technique

1. Problématique et Contexte

La génération vidéo par des modèles de diffusion à grande échelle a révolutionné le domaine, mais elle fait face à deux défis majeurs non résolus simultanément :

• Préservation de l'identité multi-sujets : Générer des vidéos où plusieurs sujets spécifiques (personnes, objets) conservent leur apparence fidèle tout au long de la séquence.
• Contrôle omni-mouvement : Maîtriser précisément les mouvements à plusieurs niveaux de granularité : mouvement global des objets (position, trajectoire), dynamique locale (mouvements des membres, expressions faciales) et mouvements de caméra.

Les méthodes existantes échouent généralement à combiner ces deux objectifs. Les approches axées sur les sujets manquent de contrôle spatial précis, tandis que les méthodes de contrôle de mouvement échouent souvent à préserver l'identité des sujets ou à gérer plusieurs sujets simultanément. De plus, l'introduction de contrôles de mouvement entraîne souvent une dégradation de l'identité (perte de détails fins) car les objectifs de reconstruction pixelique (pour le mouvement) entrent en conflit avec la cohérence de l'identité statique.

2. Méthodologie : DreamVideo-Omni

Les auteurs proposent DreamVideo-Omni, un cadre unifié basé sur un transformateur vidéo (DiT) entraîné via un paradigme d'apprentissage en deux étapes progressives.

Étape 1 : Affinement Supervisé (SFT) pour l'Omni-Mouvement et l'Identité

Cette étape vise à intégrer des signaux de contrôle hétérogènes dans une architecture unique.

• Entrées de contrôle : Le modèle est conditionné par des triplets structurés : <Sujet de référence, Boîte englobante globale, Trajectoire locale>.
• Injections de signal hiérarchiques :
  • Condition-aware 3D RoPE (Rotary Positional Embedding) : Une adaptation des embeddings de position 3D qui attribue des indices temporels distincts aux différents types de tokens (vidéo, images de référence, trajectoires, remplissage). Cela permet au modèle de distinguer les conditions statiques des dynamiques tout en préservant la structure géométrique.
  • Groupes et Rôles (Group & Role Embeddings) : Pour résoudre l'ambiguïté dans les scènes multi-sujets, des embeddings apprenables lient explicitement chaque mouvement (boîte, trajectoire) à son sujet correspondant (groupe) et définissent la fonction du signal (rôle : apparence vs contrôle).
  • Injection hiérarchique des boîtes (Hierarchical Motion Injection) : Les conditions de boîtes englobantes sont injectées non seulement à l'entrée, mais aussi à chaque bloc du transformateur via des convolutions "zero-conv", renforçant le guidage spatial global.
• Augmentation de données : Des transformations géométriques et visuelles sont appliquées aux images de référence pour éviter les artefacts de type "copier-coller".

Étape 2 : Apprentissage par Récompense d'Identité Latente (Latent Identity Reinforcement Learning)

Pour surmonter la dégradation de l'identité, les auteurs introduisent une boucle de rétroaction basée sur les préférences humaines, opérant directement dans l'espace latent.

• Modèle de Récompense d'Identité Latente (LIRM) : Contrairement aux récompenses basées sur des encodeurs d'images statiques (CLIP, DINO), le LIRM est construit sur un modèle de diffusion vidéo pré-entraîné (VDM). Il évalue la cohérence de l'identité en tenant compte de la dynamique temporelle, pénalisant les artefacts statiques et favorisant la préservation robuste lors de grands mouvements.
• Apprentissage par Rétroaction de Récompense (ReFL) : Le modèle génère des latents intermédiaires qui sont évalués par le LIRM. Les gradients de la récompense sont rétropropagés directement dans l'espace latent, évitant le décodage coûteux en pixels (VAE).
• Objectif d'entraînement : Une combinaison pondérée de la perte de diffusion (SFT) et de la perte de récompense, permettant d'aligner la génération sur les préférences humaines tout en maintenant le contrôle du mouvement.

3. Contributions Clés

1. Cadre Unifié : Première architecture DiT capable de gérer simultanément la personnalisation multi-sujets et le contrôle omni-mouvement (global, local, caméra).
2. Architectures Spécialisées : Introduction des embeddings de groupe/rôle pour désambiguïser les scènes multi-sujets et de l'injection hiérarchique pour un contrôle spatial précis.
3. Apprentissage par Récompense Latente : Un nouveau paradigme utilisant un LIRM basé sur VDM pour optimiser la fidélité de l'identité dans l'espace latent, résolvant le compromis entre mouvement et identité.
4. Ressources de Données et Benchmark :
   • Création d'un jeu de données à grande échelle (2M de clips) avec annotations denses (masques, boîtes, trajectoires).
   • Établissement de DreamOmni Bench, un benchmark de 1 027 vidéos réelles pour évaluer de manière unifiée la conservation de l'identité et la précision du contrôle du mouvement en configuration zero-shot.

4. Résultats Expérimentaux

Les expériences montrent que DreamVideo-Omni surpasse l'état de l'art (SOTA) sur plusieurs benchmarks (DreamOmni Bench, MSRVTT-Personalization Bench) :

• Fidélité de l'identité : Amélioration significative des métriques R-DINO, R-CLIP et Face-Similarity, notamment dans les scénarios multi-sujets complexes où les méthodes précédentes échouent (mélange d'identités, perte de détails).
• Précision du mouvement : Réduction drastique de l'erreur de point final (EPE) et augmentation de l'IoU moyen (mIoU) par rapport aux méthodes de contrôle de trajectoire existantes (comme Wan-Move ou Tora2).
• Efficacité des paramètres : Le modèle (1.3B de paramètres) dépasse des modèles beaucoup plus grands (14B comme Wan-Move) en termes de contrôle et de qualité.
• Études utilisateurs : Une préférence utilisateur écrasante (>80% dans la plupart des catégories) pour la qualité globale, la fidélité du sujet et la cohérence du mouvement.
• Capacités émergentes : Le modèle permet la génération Image-to-Video (I2V) et le contrôle de trajectoire conditionné par la première image sans fine-tuning spécifique, grâce à la généralisation du cadre d'entraînement.

5. Signification et Impact

DreamVideo-Omni représente une avancée majeure dans la génération vidéo contrôlée. En résolvant le conflit fondamental entre la préservation de l'identité et le contrôle dynamique complexe, il ouvre la voie à des applications réalistes et personnalisées (cinéma, publicité, jeux vidéo). L'approche par récompense latente offre une nouvelle voie pour aligner les modèles de diffusion vidéo sur les préférences humaines sans le coût computationnel prohibitif du décodage pixelique. La création de DreamOmni Bench comble également un vide critique dans l'évaluation standardisée de ces tâches complexes.