Kaleido: Open-Sourced Multi-Subject Reference Video Generation Model

Kaleido est un modèle de génération vidéo open-source qui surpasse les méthodes existantes en matière de cohérence multi-sujets et de fidélité aux références grâce à une nouvelle chaîne de construction de données et à l'introduction d'un encodage positionnel rotatif dédié (R-RoPE) pour l'intégration stable de multiples images de référence.

L'essentiel

🎬 Kaleido : Le Magicien qui donne vie aux souvenirs

Imaginez que vous avez une boîte de photos magiques. Vous y voyez un chien, une personne, ou un jouet. Avec les anciennes technologies, si vous demandiez à une intelligence artificielle de faire une vidéo de ce chien, elle avait souvent deux gros problèmes :

1. Elle copiait tout bêtement : Si le chien était sur une photo avec un fond de cuisine, la vidéo montrait le chien dans la cuisine, même si vous vouliez qu'il soit sur une plage.
2. Elle se perdait : Si vous lui montriez deux photos (un chien et un chat), elle mélangeait les deux et créait une créature bizarre, ou elle oubliait à quoi ressemblait le chat au bout de 5 secondes.

Kaleido, c'est le nouveau super-héros du monde de la vidéo générative (et c'est gratuit, car le code est ouvert à tous !). Son but est simple : créer des vidéos fluides et réalistes où le personnage principal reste exactement le même, peu importe le décor ou l'action.

Voici comment il fonctionne, en utilisant des analogies du quotidien :

1. L'Entraînement : Le Chef qui apprend à cuisiner sans recette (La Construction des Données)

Pour qu'un chef cuisinier apprenne à faire un plat parfait, il ne suffit pas de lui donner des photos de plats finis. Il faut lui apprendre à distinguer l'ingrédient principal du plat.

• Le problème des anciens modèles : Ils apprenaient avec des "recettes" imparfaites. Si on leur montrait une photo d'un chat sur un tapis, ils pensaient que le chat était le tapis. Résultat : dans la vidéo, le chat restait collé au tapis.
• La solution Kaleido : Les chercheurs ont créé une "école" spéciale pour leur modèle. Ils ont pris des milliers de vidéos, découpé les personnages (comme si on les découpait au ciseaux pour les sortir du fond), et mélangé les pièces !
  • Ils ont pris la tête du chat de la photo A et l'ont mise sur le corps du chat de la photo B.
  • Ils ont mis le chat sur un fond de forêt, puis sur un fond de ville.
  • L'analogie : C'est comme si on apprenait à un acteur à jouer son rôle dans n'importe quel décor, sans qu'il soit influencé par le décor de la photo originale. Cela force le modèle à comprendre : "Ah, c'est le chat qui est important, pas le tapis !".

2. La Magie des Positions : Le Système de GPS (R-RoPE)

Une fois le modèle entraîné, il faut lui dire comment utiliser les photos de référence pour faire la vidéo.

• Le problème : Imaginez que vous donnez à un ami 3 photos et une instruction. Si vous les empilez simplement, il risque de penser que les photos sont des images qui défilent dans le temps (comme un film), et il va essayer de les faire bouger les unes après les autres. Résultat : le chien devient un chat, ou les deux se superposent.
• La solution Kaleido (R-RoPE) : Les chercheurs ont inventé un nouveau système de "GPS" pour les photos.
  • Pour les images de la vidéo, le GPS dit : "C'est le moment T, à la position X, Y".
  • Pour les photos de référence, le GPS dit : "Attention ! Ce n'est pas du temps, c'est une référence ! Je vous place dans une zone spéciale, loin du temps, avec un code spécial."
  • L'analogie : C'est comme si vous aviez un tableau blanc. Les images de la vidéo sont des post-it qui bougent. Les photos de référence sont des photos encadrées accrochées au mur. Le modèle sait exactement : "Je regarde le mur pour savoir à quoi ressemble le personnage, mais je dessine l'action sur le tableau." Cela évite la confusion.

3. Le Résultat : Un Cinéma de poche

Grâce à ces deux astuces (l'école spéciale et le GPS), Kaleido fait des merveilles :

• La fidélité : Si vous montrez une photo d'une femme avec des boucles d'oreilles dorées, elle les aura dans la vidéo, même si elle court ou danse.
• La séparation : Si vous voulez qu'elle soit dans un sous-marin, elle sera dans un sous-marin, sans les meubles de la photo originale.
• Le multi-sujet : Vous pouvez montrer un homme et un chien, et ils joueront ensemble sans se transformer en un monstre à deux têtes.

En résumé

Kaleido, c'est comme donner à un réalisateur de cinéma un super-pouvoir : la capacité de prendre n'importe quel personnage (réel ou imaginaire), de le sortir de son contexte original, et de le faire vivre dans une histoire nouvelle, tout en gardant son visage et ses détails parfaitement intacts.

Et le meilleur ? Contrairement aux géants fermés (comme Kling ou Vidu), Kaleido est ouvert. C'est comme si les chercheurs avaient ouvert les portes de leur laboratoire pour que tout le monde puisse utiliser cette magie pour créer ses propres films. 🎥✨

Résumé technique

Résumé Technique : KALEIDO - Génération Vidéo Multi-Sujets par Référence

1. Problématique

Le domaine de la génération vidéo a connu des avancées rapides, notamment avec les modèles Text-to-Video (T2V) et Image-to-Video (I2V). Cependant, la tâche de Subject-to-Video (S2V) – qui consiste à générer une vidéo cohérente d'un sujet spécifique (humain, objet, arrière-plan) à partir de plusieurs images de référence et d'un prompt textuel – reste un défi majeur, en particulier dans le domaine open-source.

Les modèles existants souffrent de deux limitations critiques :

1. Incohérence multi-sujets et fidélité réduite : Ils peinent à maintenir l'identité visuelle des sujets lorsqu'ils sont conditionnés par plusieurs images, entraînant souvent une "dérive sémantique" ou une confusion entre les sujets.
2. Manque de désentanglement (découplage) sujet/arrière-plan : Les modèles ont tendance à copier l'arrière-plan des images de référence dans la vidéo générée, au lieu de générer un nouvel arrière-plan contrôlé par le texte tout en conservant le sujet. Cela est dû à des données d'entraînement de qualité insuffisante et à des stratégies de conditionnement sous-optimales.

2. Méthodologie

Kaleido propose une approche complète combinant une nouvelle pipeline de construction de données et une architecture de modèle améliorée.

A. Pipeline de Construction de Données (Dataset Construction)

Pour surmonter le manque de données de haute qualité et diversifiées, les auteurs ont développé un pipeline multi-étapes automatisé :

• Prétraitement et Captioning : Découpage de vidéos brutes en clips et génération automatique de descriptions textuelles.
• Définition des catégories et Identification : Utilisation d'une taxonomie de plus de 100 catégories de sujets pour identifier les entités pertinentes.
• Ancrage et Segmentation : Combinaison de Grounding DINO (pour la localisation sémantique) et de SAM (Segment Anything Model) pour une segmentation précise des sujets.
• Filtrage Rigoureux : Élimination des échantillons de mauvaise qualité (flous, trop petits/grands), vérification de l'alignement texte-image via CLIP, et filtrage des visages humains pour garantir l'identité.
• Désentanglement par Inpainting : Une étape clé où l'arrière-plan des images de référence est supprimé (inpainting) pour forcer le modèle à apprendre à reconstruire le sujet indépendamment de son contexte original.
• Augmentation par Croisement (Cross-Paired Data) : Création de paires "croisées" où le sujet d'une image est associé à un arrière-plan ou un contexte différent, renforçant la capacité du modèle à généraliser le sujet sans les artefacts de fond.
• Enrichissement de la Pose : Utilisation de modèles de diffusion (Flux Redux) pour générer de nouvelles poses et mouvements, évitant le surapprentissage à la similarité de frame.

B. Architecture du Modèle et Injection de Condition

Le modèle est basé sur un transformateur de diffusion (DiT) et utilise une stratégie d'injection de condition simple mais efficace :

• Concaténation Simple : Les images de référence et le bruit vidéo sont concaténés le long de la dimension de séquence, évitant la complexité des modules adapter coûteux.
• R-RoPE (Reference Rotary Positional Encoding) : C'est l'innovation centrale. Pour éviter que le modèle ne confonde les tokens d'images de référence avec des frames vidéo consécutives, les auteurs modifient le codage de position rotatif (RoPE) :
  • Les tokens vidéo utilisent un encodage 3D standard $(t, h, w)$.
  • Les tokens d'images de référence reçoivent un décalage spatial $(H_{max}, W_{max})$ et un index temporel individuel.
  • Cela permet au modèle de distinguer clairement les rôles des images de référence et des frames vidéo, assurant une intégration stable et précise de multiples références.

3. Contributions Clés

1. Pipeline de Données Unifié : Une méthode scalable pour générer des données d'entraînement S2V de haute qualité, désengagées du fond et riches en diversité, incluant des échantillons "cross-paired".
2. Mécanisme R-RoPE : Une nouvelle technique de codage de position qui permet l'intégration stable de multiples images de référence sans perturber la cohérence temporelle de la vidéo.
3. Modèle Open-Source SOTA : Kaleido atteint des performances comparables aux modèles propriétaires fermés (comme Kling ou Vidu) tout en restant open-source, comblant ainsi l'écart de performance entre les deux mondes.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des benchmarks couvrant des humains, des animaux, des objets et des arrière-plans, avec des métriques quantitatives et une étude utilisateur.

• Métriques Quantitatives (Tableau 1) :
  • Consistance du Sujet (S2V Consistency) : Kaleido obtient le score le plus élevé (0.723), surpassant les modèles open-source (VACE, Phantom) et se rapprochant des modèles fermés (Vidu, Kling).
  • Désentanglement (S2V Decoupling) : Avec un score de 0.319, Kaleido démontre une capacité supérieure à séparer le sujet de l'arrière-plan par rapport aux autres méthodes.
  • Qualité Esthétique et Fluidité : Les scores sont compétitifs avec les modèles de pointe, notamment en termes de qualité d'image et de fluidité du mouvement.
• Similarité Faciale : Sur un sous-ensemble humain, Kaleido obtient une similarité faciale moyenne de 0.504, surpassant VACE et Phantom, et dépassant légèrement Kling (modèle fermé).
• Étude Utilisateur (Figure 2) : Les évaluateurs humains préfèrent systématiquement Kaleido par rapport aux modèles open-source et fermés en termes de qualité vidéo, d'alignement avec le prompt et de consistance du sujet.
• Résultats Qualitatifs : Les comparaisons montrent que Kaleido évite les artefacts courants (comme la duplication de sujets ou l'inclusion d'éléments de fond indésirables) observés chez VACE ou Phantom.

5. Signification et Impact

Kaleido représente une avancée majeure pour la communauté open-source en matière de génération vidéo.

• Démocratisation : Il prouve qu'avec des stratégies de données rigoureuses et des améliorations architecturales ciblées (comme R-RoPE), les modèles open-source peuvent rivaliser avec les géants propriétaires.
• Applications Pratiques : La capacité à générer des vidéos cohérentes avec un contrôle précis du sujet et de l'arrière-plan ouvre de nouvelles perspectives pour le e-commerce, la publicité, le cinéma et la création de contenu personnalisé.
• Ressources Communautaires : Les auteurs ont décidé d'open-sourcer non seulement le modèle entraîné, mais aussi le pipeline de construction de données, offrant une base solide pour la recherche future sur la génération vidéo conditionnée par des sujets.

En conclusion, Kaleido résout efficacement les problèmes de fidélité multi-sujets et de désentanglement fond-sujet, établissant un nouvel état de l'art (SOTA) pour la génération vidéo open-source.