Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing

Le papier présente Tele-Omni, un cadre unifié multimodal qui intègre des instructions textuelles, visuelles et vidéo pour générer et éditer des vidéos de haute qualité au sein d'un seul modèle, en découplant l'analyse des instructions de la synthèse vidéo grâce à l'utilisation de modèles de langage multimodaux préentraînés et d'un pipeline de données adaptatif.

L'essentiel

Imaginez que vous êtes un réalisateur de cinéma, mais au lieu d'avoir une équipe de 50 personnes, vous avez un seul assistant ultra-intelligent capable de tout faire : écrire le scénario, choisir les décors, diriger les acteurs et même modifier la scène en cours de tournage.

C'est essentiellement ce que propose Tele-Omni, un nouveau système développé par TeleAI pour créer et modifier des vidéos.

Voici une explication simple, avec des images pour mieux comprendre :

1. Le Problème : Des outils séparés et rigides

Jusqu'à présent, créer une vidéo avec l'IA était comme avoir une boîte à outils où chaque tâche nécessitait un outil différent et spécifique.

• Si vous vouliez créer une vidéo à partir d'un texte, vous utilisiez un outil.
• Si vous vouliez transformer une photo en vidéo, vous en utilisiez un autre.
• Si vous vouliez changer la couleur d'un vêtement dans une vidéo existante, vous deviez utiliser un troisième outil complexe, souvent conçu uniquement pour ça.

C'était comme si vous deviez changer de voiture à chaque fois que vous vouliez aller à la boulangerie, puis à la plage, puis faire des courses. C'était lent, compliqué et peu flexible.

2. La Solution : Tele-Omni, le "Couteau Suisse" de la vidéo

Tele-Omni est un système unifié. C'est un seul cerveau capable de comprendre n'importe quelle demande, peu importe la forme qu'elle prend.

L'analogie du Chef d'Orchestre et du Musicien :
Le système Tele-Omni fonctionne comme un duo parfait entre deux experts :

1. Le Chef d'Orchestre (Le MLLM) : C'est une intelligence artificielle très savante (un grand modèle de langage) qui écoute vos instructions. Vous pouvez lui parler, lui montrer une photo, ou lui donner une vidéo de référence. Il comprend ce que vous voulez (par exemple : "Fais une vidéo de ce chien qui court dans la neige, mais en style cartoon"). Il ne crée pas la vidéo lui-même, il prépare la partition.
2. Le Musicien (Le Générateur Vidéo) : C'est l'artiste qui joue la musique. Il reçoit la partition du Chef et crée la vidéo image par image. Il est très doué pour que le mouvement soit fluide et réaliste.

La magie opère parce que le Chef et le Musicien travaillent ensemble dans la même pièce, sans barrières.

3. Ce que Tele-Omni peut faire (Les Super-Pouvoirs)

Grâce à cette architecture, Tele-Omni peut faire des choses que les anciens systèmes ne pouvaient pas faire facilement, ou alors seulement séparément :

• Le "Texte-à-Vidéo" : Vous écrivez une phrase, et la vidéo apparaît.
• La "Photo-à-Vidéo" : Vous montrez une photo d'un paysage, et vous demandez : "Fais-le bouger", et la vidéo s'anime.
• Le "Début et Fin" : Vous donnez une photo du début et une photo de la fin d'une action (par exemple, une personne assise puis debout), et le système invente tout le mouvement intermédiaire de manière naturelle.
• Le "Montage sur Mesure" : C'est le plus impressionnant. Vous pouvez dire : "Enlève le chapeau de cet homme" ou "Ajoute un chat qui court à côté d'elle". Le système comprend où modifier la vidéo sans tout casser. Il sait distinguer ce qu'il faut garder (le fond, les autres personnes) de ce qu'il faut changer.

4. Comment ça marche ? (La Cuisine des Données)

Pour entraîner ce système, les chercheurs ont dû faire preuve de créativité. Imaginez qu'ils préparent un grand buffet.

• Au lieu de mélanger tous les plats au hasard (ce qui rendrait le chef confus), ils ont organisé les ingrédients par "type de tâche".
• Ils ont créé un langage commun pour que le système comprenne qu'une demande comme "Change la couleur du ciel" (modification) et "Crée un ciel bleu" (création) sont liées.
• Cela permet au système d'apprendre à la fois à créer du vide et à modifier l'existant, tout en gardant une cohérence parfaite (les objets ne disparaissent pas, les mouvements restent fluides).

En résumé

Tele-Omni, c'est comme passer d'une boîte à outils remplie de marteaux, de tournevis et de scies séparés, à une baguette magique unique.

Vous pouvez dire à cette baguette : "Voici une photo de moi, transforme-moi en super-héros volant dans une ville futuriste, mais garde mon visage." Et elle le fait, en comprenant à la fois votre texte, votre image de départ et votre intention de modification, le tout en une seule fois, sans avoir besoin de changer d'outil.

C'est une avancée majeure qui rend la création de vidéos par IA plus naturelle, plus flexible et plus proche de la façon dont les humains imaginent les choses.

Résumé technique

1. Problématique et Contexte

Les récentes avancées dans les modèles de diffusion ont considérablement amélioré la fidélité visuelle et la cohérence temporelle de la génération vidéo. Cependant, l'état de l'art actuel présente plusieurs limitations majeures :

• Spécificité des tâches : La plupart des modèles sont conçus pour une seule tâche (généralement "texte-vidéo") et peinent à gérer des instructions multimodales complexes (images, vidéos de référence).
• Manque d'unification : Les méthodes d'édition vidéo reposent souvent sur des pipelines ingénierés spécifiquement pour chaque opération (remplacement d'objet, modification d'attribut, etc.), ce qui nuit à l'évolutivité et à la capacité de composer plusieurs opérations dans une seule instruction.
• Limites des instructions textuelles : Le texte seul est souvent insuffisant pour spécifier précisément des intentions visuelles complexes (apparence, motifs de mouvement, préférences stylistiques), nécessitant des références visuelles que les modèles actuels ne traitent pas bien de manière unifiée.

L'objectif est donc de créer un cadre unique capable de comprendre des instructions multimodales (texte, images, vidéos) pour effectuer à la fois de la génération et de l'édition vidéo, sans nécessiter d'architectures spécifiques à chaque tâche.

2. Méthodologie : L'Architecture Tele-Omni

Tele-Omni propose une architecture unifiée en deux modules principaux, conçue pour découpler la compréhension des instructions de la synthèse vidéo.

A. Architecture du Modèle

Le système repose sur deux composants clés :

1. Module de Compréhension (MLLM) : Un Grand Modèle de Langage Multimodal (MLLM) pré-entraîné agit comme module de contrôle de haut niveau. Il reçoit des instructions hétérogènes (texte, images, vidéos de référence) et les interprète pour inférer l'intention de génération ou d'édition. Il ne génère pas directement la vidéo mais produit des signaux conditionnels structurés (représentations sémantiques).
2. Module de Synthèse (DiT) : Un Transformateur de Diffusion (DiT) sert de backbone unifié pour la génération et l'édition. Il reçoit les signaux sémantiques du MLLM (via un adaptateur léger) et les conditions visuelles (encodées par un VAE pré-entraîné).
   • Avantage clé : Cette conception évite les goulots d'étranglement informationnels liés à la compression de longues séquences vidéo en tokens sémantiques, permettant un contrôle plus fin et une meilleure préservation de l'information spatiale et temporelle dense.

B. Stratégie de Données et d'Entraînement

Pour entraîner un modèle unique sur des tâches hétérogènes, les auteurs ont conçu un pipeline de traitement de données conscient de la tâche (task-aware) :

• Unification des entrées : Toutes les tâches sont formulées sous forme d'instructions structurées combinant texte et conditions visuelles.
• Deux phases d'entraînement :
  1. Alignement de l'adaptateur : Seule la couche d'adaptation (Adaptor) est optimisée pour connecter les représentations du MLLM au processus de génération vidéo (tâches texte-vidéo et image-vidéo).
  2. Affinement conjoint (Joint Fine-tuning) : L'adaptateur et le DiT sont optimisés conjointement sur un ensemble élargi incluant la génération in-context, l'édition in-context et la génération conditionnée par les premières/dernières images. Le MLLM reste figé.
• Codage Positionnel : Une stratégie de codage positionnel (RoPE 3D) adaptée est utilisée pour distinguer les conditions temporelles (images de référence) des conditions spatiales (vidéos conditionnelles), permettant au modèle de gérer un nombre variable de conditions visuelles.

3. Contributions Clés

1. Cadre Unifié Multimodal : Tele-Omni est le premier cadre capable de gérer de manière unifiée la génération et l'édition vidéo en suivant des instructions multimodales (texte, image, vidéo) au sein d'un seul modèle, sans architectures dédiées par tâche.
2. Découplage Sémantique/Synthèse : En séparant l'analyse des instructions (MLLM) de la synthèse vidéo (DiT), le modèle atteint une flexibilité multimodale tout en maintenant une forte cohérence temporelle et visuelle.
3. Pipeline de Données Innovant : Une méthode systématique pour unifier des tâches diverses (génération, édition, in-context) en un format d'instruction structuré, permettant un entraînement conjoint stable.
4. Capacités Étendues : Le modèle supporte nativement :
   • Texte-vidéo et Image-vidéo.
   • Génération conditionnée par la première et la dernière image (First-Last-Frame).
   • Génération et édition In-Context (utilisation de références visuelles pour guider le contenu).
   • Édition vidéo complexe : suppression/insertion d'objets, modification d'attributs, transfert de style.

4. Résultats Expérimentaux

Les expériences démontrent que Tele-Omni atteint des performances compétitives sur une large gamme de tâches :

• Génération Image-vidéo : Production de vidéos visuellement cohérentes avec des dynamiques de mouvement prononcées (vagues, neige, foules) et sans artefacts de flou.
• Génération First-Last-Frame : Le modèle génère des transitions fluides et plausibles entre deux images fixes, en raisonnant sur l'évolution du mouvement (ex: ruban qui tombe, changements d'occlusion lumineuse) plutôt que par simple interpolation.
• Édition Vidéo :
  • Édition d'entités : Modification de l'apparence tout en préservant l'identité et la cohérence temporelle.
  • Suppression/Insertion : Résultats propres sans artefacts de "fantômes", avec une intégration réaliste dans la scène dynamique.
  • Transfert de style : Adaptation du style global (ex: cyberpunk, dessin animé) tout en conservant la structure de la scène.
• Édition In-Context : Insertion d'objets à des emplacements spécifiques sans masque explicite, avec une stabilité spatiale et temporelle élevée.

5. Signification et Impact

Tele-Omni représente une avancée significative vers des modèles de fondation vidéo véritablement polyvalents.

• Scalabilité : En évitant les pipelines spécifiques à chaque tâche, le modèle est plus facile à étendre à de nouvelles opérations d'édition ou de génération.
• Contrôle Utilisateur : Il permet aux utilisateurs de communiquer des intentions complexes via des références visuelles et textuelles, comblant le fossé entre l'intention humaine et la synthèse vidéo.
• Fondation pour l'Avenir : Ce travail pose les bases pour la prochaine génération d'applications de synthèse vidéo, où la génération et l'édition ne sont plus des processus distincts mais des capacités intégrées d'un même système intelligent.

En résumé, Tele-Omni réussit à unifier la compréhension sémantique avancée des LLM multimodaux avec la puissance de synthèse des modèles de diffusion, offrant un contrôle flexible et une qualité visuelle supérieure pour une variété de scénarios vidéo.