Résumé Technique : Bernini – Planification Sémantique Latente pour la Diffusion Vidéo

1. Énoncé du Problème

Les modèles de langage large multimodaux (MLLM) et les modèles de diffusion ont évolué selon des trajectoires largement indépendantes. Les MLLM excellent dans le raisonnement sémantique, l'interprétation d'instructions complexes et l'ancrage des réponses dans des contextes multimodaux, tandis que les modèles de diffusion (spécifiquement les Transformers de Diffusion ou DiT) sont devenus la norme pour la synthèse d'images et de vidéos photoréalistes. Cependant, l'unification de ces deux familles en un système unique capable à la fois de comprendre l'intention et de générer les sorties souhaitées reste un défi ouvert. Les approches existantes peinent souvent à transférer la compréhension sémantique profonde des MLLM directement vers la génération au niveau des pixels des modèles de diffusion, sans compromettre les forces préentraînées de l'un ou l'autre composant, ou sans nécessiter un entraînement conjoint excessif conduisant à un oubli catastrophique.

2. Méthodologie

Bernini propose un cadre unifié qui découple la planification sémantique du rendu pixelique, en utilisant une simple division du travail :

• Le Planificateur (MLLM) : Gère le raisonnement sémantique et prédit la représentation visuelle cible.
• Le Rendu (DiT) : Synthétise les pixels sur la base d'une guidance sémantique de haut niveau et de caractéristiques visuelles de bas niveau.

2.1 Architecture

Le cadre se compose de deux composants principaux connectés via une interface sémantique dans l'espace d'embedding ViT.

• Planificateur basé sur MLLM :

  • Entrée Unifiée : Le texte, les images sources, les vidéos sources et les sorties cibles sont sérialisés en une séquence de tokens 1D unifiée.
  • Modélisation Générative Masquée : Au lieu de générer des tokens de texte, le planificateur prédit les sémantiques visuelles cibles sous forme d'embeddings ViT denses. Pendant l'entraînement, les tokens cibles sont masqués aléatoirement, et le modèle les infère à partir du contexte. Pendant l'inférence, le modèle affine itérativement la représentation cible, passant de tokens entièrement masqués à une séquence complète.
  • Chaîne de Pensée (CoT) : Le planificateur intègre un mécanisme de CoT, effectuant un raisonnement dans l'espace latent (via un raisonnement texte-soi et vision-texte-soi) avant de produire l'embedding sémantique final. Cela permet au modèle de décomposer des tâches d'édition complexes en états visuels intermédiaires.
  • Décodeur d'Embedding ViT : Un décodeur léger (MLP + tête ResNet) mappe les états cachés du planificateur vers l'espace d'embedding ViT de vérité terrain, entraîné via l'appariement de flux (flow matching).

• Rendu basé sur DiT :

  • Appariement de Flux (Flow Matching) : Le rendu opère dans l'espace latent VAE, effectuant un débruitage par appariement de flux pour synthétiser la vidéo finale.
  • Conditionnement : Il est conditionné par les embeddings sémantiques du planificateur (via une attention croisée), les caractéristiques textuelles et les caractéristiques VAE sources (pour la préservation des détails dans les tâches d'édition).
  • RoPE 3D Sensible aux Segments (SA-3D RoPE) : Pour gérer plusieurs entrées visuelles (par exemple, vidéo source, image de référence, cible) au sein d'une séquence unifiée, Bernini introduit le SA-3D RoPE. Les embeddings de position rotative 3D standards (RoPE) éprouvent des difficultés lorsque des tokens de différents segments partagent les mêmes coordonnées $(t, h, w)$. Le SA-3D RoPE attribue un index de segment unique à chaque entrée visuelle et l'intègre dans le vecteur de fréquence rotative, introduisant une modulation de phase globale dépendante du segment. Cela permet au mécanisme d'attention de distinguer les tokens de différents segments tout en préservant les propriétés de modélisation spatio-temporelle.

2.2 Stratégie d'Entraînement

Bernini emploie un pipeline d'entraînement en trois étapes pour préserver les capacités préentraînées des deux composants tout en les alignant :

1. Étape I (Préentraînement MLLM) : Le planificateur et le décodeur ViT sont entraînés sur un mélange de données texte-vers-image, texte-vers-vidéo et d'édition (paires image/vidéo). L'objectif est de transformer le MLLM en un planificateur sémantique capable d'inférer des représentations visuelles cibles. Une stratégie de ratio de masquage dépendante de la tâche est utilisée pour contrôler la fuite d'information, forçant le planificateur à inférer la sémantique à partir du contexte plutôt que de tokens cibles visibles.
2. Étape II (Préentraînement DiT) : Le rendu est entraîné indépendamment sur un grand mélange de données de génération et d'édition pour assurer une synthèse haute fidélité et une préservation de la source.
3. Étape III (Entraînement Conjoint) : Le planificateur et le rendu sont légèrement co-entraînés. Cette étape aligne la planification sémantique (espace ViT) avec le rendu visuel (espace VAE) sans interférence excessive, permettant au système de traduire le raisonnement multimodal en sorties visuelles fidèles.

2.3 Construction des Données

L'article détaille un pipeline complet de construction de données pour soutenir des tâches diverses :

• Données de Préentraînement : 20 millions de paires de vidéos et 30 millions de paires d'images extraites de corpus généraux et de vidéos tutorielles, filtrées par similarité et annotées avec des prompts denses.
• Données d'Édition : Des données vidéo-vers-vidéo (V2V) de haute qualité sont synthétisées à l'aide de méthodes basées sur la propagation combinées à de puissants modèles d'édition d'images. Un cadre à double branche (Image-vers-Vidéo + Vidéo-vers-Vidéo) est utilisé pour générer des données d'édition conscientes du mouvement, assurant des interactions naturelles humain-objet.
• Données Guidées par Référence : Des pipelines pour Référence-vers-Vidéo (R2V) et Référence+Vidéo-vers-Vidéo (RV2V) assurent la préservation de l'identité (en particulier pour les humains) en puisant les références dans de vrais rushes plutôt que dans des images générées.
• Données Augmentées par Raisonnement : Des données explicites de Chaîne de Pensée sont construites, où les MLLM réécrivent les instructions en prompts intermédiaires structurés ou génèrent des états visuels intermédiaires pour guider le processus d'édition.

3. Contributions Clés

1. Cadre Unifié avec Interface Sémantique Latente : Bernini unifie la génération et l'édition en utilisant l'espace d'embedding ViT natif du MLLM comme pont sémantique vers le générateur de diffusion. Cela permet de transférer directement la compréhension préentraînée vers la génération, permettant une forte généralisation à travers diverses tâches vidéo.
2. Construction de Données Évolutives : Les auteurs ont conçu une suite de pipelines de données produisant un corpus multi-tâches à grande échelle. Cela inclut un préentraînement par paires vidéo/image, des données d'édition de haute qualité basées sur la propagation, des données conscientes du mouvement et des jeux de données augmentés par le raisonnement, répondant à la pénurie de données d'édition vidéo de haute qualité.
3. RoPE 3D Sensible aux Segments : Un mécanisme d'embedding de position novateur qui désambiguïse les tokens visuels de différents segments (source, référence, cible) partageant les mêmes coordonnées spatio-temporelles, crucial pour la gestion d'entrées multimodales.
4. Performances de l'État de l'Art : Bernini obtient des résultats de premier plan sur un large éventail de benchmarks, notamment OpenVE-Bench, OpenS2V-Eval et le nouvellement proposé Bernini-Bench.

4. Résultats Expérimentaux

• Édition Vidéo (Bernini-Bench) : Bernini surpasse des bases solides comme Kling O3 et Wan2.7. Sur le benchmark Bernini-V2V, il obtient un Score Global (OS) de 3,49 (contre 3,30 pour Wan2.7) et démontre une Supériorité de la Cohérence Vidéo (VC), préservant mieux les régions non éditées que ses concurrents. Dans des évaluations humaines côte à côte, Bernini montre des avantages significatifs en termes de cohérence et de suivi des instructions.
• Benchmarks Publics :
  • OpenVE-Bench : Bernini obtient un score global de 4,04, surpassant nettement le précédent meilleur (VINO à 3,18).
  • EditVerse : Atteint le score le plus élevé en qualité d'édition (8,02) et en alignement textuel.
  • FiVE : Atteint les performances de l'état de l'art en préservation de la structure, préservation de l'arrière-plan et précision de l'édition.
• Génération Vidéo :
  • Texte-vers-Vidéo (VBench) : Bernini maintient la qualité de base de son modèle fondation (Wan2.2-A14B), obtenant un score total de 84,64 contre 84,79 pour la base, prouvant que la conception unifiée ne dégrade pas la qualité de génération.
  • Sujet-vers-Vidéo (OpenS2V-Eval) : Bernini obtient le score total le plus élevé (62,94) parmi tous les concurrents. Notamment, il obtient un score FaceSim de 78,20, dépassant la base suivante (Kling O3 à 57,20) de plus de 20 points, démontrant une préservation supérieure de l'identité faciale.
• Études d'Ablation : Les expériences confirment la nécessité de l'interface sémantique ViT, du planificateur MLLM et du SA-3D RoPE. Le retrait du SA-3D RoPE conduit à des artefacts de fuite de référence, tandis que le retrait du planificateur dégrade le suivi des instructions.

5. Signification et Revendications

L'article revendique que Bernini représente une étape significative vers l'unification de la compréhension et de la génération multimodales. En ancrant l'interface dans l'espace d'embedding ViT du MLLM, le cadre permet aux deux composants d'être entraînés largement indépendamment, préservant leurs forces préentraînées respectives (raisonnement pour le MLLM, synthèse pour le DiT) tout en permettant une collaboration efficace.

Les auteurs soulignent que la capacité de Bernini à se généraliser à des tâches d'édition difficiles — telles que le raisonnement causal ("Que se passe-t-il quand il pleut ?"), les changements de focalisation et les changements de mouvement complexes — découle de l'intégration du raisonnement par Chaîne de Pensée et du paradigme de planification sémantique. Le modèle ne se contente pas de mémoriser des transformations, mais apprend une capacité de suivi d'instructions compositionnelle et transférable.

Limitations : Les auteurs notent modestement que Bernini est limité par les capacités de ses modèles fondation sous-jacents (Qwen2.5-VL et Wan2.2). Dans des scénarios complexes, il dépend encore d'un réécriveur LLM externe pour fournir des instructions suffisamment détaillées, suggérant que son raisonnement natif n'est pas encore pleinement suffisant pour les éditions les plus difficiles. De plus, bien qu'il mène en termes de cohérence, sa qualité visuelle brute dans la génération sujet-vers-vidéo reste légèrement en retrait derrière les systèmes propriétaires les plus puissants comme Wan2.7.