Résumé technique : MiVE (Caractéristiques vision-langage multi-échelles pour l'édition vidéo guidée par référence)

1. Définition du problème

L'article traite de l'édition vidéo guidée par référence, une tâche qui consiste à générer une séquence vidéo éditée à partir de trois entrées : une vidéo source ($x_{src}$), une instruction textuelle ($x_{text}$) et une image de référence ($x_{ref}$). L'image de référence est généralement la première image de la vidéo source, modifiée via un modèle d'édition d'images externe pour refléter les changements souhaités.

Le défi central réside dans l'équilibre entre deux objectifs concurrents :

1. Propagation fidèle : Le modèle doit propager avec précision les attributs visuels et les changements d'apparence spécifiés dans l'image de référence à travers toutes les images de la vidéo.
2. Préservation de l'intégrité : Le modèle doit maintenir la dynamique de mouvement originale, l'intégrité sémantique et le contenu non édité de la vidéo source, même dans les régions occluses dans l'image de référence.

Les méthodes existantes rencontrent des limites dans la fusion multimodale :

• Encodeurs découplés : Les approches utilisant des encodeurs séparés pour le texte (par exemple, T5) et la vision (par exemple, SigLIP) souffrent de lacunes modales, où l'attention croisée en phase tardive échoue à combler le fossé sémantique entre les instructions et le contenu visuel.
• Encodeurs unifiés avec sortie monocouche : Les modèles vision-langage (VLM) récents utilisés comme encodeurs unifiés (par exemple, Kling O1) reposent généralement uniquement sur les représentations de la dernière couche. Les auteurs observent que cela élimine les détails spatiaux fins essentiels à une édition précise, car les couches profondes encodent la sémantique globale tandis que les couches antérieures capturent les structures spatiales localisées.

2. Méthodologie : MiVE

Les auteurs proposent MiVE, un cadre qui réutilise les VLM comme extracteurs de caractéristiques multi-échelles et les intègre dans un Transformateur de Diffusion (DiT) à auto-attention unifié. L'architecture se compose de trois composants principaux :

A. Extraction de contexte multi-échelle

Motivée par l'observation que les couches des VLM encodent des informations complémentaires de manière hiérarchique, MiVE extrait des caractéristiques à partir de la première et de la dernière couche d'un VLM pré-entraîné (spécifiquement Qwen3-VL-8B).

• Insight diagnostique : Grâce à une analyse de l'attention cross-modale, les auteurs démontrent que les premières couches des VLM localisent précisément les détails spatiaux (par exemple, les silhouettes humaines), tandis que les couches finales capturent la sémantique holistique.
• Implémentation : Les caractéristiques de la première couche ($\phi_1$) et de la dernière couche ($\phi_L$) sont projetées dans l'espace latent du DiT via des adaptateurs légers. Ces caractéristiques multi-niveaux sont concaténées et fusionnées pour créer des tokens conditionnels stationnaires ($c$) qui servent d'ancrage sémantique tout au long du processus de débruitage.

B. Encodage latent sensible à la référence

Pour préserver l'intégrité structurelle tout en ancrant la génération à l'apparence de référence, la méthode encode les entrées visuelles (vidéo source, vidéo cible et image de référence) dans un espace latent partagé utilisant un VAE pré-entraîné.

• Construction de l'entrée : Pendant l'entraînement et l'inférence, le modèle construit une entrée unifiée en concaténant deux branches augmentées temporellement le long de la dimension des canaux : une branche « cible bruitée » et une branche « contrôle ».
• Ancrage : Le latent de référence propre ($z_{ref}$) est préfixé aux deux branches. Cela garantit que le modèle maintient un ancrage d'apparence cohérent tout au long du processus de diffusion, empêchant le style de référence de dériver.

C. Architecture unifiée à auto-attention

Contrairement aux architectures découplées qui fusionnent les modalités via des branches d'attention croisée séparées, MiVE traite tous les tokens — contexte conditionnel ($c$) et tokens latents visuels ($v$) — au sein d'un seul manifold d'auto-attention unifié.

• Mécanisme : Les tokens conditionnels et les tokens visuels sont concaténés en une seule séquence $u^{(0)} = [c; v]$.
• Modulation adaptative : Le modèle emploie une normalisation de couche adaptative par token (AdaLN). Les tokens « propres » (contexte et patches de référence) sont modulés comme entièrement débruités ($t=0$), agissant comme des ancres stables, tandis que les tokens « bruités » (patches vidéo restants) sont modulés selon le pas de temps courant.
• Avantage : Cette conception élimine le décalage modal inhérent aux conceptions à attention croisée, permettant une fusion bidirectionnelle et une intégration profonde des détails spatiaux fins avec le contexte sémantique global au sein d'un espace partagé.

3. Contributions clés

1. Extraction de caractéristiques multi-échelles : L'article identifie et exploite la nature hiérarchique des VLM, en extrayant des caractéristiques complémentaires des couches précoces (spatiales) et tardives (sémantiques) pour résoudre le compromis entre la préservation des détails et le respect des instructions.
2. Architecture unifiée à auto-attention : MiVE introduit une approche de modélisation de tokens unifiée qui traite conjointement les tokens conditionnels et visuels, évitant les limites de l'attention croisée asymétrique et facilitant un meilleur alignement modal.
3. Encodage latent sensible à la référence : La méthode emploie une stratégie spécifique de concaténation latente qui préfixe l'image de référence aux deux branches bruitées et de contrôle, assurant une propagation stable de l'apparence sans nécessiter de masques de segmentation explicites.

4. Résultats expérimentaux

Les auteurs ont évalué MiVE sur un ensemble de référence curaté de 60 vidéos (720p), divisé en un Sous-ensemble Simple (édition localisée) et un Sous-ensemble Complexe (transformations de scène holistiques, mouvements rapides, occlusions).

• Performance quantitative :
  • Évaluation automatisée : En utilisant Gemini-3-Flash sur six dimensions (respect des instructions, cohérence du contenu, fluidité temporelle, réalisme physique, esthétique visuelle, cohérence du style), MiVE a obtenu les scores les plus élevés dans le Sous-ensemble Complexe sur toutes les dimensions et s'est classé premier ou deuxième dans le Sous-ensemble Simple.
  • Préférence humaine : Dans une étude utilisateur avec 30 participants, MiVE s'est classé premier dans la préférence humaine pour les deux sous-ensembles, surpassant les méthodes académiques de pointe (VACE, LucyEdit, VideoCof, Wan-Animate) et le système commercial Kling O1.
• Études d'ablation :
  • Architecture : Le remplacement de l'auto-attention unifiée par des encodeurs découplés ou des mécanismes d'attention croisée a entraîné des baisses de performance significatives, validant la nécessité du manifold unifié.
  • Sélection de couches : L'utilisation exclusive de couches précoces ou de couches tardives a donné des résultats inférieurs par rapport à l'approche combinée « Première + Dernière », confirmant l'avantage de l'extraction multi-échelle.

5. Importance et revendications

L'article revendique que MiVE représente une approche de l'état de l'art pour l'édition vidéo guidée par référence. Son importance réside dans :

• Surmonter les lacunes modales : En unifiant les tokens conditionnels et visuels dans un manifold d'auto-attention, le modèle atteint un raisonnement cross-modal plus profond que les approches précédentes découplées ou basées sur l'attention croisée.
• Équilibrer fidélité et sémantique : La stratégie d'extraction multi-échelle résout avec succès la tension entre la préservation des détails spatiaux fins (essentiels pour l'identité et la texture) et la compréhension des instructions sémantiques globales.
• Applicabilité pratique : La méthode fonctionne sans masques de segmentation explicites, la rendant adaptée à des scénarios d'édition complexes où l'obtention de masques précis est difficile ou impossible.

Les auteurs positionnent MiVE comme une solution robuste pour des applications dans la post-production cinématographique, la création de contenu et les effets visuels, tout en reconnaissant le potentiel de mauvaise utilisation (par exemple, les deepfakes) et en plaidant pour une utilisation responsable et des mécanismes de détection.