💻 computer science

VicEdit: Learning to Edit Videos from Visual In-Context Examples

Le document présente VicEdit, un cadre unifié qui fait progresser l'édition vidéo en exploitant un nouveau jeu de données à grande échelle (VicEdit-400K) et des techniques novatrices telles que la distillation sémantique adaptative à la modalité et l'injection de double contexte pour intégrer efficacement des exemples visuels contextuels avec des instructions textuelles pour une performance d'édition supérieure.

Auteurs originaux : Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Pendant des années, le rêve du montage vidéo a été de simplement dire à un ordinateur quoi faire. Si vous vouliez changer la couleur d'une voiture dans une scène de film ou remplacer un ciel nuageux par un coucher de soleil, vous pouviez taper une phrase comme « rends le ciel orange », et le logiciel ferait de son mieux. Cette approche, connue sous le nom d'édition basée sur l'instruction, a fait des progrès remarquables. Elle repose sur de puissants modèles d'intelligence artificielle qui comprennent le langage et peuvent générer des images et des vidéos à partir de zéro. Cependant, un problème fondamental demeure : les mots sont souvent trop vagues pour capturer l'aspect et l'ambiance spécifiques d'une scène. Une description textuelle peut dire « voiture rouge », mais elle ne peut pas facilement transmettre la nuance exacte de rouge, la façon dont la lumière frappe le métal, ou le mouvement spécifique du véhicule. Lorsque l'ordinateur essaie de deviner ces détails à partir d'une seule phrase, le résultat semble souvent erroné, avec des couleurs qui dérivent, des objets qui apparaissent au mauvais endroit, ou des mouvements qui semblent rigides et peu naturels.

Pour résoudre cela, des chercheurs ont commencé à explorer une autre façon d'enseigner aux ordinateurs : leur montrer des exemples plutôt que de simplement leur dire. Ce concept, appelé apprentissage en contexte (in-context learning), est similaire à la façon dont un apprenti humain apprend un métier. Au lieu de lire un manuel sur la façon de peindre un mur, l'apprenti regarde un maître peintre appliquer un coup de pinceau spécifique sur une surface donnée. En observant la relation entre le mur original et le résultat final, l'apprenti apprend la technique précise. Dans le monde du montage vidéo, cela signifie fournir à l'ordinateur des références visuelles — telles qu'une image unique, une paire d'images montrant un avant et un après, ou même un court clip vidéo du changement souhaité. Le défi était qu'aucun système unique ne pouvait gérer tous ces différents types d'indices visuels à la fois, et il n'existait pas de vaste collection d'exemples pour enseigner au système comment les utiliser efficacement.

Une équipe de chercheurs a maintenant comblé cette lacune avec un nouveau système appelé VicEdit. Leur travail représente un changement significatif, passant du recours exclusif aux descriptions textuelles à l'utilisation d'exemples visuels comme guide principal pour l'édition. Pour construire ce système, l'équipe a d'abord créé une immense bibliothèque de données d'entraînement. Ils ont généré 400 000 exemples de haute qualité, un ensemble de données qu'ils ont nommé VicEdit-400K. Cette collection est unique car elle couvre dix types différents de tâches d'édition, allant du changement de style d'une scène entière à l'ajout ou la suppression d'objets spécifiques. Crucialement, chaque exemple de cette bibliothèque est associé au type de référence visuelle approprié : une image unique pour les changements de style, une paire d'images pour les changements spatiaux, ou une paire de vidéos pour les mouvements complexes. Cette vaste bibliothèque leur a permis d'enseigner à l'ordinateur comment interpréter les indices visuels avec un niveau de précision que le texte seul ne pourrait jamais atteindre.

Le cœur de leur nouveau système est une méthode qui permet à l'ordinateur d'adapter sa compréhension en fonction du type d'indice visuel reçu. Lorsqu'il voit une image unique, il apprend à se concentrer sur les textures et les couleurs. Lorsqu'il voit une paire d'images, il apprend à comprendre comment les objets passent d'une position à une autre. Lorsqu'il voit une paire de vidéos, il apprend à suivre le flux du temps et du mouvement. Les chercheurs ont conçu un processus qui extrait ces leçons spécifiques des exemples visuels et les combine avec les instructions écrites. Cela garantit que l'ordinateur ne suit pas seulement aveuglément le texte, mais utilise les exemples visuels pour ancrer les changements dans la réalité. Par exemple, si un utilisateur demande de transformer une bouteille d'eau en une galaxie brillante, le texte fournit l'idée, mais un exemple visuel d'une galaxie brillante garantit que l'ordinateur sait exactement à quoi cela ressemble, empêchant ainsi la création d'un résultat générique ou déformé.

Les résultats de cette approche sont frappants. Testé face aux méthodes existantes, le nouveau système produit systématiquement des vidéos de meilleure qualité qui sont plus fidèles à l'intention de l'utilisateur. Dans les tâches où les autres systèmes peinaient à maintenir les objets à la bonne place ou à conserver le bon style, cette nouvelle méthode a réussi. Elle a pu intégrer de manière fluide un nouvel objet dans une scène, changer l'arrière-plan sans déformer le premier plan, ou appliquer des styles artistiques complexes qui paraissaient naturels et cohérents. Le système a prouvé qu'en montrant à l'ordinateur quoi faire, plutôt qu'en lui disant simplement, la qualité du montage s'améliore considérablement. Ce travail établit une nouvelle norme pour le montage vidéo, démontrant que les exemples visuels sont un outil puissant et nécessaire pour guider l'intelligence artificielle. Les chercheurs ont mis leur ensemble de données et leur système à la disposition des autres, ouvrant la porte à des outils de montage vidéo plus précis et créatifs à l'avenir.

Résumé Technique : VicEdit : Apprendre à éditer des vidéos à partir d'exemples visuels en contexte

Énoncé du Problème

L'édition de vidéos pilotée par instructions a progressé de manière significative grâce aux interfaces textuelles, en exploitant les grands modèles de langage (LLM) et les architectures de diffusion. Cependant, les auteurs identent une limitation fondamentale : les instructions textuelles unimodales peinent intrinsèquement à transmettre des textures fines, des transformations spatiales précises et des dynamiques temporelles complexes. Les modèles de référence uniquement textuels souffrent souvent de :

Dérive Stylistique : Les descripteurs linguistiques ne parviennent pas à ancrer précisément des textures ou des styles visuels spécifiques.
Ambiguïté Spatiale : Le texte spécifie ce qu'il faut éditer mais pas où, manquant ainsi des ancres spatiales fournies par les paires d'images.
Dynamiques Statiques : Les motifs de mouvement complexes dans l'édition créative dépassent la capacité linguistique, un fossé non comblé par les travaux de référence existants qui ne supportent généralement que des modalités d'image statique unique.

De plus, les jeux de données et les benchmarks existants sont confinés aux pilotes textuels ou d'image unique, manquant de ressources multimodales à grande échelle nécessaires pour entraîner des modèles capables de raisonnement visuel hétérogène.

Méthodologie : Le Cadre VicEdit

Le papier propose VicEdit, un cadre unifié qui fait passer l'édition de vidéos de la "description" (telling) à la "prescription" (showing) via l'Édition Visuelle en Contexte (Visual In-Context Editing). Ce paradigme accepte des entrées de référence hétérogènes : Images Simples ( $R_{si}$ ), Paires d'Images ( $R_{ip}$ ) et Paires de Vidéos ( $R_{vp}$ ).

1. Curation des Données : VicEdit-400K

Pour soutenir ce paradigme, les auteurs introduisent VicEdit-400K, le premier jeu de données à grande échelle pour l'édition vidéo en contexte visuel.

Échelle et Diversité : Contient 400 000 échantillons de haute qualité répartis sur 10 types de tâches distincts (ex: transfert de style, manipulation d'objets, synthèse spatiotemporelle) et trois modalités de référence.
Pipeline de Construction : Un pipeline automatisé en quatre étapes garantit la qualité :
1. Filtrage des Données Sources : Utilise LAION-Aesthetic et Qwen3-VL pour filtrer la cohérence sémantique et la qualité esthétique.
2. Synthèse d'Instructions : Des MLLM génèrent des instructions sensibles à la modalité, strictement alignées avec les références visuelles.
3. Génération de Références Visuelles : Utilise des modèles génératifs de pointe pour les images et un Graphe de Connaissance Sémantique avec clustering spectral pour les paires de vidéos afin de garantir la fidélité temporelle.
4. Vérification Sémantique : Vérification multidimensionnelle via MLLM pour filtrer le respect des instructions, la cohérence temporelle et l'alignement avec la référence.

2. Architecture du Modèle

VicEdit intègre un Grand Modèle de Langage Multimodal (MLLM) gelé pour la compréhension sémantique avec un Transformeur de Diffusion Vidéo (DiT) pour la génération, connectés par deux modules légers :

Distillation Sémantique Adaptative à la Modalité (MASD) :
- Défi : Les méthodes existantes utilisent des requêtes apprenables fixes, qui ne peuvent pas s'adapter aux différences structurelles entre les modalités (ex: décalages spatiaux dans les paires d'images vs textures globales dans les images simples).
- Solution : MASD module les requêtes de base ( $Q_{base}$ ) avec des plongements spécifiques à la modalité ( $E_m$ ) via un décalage additif : $Q_{vis} = Q_{base} + E_m$ .
- Mécanisme : Cela décompose l'espace de recherche en une variété d'édition commune et des sous-régions spécifiques à la modalité, permettant au modèle de distiller des jetons sémantiques spécifiques à la modalité ( $T_{vis}$ ) à partir des états cachés du MLLM.
Injection de Double Contexte (DCI) :
- Défi : La concaténation des jetons visuels et des instructions textuelles conduit souvent à un désalignement, où la branche textuelle extrait des caractéristiques génériques qui ignorent l'instanciation perceptuelle spécifique fournie par la référence visuelle.
- Solution : DCI introduit un mécanisme de décalage sémantique. Il utilise les requêtes conditionnées par la modalité ( $Q_{vis}$ ) de MASD pour générer un vecteur de décalage ( $\Delta_{inst}$ ) via un MLP léger.
- Mécanisme : Ce décalage calibre les requêtes d'instruction de base ( $Q_{inst}$ ) pour produire des requêtes visuellement conscientes ( $Q'_{inst} = Q_{inst} + \Delta_{inst}$ ). Celles-ci sont ensuite utilisées pour extraire les jetons d'instruction ( $T_{inst}$ ). Enfin, $T_{vis}$ et $T_{inst}$ sont concaténés en jetons de double contexte ( $T_{dual}$ ) et injectés dans le Video DiT via l'attention croisée (cross-attention).

3. Stratégie d'Entraînement

VicEdit est entraîné en trois étapes progressives sur l'architecture de base Wan-TI2V-5B :

Édition de Base : Fine-tuning du DiT sur des tâches pilotées par texte pour établir le respect fondamental des instructions.
Branche en Contexte : Entraînement des modules MASD et DCI (avec le DiT gelé) pour apprendre des plongements de modalité équilibrés et des décalages sémantiques.
Fine-Tuning Conjoint : Dégel du DiT pour optimiser conjointement l'ensemble du pipeline, alignant les signaux de conditionnement visuel avec le processus génératif.

Principales Contributions

Changement de Paradigme : Formulation d'un paradigme unifié d'Édition Vidéo en Contexte Visuel qui exploite des indices sémantiques denses provenant d'images simples, de paires d'images et de paires de vidéos.
VicEdit-400K : Création du premier jeu de données à grande échelle (400 000 échantillons) couvrant trois modalités de référence et dix types de tâches, fournissant une fondation systématique pour l'apprentissage en contexte visuel.
Cadre VicEdit : Une architecture unifiée comprenant la Distillation Sémantique Adaptative à la Modalité (MASD) pour extraire les sémantiques spécifiques à la modalité et l'Injection de Double Contexte (DCI) pour fusionner de manière synergique les contextes visuels et textuels.
VicEdit-Bench : Un protocole d'évaluation standardisé comprenant 200 instances zero-shot pour évaluer rigoureusement le suivi de références hétérogènes.

Résultats Expérimentaux

Des évaluations approfondies ont été menées sur OpenVE-Ext (édition de base) et VicEdit-Bench (édition vidéo en contexte visuel).

Performance Quantitative : VicEdit atteint des performances de l'état de l'art (SOTA) sur tous les indicateurs. Sur VicEdit-Bench, il obtient un score global de 3,45, surpassant la deuxième meilleure méthode (Kiwi-Edit, 2,97) par une marge significative (amélioration relative de 16 %). Il surpasse les modèles de référence uniquement textuels (VACE, Lucy-Edit, DITTO, NovaEdit, VideoCoF) et la référence d'image simple (Kiwi-Edit) sur toutes les sous-tâches, incluant le Style Global, le Changement Local et l'Édition Créative.
Analyse Qualitative : Les comparaisons visuelles démontrent que Vic-Edit résout les problèmes de dérive stylistique, d'ambiguïté spatiale et de dynamiques statiques présents dans les modèles de référence. Par exemple, dans les tâches "local_add", VicEdit gère correctement les relations spatiales et l'échelle, là où les modèles de référence produisent souvent un effondrement structurel ou une mauvaise fusion.
Études d'Ablation :
- MASD : Améliore considérablement la fidélité des détails en distillant de manière adaptative les priors spécifiques à la modalité, évitant le flou sémantique.
- DCI : Crucial pour affiner la précision du respect des instructions en calibrant les requêtes textuelles par rapport au contexte visuel, résolvant ainsi les ambiguïtés du langage naturel.
- Stratégie d'Entraînement : L'approche par phases garantit que le modèle conserve des capacités robustes d'édition de base tout en maîtrisant les tâches complexes en contexte.

Signification et Revendications

L'article affirme que VicEdit établit l'apprentissage en contexte visuel comme un paradigme puissant et contrôlable pour l'édition vidéo. En comblant le fossé perceptuel entre les descriptions textuelles et la réalité visuelle, le cadre permet un contrôle fin que les instructions uniquement textuelles ne peuvent atteindre.

Les auteurs soulignent que leur travail répond aux déficiences systémiques tant au niveau du raisonnement architectural (manque de flexibilité dans les contextes hétérogènes) que des ressources de données (manque de jeux de données multimodaux à grande échelle). Bien que la conception actuelle cible l'édition au niveau sémantique, l'article note que les travaux futurs pourraient explorer la précision au niveau du pixel et l'extension des jeux de données. Le cadre et le jeu de données proposés sont présentés comme une fondation systématique pour faire progresser le domaine de l'instruction descriptive vers la démonstration visuelle prescriptive.