💻 computer science

InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter

Le document introduit InfinityEdit, un adaptateur léger pour les générateurs de vidéos préentraînés qui permet une édition illimitée, basée sur des instructions, de vidéos en flux continu en assurant une continuité temporelle fidèle et une qualité de génération stable à travers une séquence infinie de demandes d'édition.

Auteurs originaux : Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Publié 2026-08-24

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez la diffusion en direct d'un match de football et que, soudainement, vous souhaitiez que tout le stade ressemble à une peinture à l'aquarelle, ou que la caméra plonge brusquement du ciel pour suivre le ballon. Dans le monde de l'intelligence artificielle, créer de tels changements est généralement un processus rigide. Les outils actuels peuvent prendre un court clip vidéo terminé et le modifier, mais ils traitent le clip comme une boîte fermée. Ils peuvent réécrire ce qui s'y trouve déjà, mais ils ne peuvent pas facilement anticiper le futur pour changer ce qui va se passer ensuite. Si la vidéo continue de jouer, les anciennes règles cessent de fonctionner et le nouveau style ou l'angle de caméra disparaissent. Cette limitation rend difficile l'édition de flux en direct ou de scènes continues où l'histoire est encore en train de se dérouler.

Une équipe de chercheurs a abordé ce problème en développant une nouvelle façon d'éditer des vidéos qui ne s'arrêtent jamais. Ils appellent leur approche « l'édition vidéo infinie ». Au lieu de forcer une vidéo à entrer dans un créneau temporel fixe, leur méthode permet à une intelligence artificielle d'appliquer un changement — comme un nouveau style visuel ou un mouvement de caméra — puis de continuer à générer de nouvelles images qui prolongent naturellement ce changement indéfiniment. Le système ne se contente pas de réécrire le passé ; il apprend à porter l'édition vers le futur, garantissant que la vidéo reste cohérente et de haute qualité même lorsque de nouvelles instructions arrivent les unes après les autres.

Les chercheurs ont commencé par reconnaître que les éditeurs vidéo existants opèrent sur une hypothèse simple : la vidéo est déjà terminée. Ils prennent un clip source et produisent une version éditée de la même longueur exacte. Cela fonctionne bien pour les courts métrages ou les publications sur les réseaux sociaux, mais cela échoue lorsqu'il s'agit d'une vidéo continue, comme un match en direct ou un flux de caméra de surveillance. Dans ces situations, la vidéo continue de croître. Si vous voulez changer le style des images à la moitié du processus, l'édition doit s'étendre à chaque nouvelle image qui apparaît. Les anciennes méthodes ne peuvent pas le faire car elles sont conçues pour regarder en arrière vers un clip statique, et non vers l'avant vers un flux ouvert.

Pour résoudre cela, l'équipe a d'abord construit un moyen d'enseigner aux ordinateurs comment gérer ce défi spécifique. Ils ont créé une vaste collection d'exemples d'entraînement. Ils ont pris des vidéos existantes et les ont associées à des instructions sur la façon de les modifier, telles que « fais que cela ressemble à une bande dessinée » ou « déplace la caméra vers le bas ». Crucialement, ils n'ont pas seulement demandé à l'ordinateur de modifier les images existantes. Ils ont généré de nouveaux segments vidéo qui continuaient à partir des séquences originales tout en appliquant le changement demandé. Cela a appris au système qu'une édition n'est pas seulement un filtre appliqué à un instantané, mais une nouvelle direction que prend l'histoire. Ils ont soigneusement filtré ces données pour s'assurer que les nouveaux segments vidéo paraissaient réalistes et que les changements étaient appliqués correctement sans briser le flux de la scène.

Avec ces données en main, ils ont introduit un nouveau système appelé InfinityEdit. Ce système fonctionne en attachant un « adaptateur » petit et léger à un puissant générateur de vidéo qui est déjà très performant pour créer de longues vidéos. Imaginez que le générateur principal soit un artiste talentueux capable de dessiner un flux continu d'images, et l'adaptateur soit un pinceau spécial capable de changer le style du dessin à la volée. Le générateur principal reste figé, ce qui signifie que sa connaissance fondamentale de la création de vidéos stables et de haute qualité n'est jamais altérée. L'adaptateur est la seule partie qui apprend. Il se situe entre le générateur et les instructions de l'utilisateur, prêt à intervenir uniquement lorsqu'une nouvelle demande d'édition arrive.

Lorsqu'un utilisateur envoie une instruction, l'adaptateur s'active pour un seul segment court de la vidéo. Il prend l'instruction et l'historique récent de la vidéo, puis génère un nouveau bloc d'images qui applique le changement. Ce nouveau bloc agit comme un pont. Une fois ce premier segment édité créé, l'adaptateur s'éteint et le générateur principal reprend le relais. Comme le générateur principal considère désormais les images nouvellement éditées comme son historique, il continue naturellement la vidéo dans le nouveau style ou avec le nouvel angle de caméra. L'édition a été « allumée », et le système la porte automatiquement vers l'avant. Ce processus peut se répéter indéfiniment. Si une seconde instruction arrive plus tard, l'adaptateur se réveille à nouveau pour appliquer le nouveau changement, et le générateur continue à partir de là.

Les chercheurs ont constaté que cette approche résout deux problèmes majeurs qui affectent habituellement la génération de vidéos longues. Le premier est la cohérence. Dans de nombreux systèmes, si vous essayez d'éditer une vidéo qui est déjà en cours de génération, les changements s'estompent souvent ou se perdent à mesure que la vidéo progresse. Les nouvelles images peuvent revenir vers l'aspect d'origine. InfinityEdit empêche cela en réinitialisant un point de référence clé chaque fois qu'une édition a lieu. Cela garantit que la vidéo reste ancrée au changement le plus récent, maintenant le style ou l'angle de caméra stable aussi longtemps que la vidéo continue.

Le second défi est la qualité. Lorsqu'un ordinateur génère une vidéo image par image, de petites erreurs peuvent s'accumuler avec le temps, rendant l'image floue ou déformée. Les chercheurs ont entraîné leur adaptateur à gérer un historique imparfait. Ils ont délibérément donné au système des exemples où les images précédentes étaient légèrement défectueuses, lui apprenant à récupérer et à produire des résultats propres même lorsque l'entrée n'était pas parfaite. Cet entraînement permet au système de rester stable même après de nombreuses phases d'édition, évitant que la vidéo ne se dégrade à mesure qu'elle s'allonge.

Dans leurs tests, le système a appliqué avec succès une grande variété d'éditions à des flux vidéo en cours. Il pouvait changer le style visuel d'une scène, modifier le mouvement de la caméra ou modifier l'apparence d'objets, puis continuer à générer la vidéo avec ces changements intacts. Les résultats ont montré que la vidéo restait fidèle aux instructions et ne revenait pas à son état d'origine. Le système a géré ces changements de manière répétée sans perdre en qualité, prouvant qu'il est possible d'éditer un flux vidéo pendant qu'il se produit, plutôt que d'attendre que la vidéo soit finie.

Ce travail ouvre la porte à un nouveau type d'interaction avec la vidéo. Au lieu d'éditer un produit fini, les utilisateurs peuvent désormais guider une vidéo pendant qu'elle est créée. Qu'il s'agisse de redéfinir le style d'une diffusion sportive en direct en temps réel ou de changer la perspective d'une caméra virtuelle lors d'un long enregistrement, cette technologie offre un moyen de maintenir l'édition vivante à mesure que l'histoire se déroule. Les chercheurs ont démontré qu'en combinant un générateur stable et pré-entraîné avec un adaptateur flexible et léger, nous pouvons créer des outils d'édition vidéo qui ne sont pas limités par le temps, permettant un flux véritablement infini de possibilités créatives.

Résumé technique de InfinityEdit : Édition vidéo infinie avec un adaptateur léger d'activation d'édition (Edit-Ignition Adapter)

1. Définition du problème : Édition vidéo infinie

Les méthodes actuelles d'édition vidéo basée sur des instructions opèrent sous l'hypothèse d'une édition sur place (in-place editing). Elles alignent un résultat édité image par image avec un clip source de durée fixe. Bien qu'efficaces pour les clips statiques, ce paradigme échoue pour les flux vidéo ouverts (par exemple, le restylage de jeux en direct ou l'application de mouvements de caméra à des séquences continues) où du nouveau contenu arrive continuellement.

Le papier définit l'Édition Vidéo Infinie comme une tâche où, étant donné un segment vidéo précédent ( $V_{pcd}$ ) et une instruction d'édition ( $c_{edit}$ ), un modèle doit générer un segment suivant ( $V_{tgt}$ ) qui :

Applique fidèlement l'édition demandée dans $c_{edit}$ .
Poursuit le flux naturellement, en générant des images futures qui n'étaient pas présentes dans l'entrée, plutôt qu'en réécrivant les images existantes.
Maintient la stabilité sur une séquence illimitée d'éditions, en empêchant la propagation d'erreurs et la dégradation de la qualité à mesure que les éditions s'accumulent.

Les défis fondamentaux identifiés sont :

Continuité fidèle : Le modèle ne peut pas simplement transformer les images d'entrée ; il doit générer une continuation cohérente où les entités non affectées par l'édition restent cohérentes avec l'historique.
Stabilité : À mesure que chaque segment généré devient l'historique du suivant, les erreurs peuvent se cumuler au fil du temps.
Conflit avec les priors de streaming : Les générateurs de streaming standards utilisent des mécanismes tels que les images ancres et l'historique mis en cache pour éviter la dérive. Cependant, ces mécanismes tirent souvent le contenu généré vers l'original non édité, affaiblissant ou ignorant les nouvelles instructions d'édition.

2. Méthodologie

Pipeline de collecte de données
Pour entraîner un modèle pour cette tâche, les auteurs ont construit un ensemble de données de triplets $(V_{pcd}, c_{edit}, V_{tgt})$ :

Source : Échantillonnée à partir de l'ensemble de données UltraVideo.
Instructions : Générées en développant des types d'édition abstraits (issus de VAP) en prompts détaillés en langage naturel via Gemini 3 Flash, conditionnés par les légendes sources.
Cibles : Synthétisées à l'aide de Wan2.2-I2V-A14B. Le pipeline utilise une génération sensible au type d'édition :
- Éditions de style/apparence : L'image de connexion est d'abord éditée (via Qwen-Image-Edit) avant de générer la vidéo.
- Éditions de caméra/mouvement : L'image de connexion est préservée pour assurer la cohérence de la scène, les changements ne s'appliquant qu'au point de vue.
Filtrage : Les triplets sont scorés manuellement sur l'alignement, la cohérence, la rationalité et la qualité visuelle.

Architecture du modèle : InfinityEdit
La solution proposée attache un adaptateur léger d'activation d'édition (Edit-Ignition Adapter) à un backbone de génération vidéo de streaming gelé (Helios-Distilled, un transformeur de diffusion autoregressif de 14B). L'adaptateur est la seule composante entraînable.

L'adaptateur se compose de trois modules d'attention insérés après chaque couche de transformeur :

Attention croisée d'historique (History Cross-Attention) : Ancre le nouveau bloc de débruitage aux images d'entrée fournies. Les requêtes (queries) sont restreintes aux images de tête du chunk actuel, tandis que les clés/valeurs (keys/values) proviennent des tokens de l'historique. Cela garantit que l'édition respecte le passé immédiat.
Auto-attention causale temporelle (Temporal Causal Self-Attention) : Propage les indices temporels strictement des images antérieures vers les images ultérieures au sein du chunk, maintenant le flux autoregressif requis pour le streaming.
Attention croisée d'édition (Edit Cross-Attention) : Injecte l'instruction d'édition ( $c_{edit}$ ) dans le processus de génération. Tous les tokens du chunk actuel interrogent le prompt d'édition, permettant à l'instruction d'influencer l'ensemble du segment généré.

Stratégie d'entraînement

Objectif : Objectif de flow-matching avec un backbone gelé.
Corruption de l'historique : Pour atténuer le biais d'exposition (où le modèle se conditionne sur ses propres sorties imparfaites lors de l'inférence), le processus d'entraînement corrompt aléatoirement les images de l'historique avec du bruit.
Échantillonnage du bruit : Au lieu du calendrier pyramidal du backbone, l'adaptateur utilise un échantillonnage Mixture-Gaussian des niveaux de bruit ( $\sigma$ ) pour découpler le contrôle de l'édition des étapes de résolution spécifiques.
Curriculum en deux phases :
- Phase 1 : Couverture uniforme des niveaux de bruit pour apprendre l'édition de base.
- Phase 2 : Se concentre sur les niveaux de bruit moyen à faible et sur les images tardives pour affiner les détails et améliorer la qualité.

Pipeline d'inférence : "Ignite-Then-Continue" (Activer puis Continuer)
Le processus d'inférence gère les éditions infinies via une stratégie spécifique :

Activation (Ignition) : Lorsqu'une instruction d'édition arrive, l'adaptateur est activé uniquement pour le premier chunk (le "chunk d'activation"). Ce chunk est généré en utilisant l'adaptateur et un schéma Euler à étape unique (incluant une étape de bruit proche de zéro pour le raffinement des détails).
Continuation : Les chunks suivants sont générés par le backbone gelé avec l'adaptateur désactivé. Comme le premier chunk édité fait désormais partie de la fenêtre d'historique, le backbone continue naturellement le flux édité.
Gestion de l'état :
- L'image d'ancrage ( $x_0$ ) est réinitialisée à la première image du nouveau chunk d'activation pour empêcher le modèle de revenir à la source originale.
- Le prompt de scène est mis à jour avec l'instruction d'édition actuelle.
- Une fenêtre glissante gère la mémoire, supprimant les anciennes images pour maintenir des coûts limités.

3. Contributions clés

Définition de la tâche : Formalisation de l'Édition Vidéo Infinie, la distinguant de l'édition sur place et identifiant les défis spécifiques de la continuité fidèle et de la stabilité à long terme.
Pipeline de données : Développement d'un pipeline de synthèse pour générer des triplets d'entraînement sensibles au type d'édition qui comblent le fossé entre l'édition statique et la génération en streaming.
Architecture : Proposition d'InfinityEdit, un adaptateur léger qui permet à un générateur de streaming gelé d'appliquer des éditions sans compromettre ses priors de génération de vidéos longues.
Stratégie d'inférence : Introduction du schéma "ignite-then-continue", qui applique les éditions localement tout en exploitant les mécanismes de stabilité du backbone pour le reste du flux.

4. Résultats et affirmations

Des expériences approfondies sur des cas hors distribution démontrent que :

InfinityEdit poursuit fidèlement le flux sous chaque instruction d'édition, appliquant avec succès les changements demandés aux images futures.
Le système reste stable sur des séquences illimitées d'éditions, évitant la dérive et la dégradation de la qualité communes aux approches qui se contentent de re-prompter le modèle.
La méthode équilibre efficacement l'application de nouvelles éditions avec la préservation de la capacité du modèle original à générer des vidéos longues et cohérentes.

5. Signification

Le papier affirme qu'InfinityEdit comble une lacune critique dans la génération vidéo : l'incapacité d'éditer dynamiquement des flux ouverts et en direct. En découplant le mécanisme d'injection d'édition du prior de génération à long terme, la méthode permet une édition à la volée (par exemple, le restylage de séquences de jeux ou le changement d'angles de caméra en temps réel) sans nécessifier un réentraînement complet du modèle ou sacrifier la stabilité du générateur sous-jacent. Cela permet des applications pratiques où les flux vidéo sont continus et les exigences d'édition sont dynamiques.