Résumé Technique : Aurora – Édition Vidéo Unifiée avec un Agent Utilisant des Outils

1. Énoncé du Problème

Les récents modèles unifiés d'édition vidéo ont convergé vers une conception où un unique transformateur de diffusion consomme conjointement des instructions textuelles, des vidéos sources et des images de référence (ou des masques) pour exécuter des tâches diverses telles que le remplacement, la suppression, le transfert de style et l'insertion. Bien que flexible, cette architecture suppose que les utilisateurs fournissent des entrées de conditionnement prêtes pour le modèle : un texte précis, des images de référence spécifiques pour les motifs visuels et des masques spatiaux pour les éditions localisées.

En pratique, les demandes brutes des utilisateurs souffrent souvent d'insuffisance de spécification selon deux axes :

1. Insuffisance Visuelle : L'utilisateur nomme une entité ou un motif spécifique (par exemple, « une écharpe à motif Burberry » ou « La Grande Vague de Kanagawa ») mais ne fournit aucune image de référence.
2. Insuffisance Textuelle : L'édition est décrite indirectement (par exemple, « changer l'objet bleu en un véhicule qui va beaucoup plus vite »), obligeant le modèle à inférer des objectifs concrets.

Les modèles unifiés actuels manquent du mécanisme pour inférer, ancrer ou combler ces conditions manquantes avant le début de la génération. Cela crée un fossé entre les riches canaux de conditionnement disponibles pour le modèle et les informations incomplètes fournies par l'utilisateur.

2. Méthodologie : Le Cadre Aurora

Aurora comble ce fossé en découplant la construction de la condition de la génération vidéo. Il introduit un cadre agentique associant un agent de Modèle Langage-Vision (VLM) augmenté d'outils à un transformateur de diffusion vidéo unifié (DiT).

2.1 L'Agent VLM (Construction de la Condition)

L'agent, implémenté comme un Qwen3-VL-8B-Instruct affiné par LoRA, agit comme un préprocesseur. Il prend une vidéo source ($V_{src}$), une instruction brute de l'utilisateur ($y$) et des références utilisateur optionnelles ($R$) pour générer un plan d'édition structuré :
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
Où :

• $y'$ (Instruction Réécrite) : Une instruction standardisée et prête pour le modèle qui résout l'insuffisance textuelle.
• $c$ (Étiquette de Tâche) : Un type d'édition canonique (par exemple, replace_object, remove_object) utilisé pour le routage.
• $q$ (Requête de Recherche d'Image) : Une requête optionnelle pour déclencher un outil de recherche d'images sur le web (via l'API Serper) si une image de référence manque.
• $m$ (Phrase de Masque) : Une phrase optionnelle pour déclencher un outil de segmentation (GroundingDINO + SAM) si l'ancrage spatial manque.

Exécution des Outils :
Si $q$ ou $m$ ne sont pas vides, l'agent invoque des outils externes :

• Recherche d'Images : Récupère des images candidates et sélectionne la plus pertinente.
• Segmentation : Génère un masque pour la région cible et le compose sur la vidéo source.

La sortie finale est un tuple de conditionnement unifié $\mathbf{x} = (y', V_{src}, R^+)$, où $R^+$ inclut les références utilisateur originales ainsi que toute image récupérée ou image masquée. L'étiquette de tâche $c$ est utilisée lors de la planification mais n'est pas fournie au modèle vidéo.

2.2 Le DiT Vidéo (Génération Vidéo)

Le socle de génération vidéo est un Transformateur de Diffusion (DiT) unifié construit sur Wan2.2-TI2V-5B. Il consomme le tuple de conditionnement $\mathbf{x}$ via deux chemins :

1. Chemin de Contexte Multimodal : Un encodeur Qwen3.5-4B figé traite l'instruction réécrite ($y'$), les échantillons de trames sources et les images de référence ($R^+$) pour créer un contexte multimodal partagé ($T_{ctx}$) destiné à l'attention croisée.
2. Chemin de Tokens Latents : Les tokens vidéo bruités, les tokens sources et les tokens de référence sont concaténés le long de la dimension de la séquence de tokens.
   • Modulation à Temps Zéro : Pour préserver le contenu non édité et l'identité de la référence, les tokens sources et de référence sont modulés avec une embedding de temps zéro ($a(0)$), tandis que les tokens bruités suivent la trajectoire standard de l'appariement de flux ($a(t)$). Cela garantit que les tokens de conditionnement restent fixes pendant que la vidéo est débruitée.

2.3 Objectifs d'Entraînement

• DiT Vidéo : Entraîné par appariement de flux sur un mélange de données d'édition d'images, d'édition vidéo basée sur des instructions et d'édition vidéo guidée par référence. Il apprend à gérer uniformément les références vides, fournies par l'utilisateur et récupérées par des outils.
• Agent VLM :
  • Affinement Supervisé (SFT) : Entraîné sur 25 000 exemples de planification et 10 000 exemples de sélection d'images de référence. La cible est le plan complet à 4 champs, enseignant à l'agent à réécrire les instructions, router les tâches et sélectionner les outils.
  • Alignement par Préférence (DPO) : Entraîné sur 1 800 paires de préférences pour résoudre les cas limites (par exemple, faux déclenchements de recherche d'images, phrases de masques ambiguës, réécritures perdant des contraintes). Cela affine les frontières de décision sans mélanger la variance d'échantillonnage vidéo dans l'objectif d'apprentissage.

3. Contributions Clés

1. Cadre Aurora : Un système d'édition vidéo agentique qui mappe les demandes brutes et insuffisamment spécifiées vers des tuples de conditionnement complets et prêts pour le modèle, en utilisant un agent VLM augmenté d'outils.
2. AgentEdit-Bench : Un nouveau benchmark spécifiquement conçu pour évaluer l'édition vidéo dans des conditions d'insuffisance textuelle et visuelle. Il contient 150 cas répartis sur cinq types de tâches (remplacement d'IP, ajout d'IP, changement de fond d'IP, raisonnement et suppression) où la demande brute omet les conditions nécessaires.
3. Données d'Entraînement et Alignement : Un pipeline de construction de jeu de données pour la planification d'agent VLM et la sélection de références, combiné à un alignement par préférence basé sur le DPO pour gérer les cas limites dans le déclenchement des outils et la réécriture des instructions.
4. Transférabilité du Modèle : Démonstration que l'agent VLM Aurora peut être associé à des modèles d'édition vidéo unifiés existants et figés (par exemple, UniVideo, Kiwi-Edit) pour améliorer leurs performances sur les demandes insuffisamment spécifiées.

4. Résultats Expérimentaux

• Performance sur AgentEdit-Bench :
  • Le DiT vidéo Aurora seul (sans l'agent) obtient un score de 74,7, surpassant UniVideo (67,0) et Kiwi-Edit (69,7) sur des invites brutes.
  • L'ajout de l'agent VLM porte le score à 87,9. Les gains sont les plus significatifs dans les tâches d'IP (remplacement et ajout), où l'agent récupère avec succès les images de référence manquantes.
  • Les études d'ablation montrent que le SFT contribue à la majorité du gain (85,0), tandis que le DPO apporte un raffinement supplémentaire (87,9) en corrigeant les erreurs de frontières.
• Performance sur les Benchmarks Existants (EditVerse-Bench, OpenVE-Bench) :
  • Sur les benchmarks avec des entrées bien spécifiées, Aurora atteint des résultats de l'état de l'art parmi les méthodes open-source (7,61 sur EditVerse-Bench, 3,38 sur OpenVE-Bench), comblant la majeure partie de l'écart avec la base de référence fermée Runway Aleph.
  • Même lorsque les outils sont désactivés (seule la réécriture d'instructions a lieu), l'agent améliore les performances, indiquant la valeur du raffinement des instructions.
• Transférabilité :
  • Lorsque l'agent VLM Aurora est associé à des versions figées de UniVideo et Kiwi-Edit, il améliore constamment leurs scores sur AgentEdit-Bench et les benchmarks existants, prouvant que l'utilité de l'agent est agnostique au modèle.

5. Importance et Limites

Importance :
L'article soutient que les progrès en matière d'édition vidéo dépendent non seulement de DiTs vidéo plus puissants, mais aussi de la traduction fiable des demandes brutes des utilisateurs en conditions prêtes pour le modèle. Aurora démontre qu'une couche agentique peut efficacement résoudre l'insuffisance de spécification, permettant aux modèles unifiés de gérer des entrées utilisateur réelles et incomplètes sans nécessiter que le modèle vidéo lui-même soit réentraîné pour chaque nouvel outil ou condition.

Limites :

• Paradigme d'Entraînement : L'agent VLM est aligné via un DPO hors ligne. Les auteurs notent que le RL en ligne (par exemple, GRPO) sur l'ensemble du pipeline, utilisant le clip édité final comme signal de récompense, est actuellement irréalisable en raison des contraintes de calcul.
• Complexité du Mouvement : Le DiT vidéo 5B gère de manière fiable la suppression, la stylisation et l'insertion d'objets avec un mouvement limité. Cependant, l'ajout de nouveaux sujets avec un mouvement important et physiquement plausible reste difficile, attribué à la fois à la capacité du socle et à la rareté de tels cas dans les données d'entraînement.

Impact Plus Large :
Les auteurs reconnaissent les risques liés à la manipulation non consensuelle de l'identité et aux problèmes de droits d'auteur découlant de l'outil de recherche d'images sur le web, positionnant Aurora comme un outil créatif plutôt que comme un outil de production de preuves.