Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner

Ce papier présente AVI-Edit, un cadre d'édition d'instances vidéo synchronisées avec l'audio qui intègre un raffineur de masques sensible à la granularité et un agent audio à rétroaction autonome pour offrir un contrôle spatio-temporel précis, le tout soutenu par un nouveau jeu de données à grande échelle.

L'essentiel

Imaginez que vous avez un film vidéo, mais vous voulez changer une chose précise : par exemple, faire dire une autre phrase à un acteur, changer la couleur de sa veste, ou même transformer un chien en chat, le tout sans toucher au reste de la scène ni briser le rythme naturel du son. C'est exactement ce que propose AVI-Edit, une nouvelle technologie présentée dans cet article.

Voici une explication simple, imagée, de comment cela fonctionne :

1. Le Problème : Le "Ciseau Magique" qui coupe tout

Jusqu'à présent, les outils de montage vidéo étaient un peu comme des ciseaux grossiers. Si vous vouliez modifier un objet dans une vidéo, l'outil risquait de :

• Détruire l'image autour (comme si vous coupiez le décor avec le personnage).
• Faire disparaître le son original (comme si l'acteur arrêtait de parler du jour au lendemain).
• Créer un décalage bizarre entre les lèvres et la voix (un effet "dubbing" mal fait).

2. La Solution : AVI-Edit, le "Chirurgien Vidéo"

AVI-Edit est comme un chirurgien de précision pour la vidéo. Il ne se contente pas de couper ; il comprend ce qu'il touche et ce qu'il doit garder. Il fonctionne grâce à trois assistants magiques :

A. Le "Lunettes de Précision" (Le Raffineur de Masque)

Quand vous demandez à modifier un objet, vous lui donnez souvent un dessin grossier (un rectangle autour du visage, par exemple).

• L'analogie : Imaginez que vous essayez de peindre un portrait en ne regardant qu'à travers un trou de serrure. C'est flou !
• Ce que fait AVI-Edit : Il possède une paire de lunettes intelligentes (le Granularity-Aware Mask Refiner). Dès qu'il reçoit votre dessin grossier, il l'affine instantanément pour coller parfaitement aux contours exacts de l'objet (les cheveux, les oreilles, les plis du vêtement), même si votre dessin initial était imparfait. Il sait exactement où s'arrêter pour ne pas toucher au mur derrière.

B. Le "Chef d'Orchestre Sonore" (L'Agent Audio à Rétroaction)

C'est la partie la plus géniale. Pour que la vidéo soit réaliste, le son doit changer en même temps que l'image.

• L'analogie : Imaginez un chef d'orchestre qui doit remplacer un violoniste dans un groupe sans que les autres musiciens ne s'arrêtent de jouer.
• Ce que fait AVI-Edit : Il utilise un agent audio qui suit un processus en 4 étapes :
  1. Séparer : Il isole le son de l'objet à modifier (la voix de l'acteur) du reste (le bruit de la rue, les applaudissements).
  2. Générer : Il crée le nouveau son demandé (une nouvelle phrase).
  3. Remixer : Il assemble le nouveau son avec l'ancien fond sonore.
  4. Auto-contrôle (Le "Feedback") : Un "critique" intelligent écoute le résultat. Si le son semble faux ou si le volume est bizarre, il dit : "Non, réessaie !" et demande de corriger le tir. Il répète ce cycle jusqu'à ce que le son soit parfait et naturel.

C. Le "Moteur de Création" (Le Cœur du Système)

Tout cela repose sur un moteur vidéo très puissant (basé sur un modèle appelé Wan2.2) qui a déjà vu des millions de vidéos. Il sait comment la lumière bouge, comment les ombres tombent et comment les objets se déplacent. AVI-Edit lui donne des instructions précises (via le masque raffiné et le son) pour qu'il ne réinvente pas tout le monde, mais qu'il ne modifie que la petite partie que vous avez choisie.

3. Les Résultats Magiques

Grâce à cette technologie, on peut faire des choses étonnantes, comme illustré dans l'article :

• Changer la parole : Faire dire "Bonjour" à un homme qui disait "Au revoir", tout en gardant sa voix naturelle et son expression faciale.
• Changer l'apparence : Transformer un homme en femme (ou changer ses vêtements) tout en gardant sa voix originale.
• Changer la nature : Transformer un chien qui aboie en un chat qui miaule, avec le son qui change parfaitement au bon moment.
• Contrôler par le son : Si vous demandez "Faites couler l'eau plus fort", la vidéo montrera un jet d'eau plus puissant, synchronisé avec le bruit de l'eau.

En Résumé

AVI-Edit est comme un assistant de montage vidéo ultra-intelligent qui comprend que l'image et le son sont inséparables. Il ne se contente pas de "coller" un nouveau morceau sur l'ancien ; il répare, ajuste et harmonise tout pour que le résultat soit fluide, réaliste et parfaitement synchronisé, même si vous lui donnez des instructions un peu vagues au départ.

C'est un pas de géant vers la création de vidéos où l'on peut modifier n'importe quel détail, comme dans la vie réelle, sans que cela ressemble à un montage amateur.

Résumé technique

1. Problématique et Contexte

Les récents progrès dans la génération vidéo ont mis en évidence l'importance cruciale de la synchronisation audio-visuelle pour créer du contenu engageant. Cependant, les méthodes d'édition vidéo existantes présentent deux lacunes majeures :

1. Négligence de l'audio : La plupart des modèles se concentrent uniquement sur les caractéristiques visuelles, brisant ainsi la synchronisation originale entre l'image et le son.
2. Manque de contrôle fin : Les approches actuelles peinent à réaliser des modifications au niveau de l'instance (un objet ou une personne spécifique) avec un contrôle temporel et spatial précis. Les méthodes existantes sont soit limitées à l'échelle de la scène, soit incapables de contrôler le moment précis d'un événement.

L'objectif est donc de développer un cadre capable d'éditer une instance spécifique dans une vidéo tout en modifiant son audio associé et en préservant la synchronisation, le fond et les sons non ciblés.

2. Méthodologie : Le cadre AVI-Edit

Les auteurs proposent AVI-Edit, un framework basé sur un modèle de diffusion vidéo pré-entraîné (Wan2.2-5B), enrichi par trois composants clés :

A. Le Backbone Vidéo Synchronisé Audio

Le cœur du système est un transformateur de diffusion vidéo qui génère des résultats d'édition basés sur :

• Un masque d'instance (pour cibler la zone).
• Une description textuelle (pour définir le type d'édition).
• Des tokens audio curatés (pour guider la synchronisation).
  Le modèle utilise une couche d'attention croisée frame-à-frame (frame-wise cross-attention) pour intégrer les indices audio et assurer l'alignement temporel entre le mouvement visuel et le son. Un mécanisme de préservation du fond utilise le masque pour ne modifier que les régions ciblées, laissant le reste de la vidéo intacte.

B. Affineur de Masque Sensible à la Granularité (GAMR)

Les masques fournis par les utilisateurs sont souvent grossiers (ex: boîtes englobantes). Pour obtenir une précision au niveau de l'instance, AVI-Edit intègre le GAMR :

• Facteur de Précision ($p$) : Un paramètre qui indique le niveau de dégradation du masque (de $p=P$ pour un masque très grossier à $p=0$ pour le contour précis).
• Architecture : Le GAMR partage une architecture similaire au backbone vidéo mais remplace les tokens textuels par des tokens vidéo pour raisonner sur la sémantique visuelle.
• Fonctionnement itératif : Au cours du processus de génération (résolution d'ODE), le GAMR affine itérativement le masque grossier en un masque précis, guidé par le facteur de précision et les indices audio pour aligner les contours avec le timing de l'événement.

C. Agent Audio à Rétroaction Autonome (Self-Feedback Audio Agent)

Pour générer un audio de haute qualité et synchronisé, les auteurs conçoivent un agent autonome suivant un pipeline Séparation – Génération – Remix – Révision :

1. Séparation : Un modèle sépare l'audio original en composants à conserver (ex: applaudissements) et à supprimer (ex: la voix de la personne cible).
2. Génération : Un modèle de génération audio (TTS, musique, effets) crée le nouvel audio basé sur la description textuelle.
3. Remix : Les composants séparés et générés sont mélangés.
4. Révision (Self-Feedback) : Un grand modèle de langage multimodal (MLLM) évalue la qualité perçue du remix (réalisme, harmonie, adhérence à l'instruction). Si la qualité est insuffisante, le MLLM génère des instructions d'amélioration pour itérer le processus jusqu'à ce qu'un seuil de qualité soit atteint.

3. Contributions Clés

• Framework AVI-Edit : Une solution complète pour l'édition d'instances vidéo synchronisées avec l'audio, offrant un contrôle spatial et temporel fin.
• GAMR : Un module innovant qui transforme des masques utilisateurs imprécis en masques d'instance précis grâce à un facteur de granularité et une architecture de diffusion.
• Agent Audio Autonome : Un pipeline de révision itérative garantissant que l'audio généré est réaliste, synchronisé et conforme à l'intention de l'utilisateur.
• Dataset AVISET : La création d'un nouveau dataset à grande échelle (71k clips d'entraînement) avec des correspondances centrées sur l'instance, des masques et des annotations audio/textuelles détaillées, spécifiquement conçu pour cette tâche.

4. Résultats Expérimentaux

Les auteurs ont évalué AVI-Edit sur leur dataset AVISET et sur le benchmark public AvED-Bench, en le comparant aux méthodes de l'état de l'art (AvED, Ovi, VACE-Foley).

• Qualité Visuelle et Cohérence : AVI-Edit obtient les meilleurs scores sur la distance vidéo Fréchet (FVD) et la cohérence des trames (FC), surpassant les méthodes concurrentes qui souffrent souvent d'artefacts de scintillement ou d'incohérences visuelles.
• Synchronisation Audio-Visuelle : Le modèle excelle sur les métriques de synchronisation (Sync-C, Sync-D) et l'alignement audio-vidéo (AC), démontrant une capacité supérieure à maintenir le lien entre le mouvement des lèvres (ou l'action) et le son.
• Étude de Préférence Utilisateur : Dans une étude comparative, AVI-Edit a reçu la préférence la plus élevée (environ 45-49%) pour la synchronisation audio-visuelle, l'alignement textuel et la préférence globale.
• Qualité Audio : Plus de 91% des échantillons audio générés ont été jugés "Acceptables" ou "Parfaits" en termes de fidélité et de préservation des sons non ciblés.

5. Signification et Impact

Ce travail combe un vide important dans la recherche sur l'édition vidéo en intégrant nativement la dimension audio comme guide de contrôle temporel et sémantique.

• Applications : Le système permet des scénarios complexes comme la modification de la parole d'un locuteur, le changement d'apparence d'un personnage tout en gardant sa voix, la transformation de catégorie sémantique (ex: chien en chat avec le miaulement correspondant), ou l'ajustement de la dynamique d'un objet via des indices audio.
• Futur : Bien que la méthode soit limitée actuellement à une instance à la fois (nécessitant une exécution séquentielle pour plusieurs objets), elle ouvre la voie vers des outils d'édition créative plus immersifs et réalistes, essentiels pour le cinéma, la publicité et la création de contenu génératif.

En résumé, AVI-Edit représente une avancée majeure en rendant possible l'édition précise d'objets dans des vidéos tout en préservant et en générant un audio parfaitement synchronisé, grâce à une architecture hybride combinant raffinement de masques et agents audio autonomes.