FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

L'article présente FoleyDirector, un cadre innovant qui améliore le contrôle temporel fin de la génération audio à partir de vidéos en introduisant des scripts temporels structurés et une synthèse sonore bi-cadre, permettant ainsi une direction précise des événements sonores tout en préservant la fidélité audio.

L'essentiel

Imaginez que vous regardez un film muet. C'est beau, mais il manque quelque chose d'essentiel : le son. Jusqu'à présent, les intelligences artificielles capables de créer du son à partir de vidéos (comme un chien qui aboie ou une voiture qui klaxonne) étaient un peu comme des musiciens débutants : elles jouaient la bonne mélodie, mais souvent au mauvais moment, ou elles ne savaient pas quoi jouer quand l'action se passait hors de l'écran.

Voici FoleyDirector, une nouvelle invention qui change la donne. Pour faire simple, c'est comme si vous donniez à l'IA un scénario de réalisateur ultra-précis, au lieu de lui donner juste une description vague.

Voici comment cela fonctionne, expliqué avec des images simples :

1. Le Problème : L'IA qui "devine" trop

Imaginez que vous demandez à un ami de faire le bruit d'un train.

• Les anciennes méthodes (comme HunyuanVideo-Foley) disent : "Ah, il y a un train sur l'image ? Bon, je vais faire le bruit du train... mais je vais le faire pendant toute la vidéo, même quand le train a disparu !" Ou pire, si le train est caché derrière un mur, l'IA dit : "Je ne vois rien, je ne fais rien."
• Le résultat : C'est flou, imprécis, et l'IA ne comprend pas quand arrêter ou commencer le bruit.

2. La Solution : Le "Scénario Structuré" (Structured Temporal Scripts)

FoleyDirector introduit une idée géniale : au lieu de donner une seule phrase à l'IA, on lui donne un scénario divisé en petits chapitres.

• L'analogie du chef d'orchestre : Imaginez que l'IA est un orchestre. Avant, le chef lui disait juste : "Jouez de la musique de film !" Maintenant, avec FoleyDirector, le chef (l'utilisateur) donne une partition précise :
  • De 0 à 5 secondes : Silence total.
  • De 5 à 6 secondes : Klaxon de voiture (très fort).
  • De 6 à 8 secondes : Silence.
  • De 8 à 10 secondes : Un chat miaule (même si le chat n'est pas visible à l'écran !).

C'est ce qu'ils appellent des Scripts Temporels Structurés. C'est comme donner à l'IA une carte au trésor minute par minute, au lieu d'une simple indication "cherche le trésor".

3. La Magie : Le Module de Fusion (SG-TFM)

Comment l'IA lit-elle ce scénario sans oublier la vidéo ?

• L'analogie du traducteur bilingue : L'IA a deux cerveaux : un qui regarde l'image (les yeux) et un qui écoute le scénario (les oreilles). Le nouveau module de FoleyDirector agit comme un traducteur ultra-rapide qui synchronise parfaitement les deux.
• Il dit au cerveau "image" : "Regarde, le chat est caché, mais le scénario dit 'miaou' à 8 secondes. Donc, on joue le miaou à 8 secondes, même si on ne voit pas le chat."
• Cela permet de créer des sons pour des choses qu'on ne voit pas (un bruit derrière une porte, un cri dans le noir) ou de couper un son exactement quand on le veut.

4. Le Super-Pouvoir : La Synthèse "Bi-Frame"

Parfois, une scène est complexe : un chien aboie (visible) pendant qu'une sirène de police passe loin (invisible).

• L'analogie du mixeur audio : FoleyDirector utilise une technique appelée "Bi-Frame". Imaginez deux pistes audio séparées qui tournent en même temps :
  1. Piste "À l'écran" : Elle écoute ce qu'elle voit (le chien).
  2. Piste "Hors écran" : Elle écoute uniquement le scénario (la sirène), en ignorant ce qu'elle voit.
• À la fin, elle mélange les deux pistes parfaitement. Résultat : vous entendez le chien et la sirène en même temps, chacun au bon moment, sans que l'un ne gêne l'autre.

En résumé

FoleyDirector transforme l'utilisateur en réalisateur de son.

• Avant : L'IA faisait du bruit au hasard ou seulement quand elle voyait quelque chose.
• Maintenant : Vous lui donnez un script précis ("Silence, puis klaxon, puis miaou"), et elle l'exécute avec une précision chirurgicale, même pour les sons invisibles.

C'est comme passer d'un enfant qui tape sur des casseroles au hasard, à un chef d'orchestre qui sait exactement quand faire entrer chaque instrument pour créer une expérience parfaite.

Résumé technique

1. Problématique

Les méthodes récentes de génération Audio-à-Partir-de-Vidéo (V2A) ont permis de synthétiser des audio réalistes et de haute qualité. Cependant, elles souffrent de limitations majeures dans des scénarios complexes :

• Contrôle temporel fin insuffisant : Les modèles existants peinent à gérer des événements multiples avec des relations temporelles précises (ex: un son spécifique entre 5s et 6s, suivi d'un silence).
• Cues visuels insuffisants : Ils échouent souvent lorsque les indices visuels sont ambigus, tels que des sons hors-champ (off-screen), des objets occlus, ou des régions visuelles trop petites pour être détectées.
• Manque de contrôle utilisateur : Les utilisateurs ne peuvent pas agir comme des "directeurs Foley" pour guider la génération vers des scénarios contrefactuels (ex: un chat qui miaule alors qu'on voit un chien) ou pour imposer des contraintes temporelles strictes.

2. Méthodologie : FoleyDirector

FoleyDirector est un cadre proposé pour étendre le contrôle temporel des générateurs V2A basés sur l'architecture DiT (Diffusion Transformer), tout en préservant la qualité du modèle de base (MMAudio). Il repose sur trois piliers techniques :

A. Scripts Temporels Structurés (STS)

Au lieu d'utiliser une description textuelle globale et coarse, l'approche décompose le contenu audio en scripts temporels structurés.

• Principe : Le texte global est divisé en segments courts (ex: 1 seconde), chacun ayant sa propre description sémantique (type de son, volume, timbre).
• Extraction : Un pipeline automatisé utilisant un modèle de langage multimodal (Qwen-Omni) génère ces scripts en deux étapes : reconnaissance globale du contenu audio et classification binaire au niveau du segment pour localiser les événements.
• Avantage : Cela fournit au modèle des indices temporels riches et granulaires, compensant l'absence d'indices visuels clairs.

B. Module de Fusion Temporelle Guidé par Script (SG-TFM)

Pour intégrer ces STS sans détruire les capacités génératives du modèle pré-entraîné, les auteurs conçoivent un adaptateur léger :

• Architecture : Le module injecte les caractéristiques des STS via une Attention de Script Temporel (Temporal Script Attention) parallèle à l'attention conjointe existante.
• Alignement Temporel : Pour assurer une cohérence temporelle entre les tokens de texte (STS) et les tokens audio/vidéo, le modèle utilise un mécanisme de RoPE entrelacé (Interleaved RoPE). Cela permet d'assigner des indices de position corrélés aux features temporellement adjacentes, améliorant l'alignement lors de la fusion.
• Flexibilité : Ce module peut être activé ou désactivé à la volée, permettant de basculer entre une génération V2A standard et une génération contrôlée par script.

C. Synthèse Sonore Bi-Frame (Bi-Frame Sound Synthesis)

Pour gérer les scénarios complexes combinant des sons "dans le champ" (in-frame) et "hors du champ" (out-of-frame) :

• Mécanisme : Le processus de génération est dupliqué en deux flux parallèles au sein de chaque bloc du modèle :
  1. Flux In-Frame : Conditionné par la vidéo, le texte et les STS.
  2. Flux Out-of-Frame : Conditionné uniquement par le texte et les STS (l'embedding visuel est remplacé par un embedding nul apprenable).
• Fusion : Les deux flux sont fusionnés selon les segments temporels définis par les scripts. Cela permet de générer simultanément des sons liés à l'action visible et des sons narratifs ou hors-champ sans interférence visuelle indésirable.

3. Contributions Clés

1. FoleyDirector : Le premier cadre à introduire un contrôle temporel fin dans la tâche V2A basée sur DiT, tout en maintenant la qualité audio de base.
2. Nouvelle Représentation (STS) : La proposition de décomposer les descriptions complexes en scripts temporels structurés, intégrés via un module de fusion cohérent (SG-TFM) et un mécanisme de Bi-Frame.
3. Ressources de Données et Évaluation :
   • Construction du jeu de données DirectorSound (avec pipeline d'annotation automatisé).
   • Création de deux benchmarks : DirectorBench (pour évaluer le contrôle temporel et contrefactuel) et VGGSound-Director (pour évaluer la qualité de génération).
4. Performances : Démonstration expérimentale d'une amélioration significative du contrôle sans dégradation de la fidélité audio.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks proposés et comparées à des modèles de l'état de l'art (MMAudio, HunyuanVideo-Foley, ThinkSound, Video-Foley).

• Contrôlabilité (DirectorBench) :

  • La méthode atteint un score F1 global de 0,4819, surpassant largement le meilleur modèle de base (Hunyuan-Foley à 0,2451).
  • Amélioration notable sur le contrôle contrefactuel (F1 de 0,2331 à 0,5284) et le contrôle temporel (F1 de 0,2572 à 0,4354).
  • Le modèle réussit à générer des sons précis dans des intervalles spécifiques même en l'absence de cues visuels forts.

• Qualité Audio (VGGSound-Director) :

  • La méthode préserve la distribution et la qualité de l'audio de base (MMAudio).
  • Réduction de la divergence KL et amélioration des scores ISC (Inception Score), indiquant une fidélité supérieure par rapport aux autres méthodes.
  • Le modèle peut être désactivé (sans STS) pour revenir à une génération V2A standard sans perte de performance.

• Études Utilisateurs :

  • Une étude subjective avec 30 utilisateurs a confirmé la supériorité de FoleyDirector en termes de qualité, de contrôlabilité et d'alignement temporel par rapport aux modèles existants.

5. Signification et Impact

FoleyDirector représente une avancée majeure pour l'industrie de la génération multimodale en transformant l'utilisateur d'un simple spectateur en un directeur Foley actif.

• Précision Temporelle : Elle résout le problème de la "génération globale" en permettant un contrôle granulaire (segment par segment) des événements sonores.
• Robustesse aux Cues Visuels : En s'appuyant sur des scripts textuels structurés, elle comble les lacunes des modèles purement visuels pour les sons hors-champ ou les objets occlus.
• Flexibilité : L'architecture modulaire (SG-TFM et Bi-Frame) offre une voie évolutive pour des scénarios de narration complexes, ouvrant la voie à des applications dans le cinéma, le jeu vidéo et la création de contenu automatisé où le contrôle créatif est primordial.