FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

Il paper presenta FoleyDirector, un nuovo framework basato su DiT che utilizza script temporali strutturati e una sintesi audio bi-frame per garantire un controllo temporale fine e preciso nella generazione audio da video, risolvendo le limitazioni delle metodologie attuali in scenari complessi e multi-evento.

L'essenziale

Immagina di essere un regista cinematografico. Hai girato una scena bellissima: un'auto corre veloce, un cane abbaia, qualcuno ride. Ma c'è un problema: il video è muto. Come un film degli anni '20 senza colonna sonora.

Fino a oggi, per aggiungere il suono, dovevi affidarti a un "doppiatore" automatico (l'intelligenza artificiale) che guardava il video e indovinava cosa dire. Spesso indovinava bene, ma non era preciso. Se volevi che il clacson suonasse esattamente tra il 5° e il 6° secondo, l'IA diceva: "Ok, suona il clacson!" e lo faceva per tutto il video, o nel momento sbagliato. Inoltre, se c'era un suono che non si vedeva (come un tuono lontano o una persona che parla fuori campo), l'IA spesso non sapeva come gestirlo.

FoleyDirector è come dare al regista (cioè a te) un copione dettagliato per il suono, invece di lasciare che l'IA indovini.

Ecco come funziona, spiegato con parole semplici:

1. Il Copione Strutturato (Structured Temporal Scripts)

Immagina che il video sia diviso in piccoli pezzi di un secondo, come i fotogrammi di una pellicola. Invece di dare all'IA una descrizione generica come "c'è un'auto e un cane", FoleyDirector ti permette di scrivere un copione minuto per minuto:

• Secondo 1-2: Silenzio.
• Secondo 3-4: Clacson dell'auto.
• Secondo 5-6: Abbaio del cane.
• Secondo 7-8: Risata di una persona (anche se non la vedi!).

È come se tu dicessi al musicista: "Suona il violino solo qui, e poi fai silenzio lì". Questo copione si chiama STS (Script Temporali Strutturati).

2. Il Direttore d'Orchestra (Script-Guided Temporal Fusion)

L'IA di base (chiamata MMAudio) è un musicista bravissimo, ma a volte è un po' testarda e segue solo quello che vede. FoleyDirector inserisce un nuovo strumento nel suo spartito: un modulo di fusione.
Pensa a questo modulo come a un direttore d'orchestra che tiene in mano il tuo copione. Mentre l'IA guarda il video, il direttore le sussurra: "Ehi, ora guarda il copione! Qui devi mettere il suono del clacson, anche se l'auto è solo parzialmente visibile".
Questo permette all'IA di seguire le tue istruzioni precise senza perdere la qualità del suono.

3. La Magia del "Fuori Campo" (Bi-Frame Sound Synthesis)

A volte i suoni sono strani. Immagina un film dove vedi un cane che abbaia, ma senti anche una persona che ride fuori dallo schermo. Le vecchie IA si confondevano: "Se non vedo la persona, non posso farla ridere!".
FoleyDirector usa una tecnica chiamata Sintesi Bi-Frame. Immagina che l'IA abbia due canali mentali separati:

• Canale A (Inquadratura): Suona ciò che vede nel video.
• Canale B (Fuori Campo): Suona ciò che dici nel copione, anche se non c'è nulla da vedere (come un tuono o una voce lontana).
  Alla fine, unisce i due canali perfettamente sincronizzati. È come se potessi aggiungere un'onda sonora invisibile che si mescola a quella visibile senza creare confusione.

Perché è importante?

Prima, l'IA era come un bambino che guarda un cartone animato e cerca di fare i suoni a voce alta: a volte era divertente, ma spesso sbagliava i tempi.
Con FoleyDirector, l'IA diventa un attore professionista che legge il copione. Tu sei il regista. Puoi dire: "Voglio che il gatto miagoli solo per 3 secondi, poi silenzio totale, e poi un'esplosione". E l'IA lo farà esattamente così.

In sintesi:
FoleyDirector trasforma la creazione di suoni per i video da un "tentativo ed errore" a un controllo di precisione. Ti permette di essere il vero direttore dei suoni (il "Foley Artist"), decidendo esattamente quando e cosa deve suonare, anche se nella scena non si vede nulla. È un passo gigante verso video generati dall'IA che sembrano veri film, con suoni perfetti e sincronizzati.

Sommario tecnico

1. Il Problema

I recenti progressi nei modelli di generazione Video-to-Audio (V2A) hanno permesso di sintetizzare audio realistico e di alta qualità partendo da video silenziosi. Tuttavia, questi modelli esistenti presentano tre limitazioni critiche:

1. Controllo Temporale Limitato: Faticano a gestire scenari multi-evento con precisione temporale fine. Non riescono a controllare esattamente quando un suono deve iniziare o terminare all'interno di un segmento video.
2. Cue Visivi Insufficienti: Quando le informazioni visive sono ambigue (es. oggetti parzialmente visibili, suoni fuori campo, o regioni piccole), i modelli basati solo su cue visivi falliscono nel generare i suoni corretti o nel posizionarli temporalmente.
3. Mancanza di Controllo Utente: Gli utenti non possono agire come "Foley Director" (direttori del suono), ovvero non possono guidare attivamente la generazione per creare narrazioni sonore complesse o controfattuali (es. un animale che fa un verso diverso dal previsto).

2. Metodologia

Il framework proposto, FoleyDirector, estende un generatore V2A basato su DiT (Diffusion Transformer), specificamente MMAudio, introducendo tre componenti principali per abilitare il controllo temporale fine:

A. Script Temporali Strutturati (Structured Temporal Scripts - STS)

Invece di utilizzare una descrizione testuale globale e vaga, il metodo scompone il video in segmenti temporali brevi (es. 1 secondo). Per ogni segmento, viene generato uno "script" testuale strutturato che descrive:

• Il tipo di evento sonoro.
• L'intensità (loudness).
• Il timbro.
• La presenza/assenza dell'evento in quel segmento specifico.
  Questo approccio trasforma il controllo temporale in un problema di classificazione binaria a livello di segmento, fornendo al modello informazioni semantiche e temporali ricche e granulari.

B. Modulo di Fusione Temporale Guidata dallo Script (Script-Guided Temporal Fusion Module - SG-TFM)

Per integrare gli STS nel modello generativo senza distruggere le capacità originali del modello pre-addestrato, viene introdotto un adattatore (adapter) chiamato SG-TFM:

• Temporal Script Attention (TSA): Un layer di attenzione aggiuntivo che fonde le caratteristiche degli STS con le caratteristiche dell'audio.
• Interleaved RoPE: Viene utilizzata una codifica di posizione (RoPE) "intercalata" per allineare temporalmente le feature degli script con quelle dell'audio, garantendo coerenza temporale durante la fusione.
• Switchabilità: Il modulo SG-TFM può essere disattivato, permettendo al modello di tornare alla generazione V2A standard senza controllo temporale fine, offrendo flessibilità all'utente.

C. Framework di Sintesi Sonora Bi-Frame (Bi-Frame Sound Synthesis)

Per gestire scenari complessi che coinvolgono suoni "in-frame" (visibili) e "out-of-frame" (fuori campo o narrativi), il framework divide il processo di generazione in due flussi paralleli:

1. In-Frame: Condizionato da video, testo e script.
2. Out-of-Frame: Condizionato solo da testo e script (con un embedding visivo nullo appreso).
   I due flussi vengono fusi temporalmente in base agli script, permettendo la generazione simultanea e controllata di suoni visibili e non visibili, evitando che i cue visivi dominino e soffochino le istruzioni testuali per i suoni fuori campo.

3. Contributi Chiave

1. FoleyDirector: Il primo framework che introduce un controllo temporale fine nella generazione V2A basata su DiT, mantenendo l'alta fedeltà audio del modello base.
2. Decomposizione e Fusione: L'idea di scomporre i caption complessi in STS e integrarli tramite SG-TFM e Bi-Frame per un controllo preciso e flessibile.
3. Dataset e Benchmark:
   • DirectorSound: Un nuovo dataset costruito con una pipeline di annotazione automatizzata (usando modelli LLM come Qwen-Omni) per creare script temporali strutturati.
   • DirectorBench: Un benchmark per valutare il controllo temporale e controfattuale.
   • VGGSound-Director: Un subset annotato per valutare la qualità dell'audio generato.

4. Risultati Sperimentali

Gli esperimenti dimostrano che FoleyDirector supera significativamente gli stati dell'arte (inclusi MMAudio, HunyuanVideo-Foley, ThinkSound):

• Controllabilità (DirectorBench): Il metodo ottiene un punteggio F1 complessivo di 0.4819, raddoppiando le prestazioni rispetto al miglior baseline (0.2451). In particolare, mostra miglioramenti drastici nel controllo temporale e nella generazione di eventi controfattuali.
• Qualità Audio (VGGSound-Director): Il metodo mantiene l'alta fedeltà del modello base. I metrici di distribuzione (FD, KL) e qualità percettiva (ISC) mostrano che l'introduzione degli STS non degrada l'audio, anzi, in alcuni casi migliora l'allineamento semantico e temporale.
• Flessibilità: Il modello può passare fluidamente tra la generazione V2A standard e quella controllata disattivando semplicemente il modulo SG-TFM.
• Analisi Qualitativa: I risultati mostrano che FoleyDirector riesce a generare suoni precisi in intervalli temporali specifici (es. clacson solo tra 5-6s) e a gestire suoni fuori campo che i modelli basali non riescono a produrre correttamente.

5. Significato e Impatto

FoleyDirector rappresenta un passo avanti significativo verso l'interattività nella generazione multimediale. Trasforma l'utente da semplice osservatore a regista del suono (Foley Director), permettendo di:

• Correggere o guidare la narrazione sonora in punti specifici.
• Generare suoni per eventi non visibili o ambigui.
• Creare scenari creativi e controfattuali.

Questo lavoro colma il divario tra la generazione audio di alta qualità e il controllo granulare necessario per applicazioni professionali, aprendo la strada a sistemi di sintesi audiovisiva più espressivi e controllabili.