Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

Sintesi Tecnica: Sintesi Video-Audio Passo dopo Passo tramite Guida Audio Negativa

Problema
Gli attuali modelli di generazione video-audio (V2A) producono tipicamente una singola traccia audio completa in un unico passaggio. Sebbene questi modelli raggiungano un elevato allineamento semantico e temporale con i video di input, mancano di meccanismi per il raffinamento incrementale. Nei flussi di lavoro Foley tradizionali, gli artisti sovrappongono suoni complementari (ad esempio, passi, fruscio di tessuti) per costruire una traccia audio composita. I modelli V2A esistenti non possono replicare questo processo interattivo; se una traccia generata omette eventi specifici, l'intera traccia deve essere rigenerata. Inoltre, ottenere la generazione passo dopo passo tramite l'apprendimento condizionale standard richiederebbe dataset video-audio multi-riferimento estremamente costosi (dove un singolo video è accoppiato con più tracce audio distinte e non sovrapponibili), difficili da ottenere su larga scala.

Metodologia
Gli autori propongono un framework di sintesi Video-per-Audio (V2A) passo dopo passo guidato dalla Guida Audio Negativa (NAG). Questo approccio consente la generazione iterativa di tracce audio complementari che colmano gli eventi sonori mancanti senza duplicare i suoni già presenti nelle tracce generate precedentemente.

1. Formulazione della Negazione del Concetto:
   La sfida principale consiste nel generare un audio target $x^{(2)}$ condizionato da un video $V$, un prompt testuale $C_2$ e una traccia audio precedentemente generata $x^{(1)}$, tale che $x^{(2)}$ sia allineato con $V$ e $C_2$ ma escluda i concetti presenti in $x^{(1)}$. Gli autori formulano questo problema come una negazione del concetto, approssimando la distribuzione target $p(x^{(2)} | V, C_2, x^{(1)})$ trattando $x^{(1)}$ come una condizione negativa ($\neg x^{(1)}$).

2. Derivazione del Flusso Guidato:
   Costruendo sul modello di flow-matching e sulla classifier-free guidance, gli autori derivano una nuova formulazione di guida. Essi decompongono la distribuzione di probabilità target includendo un termine che respinge la generazione dal contenuto audio di condizionamento $x^{(1)}$. Il flusso guidato risultante $\tilde{u}_{\theta, \psi}(x_t)$ consiste in:

   • Un termine di flusso non condizionato.
   • Un termine di guida standard che rafforza la fedeltà al video $V$ e al testo $C_2$.
   • Un termine di Guida Audio Negativa (NAG): $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$. Questo termine spinge la traiettoria di campionamento lontano dal contenuto acustico di $x^{(1)}$.

3. Strategia di Addestramento (Nessun Dato Specializzato):
   Per evitare la necessità di dataset multi-riferimento, gli autori addestrano la branca condizionata dall'audio (parametrizzata da $\psi$) utilizzando segmenti audio non sovrapposti dello stesso video.

   • Architettura: Utilizzano un'architettura di tipo ControlNet adattata per MMAudio (un modello V2A pre-addestrato di flow-matching). Il condizionamento audio viene iniettato tramite blocchi transformer mono-modali che estraggono le caratteristiche dal riferimento audio $x^{(1)}$ e le aggiungono alla branca principale.
   • Costruzione dei Dati: Da un dataset a singolo riferimento standard (ad esempio, VGGSound), campionano due segmenti non sovrapposti di 4 secondi: uno come target ($x_{tgt}$) e uno come condizione ($x_{cond}$). Ciò costringe il modello a imparare un contesto acustico condiviso (ambiente, timbro, condizioni di registrazione) piuttosto che copiare la forma d'onda, consentendogli di agire come un "prior repulsivo" durante l'inferenza.

4. Processo di Inferenza:
   La generazione procede iterativamente. Per il $k$-esimo passo, l'audio composito di tutte le tracce precedentemente generate ($\sum_{l=1}^{k-1} x^{(l)}$) viene utilizzato come segnale di condizionamento negativo $x^{(1)}$ per generare la successiva traccia complementare $x^{(k)}$.

Contributi Chiave

• Formulazione della Sintesi Passo dopo Passo: Il documento formula la generazione V2A come un processo iterativo di creazione di più tracce complementari per un singolo video, consentendo l'autorialità interattiva in stile Foley.
• Guida Audio Negativa (NAG): Un nuovo meccanismo di guida che utilizza una branca condizionata dall'audio negativamente durante il campionamento per prevenire la duplicazione dei suoni tra le tracce sequenziali. Fondamentalmente, questo è addestrabile utilizzando dataset audiovisivi a singolo riferimento standard tramite il campionamento di segmenti non sovrapposti.
• Migliore Separabilità e Qualità: Il metodo dimostra che è possibile generare tracce audio distinte e di alta qualità che non si sovrappongono nei contenuti, superando i baseline che si affidano alla generazione indipendente o al prompting negativo basato su testo.

Risultati
Gli autori hanno valutato il loro metodo su un dataset di nuova costruzione, Multi-Caps VGGSound, che contiene video accoppiati con molteplici didascalie distinte che descrivono diversi eventi sonori.

• Metriche Obiettive:
  • Audio Composito: Il metodo proposto ha ottenuto i punteggi migliori in Distanza di Fréchet (FD), divergenza KL e allineamento temporale (DeSync) rispetto ai baseline come Seeing-and-Hearing, FoleyCrafter e lo standard MMAudio. Ha superato la "Generazione Indipendente" (generazione di tracce senza contesto) e la "Generazione Passo dopo Passo con Prompting Negativo" (uso del testo per escludere suoni precedenti).
  • Tracce Individuali: Il metodo ha migliorato significativamente la separabilità audio (misurata tramite la similarità CLAP audio-audio) rispetto al vanilla MMAudio. Mentre il prompting negativo migliorava la separabilità, degradava la qualità audio e l'allineamento con il testo. La NAG mantiene un'alta qualità audio e un alto allineamento video-testo pur ottenendo una separabilità superiore.
• Valutazione Soggettiva:
  • Gli studi sugli utenti hanno mostrato che il metodo proposto è preferito per qualità audio, allineamento semantico e allineamento temporale nell'audio composito finale.
  • Per le tracce individuali, il metodo ha ricevuto valutazioni significativamente più alte per la separabilità e valutazioni marginalmente più alte per la qualità audio e la fedeltà del testo.
• Scalabilità: L'analisi variando il numero di passi di generazione (da 2 a 5 didascalie) ha mostrato che i benefici della NAG (specificamente nella separabilità) diventano più pronunciati all'aumentare del numero di eventi audio richiesti, senza degradare la fedeltà complessiva.

Significatività e Rivendicazioni
Il documento afferma che questo lavoro risolve un collo di bottiglia critico nell'automazione del Foley: l'impossibilità di raffinare interattivamente le tracce audio senza rigenerare l'intera sequenza. Introducendo la NAG, gli autori consentono un flusso di lavoro in cui gli utenti possono comporre più eventi sonori passo dopo passo, similmente ai tradizionali artisti Foley, ma senza la richiesta laboriosa di dati di addestramento multi-riferimento. Il metodo colma il divario tra modelli generativi di alta qualità e il sound design pratico e controllabile, garantendo che i suoni generati siano non solo semanticamente allineati con il video, ma anche distinti l'uno dall'altro in un mix composito. Gli autori sottolineano che il loro approccio è pratico poiché sfrutta modelli pre-addestrati esistenti e dataset standard, evitando la necessità di coppie audio-video specializzate e difficili da reperire.