Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

Technische Samenvatting: Stap-voor-stap Video-naar-Audio Synthese via Negatieve Audio-begeleiding

Probleemstelling
Huidige video-naar-audio (V2A) generatiemodellen produceren doorgaans een enkel, volledig audiospoor in één enkele passage. Hoewel deze modellen een hoge semantische en temporele uitlijning met de invoervideo's bereiken, missen ze mechanismen voor incrementele verfijning. In traditionele Foley-workflows stapelen artiesten complementaire geluiden (bijv. voetstappen, het ritselen van stof) om een samengesteld audiospoor op te bouwen. Bestaande V2A-modellen kunnen dit interactieve proces niet repliceren; als een gegenereerd spoor specifieke gebeurtenissen mist, moet het gehele spoor opnieuw worden gegenereerd. Bovendien zou het bereiken van stap-voor-stap generatie via standaard conditionele leerprocessen kostbare multi-referentie video-audio datasets vereisen (waarbij een enkele video gekoppeld is aan meerdere verschillende, niet-overlappende audiosporen), die moeilijk op schaal te verkrijgen zijn.

Methodologie
De auteurs stellen een Stap-voor-stap Video-naar-Audio (V2A) syntheseframework voor, gedreven door Negatieve Audio-begeleiding (NAG). Deze aanpak maakt de iteratieve generatie van complementaire audiosporen mogelijk die ontbrekende geluidsevenementen invullen zonder geluiden te dupliceren die al aanwezig zijn in eerder gegenereerde sporen.

1. Concept Negatie Formulering:
   De kernuitdaging is het genereren van een doel-audio $x^{(2)}$ geconditioneerd op een video $V$, een tekstprompt $C_2$, en een eerder gegenereerd audiospoor $x^{(1)}$, zodanig dat $x^{(2)}$ uitlijnt met $V$ en $C_2$, maar concepten uitsluit die aanwezig zijn in $x^{(1)}$. De auteurs formuleren dit als een concept-negatieprobleem, waarbij de doelverdeling $p(x^{(2)} | V, C_2, x^{(1)})$ wordt benaderd door $x^{(1)}$ te behandelen als een negatieve conditie ($\neg x^{(1)}$).

2. Afleiding van de Geleide Flow (Guided Flow):
   Bouwend op flow-matching modellen en classifier-free guidance, leiden de auteurs een nieuwe begeleidingsformulering af. Ze deconstrueren de doelwaarschijnlijkheidsverdeling om een term toe te voegen die de generatie wegstuwt van de conditionerende audio $x^{(1)}$. De resulterende geleide flow $\tilde{u}_{\theta, \psi}(x_t)$ bestaat uit:

   • Een onconditionele flow-term.
   • Een standaard begeleidingsterm die de getrouwheid aan de video $V$ en de tekst $C_2$ versterkt.
   • Een Negatieve Audio-begeleiding (NAG) term: $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$. Deze term duwt het bemonsteringspad weg van de akoestische inhoud van $x^{(1)}$.

3. Trainingsstrategie (Geen Gespecialiseerde Data):
   Om de noodzaak voor multi-referentie datasets te vermijden, trainen de auteurs de audio-geconditioneerde tak (geparameteriseerd door $\psi$) met behulp van niet-overlappende audiofragmenten van dezelfde video.

   • Architectuur: Ze maken gebruik van een ControlNet-stijl architectuur aangepast voor MMAudio (een vooraf getraind flow-matching V2A-model). De audio-conditionering wordt geïnjecteerd via single-modal transformer blocks die kenmerken extraheren uit de referentie-audio $x^{(1)}$ en deze toevoegen aan de hoofdvertakking.
   • Dataconstructie: Uit een standaard single-referentie dataset (bijv. VGGSound) nemen ze twee niet-overlappende segmenten van 4 seconden: één als doel ($x_{tgt}$) en één als conditie ($x_{cond}$). Dit dwingt het model om gedeelde akoestische context (omgeving, timbre, opnamecondities) te leren in plaats van de golfvorm te kopiëren, waardoor het in staat is te fungeren als een "afstotende prior" tijdens de inferentie.

4. Inferentieproces:
   De generatie verloopt iteratief. Voor de $k$-de stap wordt het samengestelde audio van alle eerder gegenereerde sporen ($\sum_{l=1}^{k-1} x^{(l)}$) gebruikt als het negatieve conditioneringssignaal $x^{(1)}$ om het volgende complementaire spoor $x^{(k)}$ te genereren.

Belangrijkste Bijdragen

• Stap-voor-stap Synthese Formulering: Het artikel formuleert V2A-generatie als een iteratief proces van het creëren van meerdere complementaire sporen voor een enkele video, wat Foley-stijl interactieve auteurschap mogelijk maakt.
• Negatieve Audio-begeleiding (NAG): Een nieuw begeleidingsmechanisme dat een audio-geconditioneerde tak negatief gebruikt tijdens de bemonstering om duplicatie van geluiden over opeenvolgende sporen te voorkomen. Cruciaal is dat dit getraind kan worden met standaard single-referentie audiovisuele datasets via niet-overlappende segment-sampling.
• Verbeterde Separabiliteit en Kwaliteit: De methode toont aan dat het mogelijk is om onderscheidende, hoogwaardige audiosporen te genereren die niet overlappen in inhoud, waarbij zij de baselines overtreft die vertrouwen op onafhankelijke generatie of tekstuele negatieve prompting.

Resultaten
De auteurs evalueerden hun methode op een nieuw geconstrueerde dataset, Multi-Caps VGGSound, die video's bevat gekoppeld aan meerdere verschillende bijschriften die verschillende geluidsevenementen beschrijven.

• Objectieve Metrieken:
  • Samengestelde Audio: De voorgestelde methode behaalde de beste scores in Fréchet Distance (FD), KL-divergentie en temporele uitlijning (DeSync) vergeleken met baselines zoals Seeing-and-Hearing, FoleyCrafter en standaard MMAudio. Het presteerde beter dan "Independent Generation" (sporen genereren zonder context) en "Step-by-Step met Negative Prompting" (tekst gebruiken om vorige geluiden uit te sluiten).
  • Individuele Sporen: De methode verbeterde de audio-separabiliteit (gemeten via CLAP audio-audio gelijkenis) aanzienlijk vergeleken met de vanilla MMAudio. Hoewel negatieve prompting de separabiliteit verbeterde, verslechterde dit de audiokwaliteit en de tekstuele uitlijning. NAG behield een hoge audiokwaliteit en video-tekst uitlijning terwijl het superieure separabiliteit bereikte.
• Subjectieve Evaluatie:
  • Gebruikersstudies toonden aan dat de voorgestelde methode de voorkeur genoot voor audiokwaliteit, semantische uitlijning en temporele uitlijning in de uiteindelijke samengestelde audio.
  • Voor individuele sporen kreeg de methode significant hogere beoordelingen voor separabiliteit en marginaal hogere beoordelingen voor audiokwaliteit en tekstgetrouwheid.
• Schaalbaarheid: Analyse van het variëren van het aantal generatiestappen (2 tot 5 bijschriften) toonde aan dat de voordelen van NAG (met name in separabiliteit) duidelijker worden naarmate het aantal vereiste audio-events toeneemt, zonder de algehele getrouwheid te verslechteren.

Betekenis en Claims
Het artikel claimt dat dit werk een kritieke flessenhals in automatische Foley oplost: het onvermogen om audiosporen interactief te verfijnen zonder de gehele sequentie opnieuw te genereren. Door NAG te introduceren, maken de auteurs een workflow mogelijk waarbij gebruikers meerdere geluidsevenementen stap-voor-stap kunnen componeren, vergelijkbaar met traditionele Foley-artiesten, maar zonder de arbeidsintensieve vereiste van multi-referentie trainingdata. De methode overbrugt de kloof tussen hoogwaardige generatieve modellen en praktisch, controleerbaar geluidsontwerp, waarbij gegarandeerd wordt dat gegenereerde geluiden niet alleen semantisch uitgelijnd zijn met de video, maar ook duidelijk van elkaar verschillen in een samengestelde mix. De auteurs benadrukken dat hun aanpak praktisch is omdat het gebruikmaakt van bestaande pre-trained modellen en standaard datasets, waardoor de noodzaak voor gespecialiseerde, moeilijk te verkrijgen multi-track audio-video paren wordt vermeden.