FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

FoleyDirector is een nieuw kader dat Video-naar-Audio-generatie verbetert door gebruik te maken van gestructureerde tijdschriften en een tijdsgebaseerde fusiemodule om precieze, fijnmazige tijdscontrole mogelijk te maken voor complexe multi-gebeurtenis-scenario's, terwijl de hoge audiokwaliteit van het basismodel behouden blijft.

De kern

FoleyDirector: De Regisseur van Geluid voor Video's

Stel je voor dat je een filmkijker bent. Je kijkt naar een prachtig beeld van een kat die op een muur loopt. Maar er is een probleem: de film is stom. Geen geklaauw, geen gepiep, geen geluid van de wind. Normaal gesproken zou je een dure geluidstechnicus (een "Foley-artist") nodig hebben die urenlang in een studio zit om precies het juiste geluid te maken dat bij dat beeld past.

FoleyDirector is een nieuwe slimme computer die dit werk overneemt. Maar deze computer is niet zomaar een robot; het is een slimme regisseur die je kunt vertellen exact wanneer en hoe een geluid moet klinken.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Dove" Robot

Huidige AI's die video's omzetten in geluid, zijn als een muzikant die blind speelt. Ze kijken naar het beeld en hopen dat ze het juiste geluid raden.

• Het probleem: Als een kat buiten beeld is (bijvoorbeeld achter de muur), ziet de AI niets en maakt hij geen geluid. Of als je wilt dat een auto-toeter alleen op 5 seconden klinkt en daarna stil is, kan de oude AI dat niet. Hij denkt: "Oh, er is een auto, dus ik maak de hele tijd een toetergeluid."

2. De Oplossing: Het "Draaiboek" (Structured Temporal Scripts)

FoleyDirector introduceert iets nieuws: een Gestructureerd Draaiboek.
Stel je voor dat je niet alleen zegt: "Maak een film over een auto." Je geeft de regisseur een gedetailleerd script:

• 0-5 seconden: Stilte.
• 5-6 seconden: Een auto-toeter (piep!).
• 6-10 seconden: Stilte.

In plaats van dat de AI gissen moet, leest hij dit script. Dit is als het verschil tussen een acteur die improviseert en een acteur die een tekstboek heeft. De AI weet nu precies wanneer hij moet spelen en wat hij moet spelen, zelfs als je in het beeld niets ziet.

3. De Magische Trucs

A. De "Twee-Kanaals" Studio (Bi-Frame Sound Synthesis)

Soms wil je geluiden die je niet in beeld ziet. Denk aan iemand die buiten de kamer schreeuwt, of een hond die blaft terwijl de camera op een bloementuin gericht is.

• Hoe het werkt: FoleyDirector heeft twee geluidskanalen.
  1. Het "In-beeld" kanaal: Luistert naar wat je ziet (de bloemen).
  2. Het "Buiten-beeld" kanaal: Luistert alleen naar je script.
• De analogie: Het is alsof je twee muzikanten hebt. Eén speelt wat je ziet (de bloemen), en de andere speelt wat je vertelt (de schreeuwende man), zonder dat de eerste muzikant zich laat afleiden door wat de tweede doet. Ze worden daarna perfect samengevoegd.

B. De "Tijdbewuste" Regisseur (Temporal Fusion)

De AI moet niet alleen weten wat er gebeurt, maar ook hoe lang het duurt.

• De analogie: Stel je voor dat je een cake bakt. De oude AI gooide alle ingrediënten (bloem, suiker, eieren) in één grote bak en hoopte dat het een cake werd. FoleyDirector gebruikt een tijdbewuste regisseur die zegt: "Eerst 2 minuten bloem, dan 1 minuut suiker, en pas op het einde de eieren." Hierdoor klopt het geluid perfect met de timing van het beeld.

4. Waarom is dit geweldig?

• Jij bent de regisseur: Je kunt zelf beslissen: "Laat de kat miauwen op seconde 2, maar laat de mens praten op seconde 4." De AI luistert naar jou, niet alleen naar het beeld.
• Geen gissen meer: Zelfs als er een object verborgen is (bijvoorbeeld een hond achter een hek), maakt de AI het geluid omdat jij in het script hebt gezegd dat de hond er is.
• Flexibiliteit: Je kunt de regisseur ook uitschakelen. Als je gewoon een snelle video met geluid wilt zonder gedoe, werkt de AI weer zoals gewoonlijk.

Samenvatting

FoleyDirector is als het geven van een tijdschema aan een muzikant. In plaats van dat de muzikant raden moet wat er speelt, krijg jij de controle. Je kunt zeggen: "Speel dit geluid op dit moment, en dat geluid op dat moment," zelfs als je op het scherm niets ziet. Het maakt het maken van films met geluid veel makkelijker, creatiever en preciezer.

Technische samenvatting

Probleemstelling

Bestaande Video-naar-Audio (V2A) generatiemodellen hebben aanzienlijke vooruitgang geboekt in het creëren van realistische audio. Ze kampen echter met drie fundamentele beperkingen:

1. Gebrek aan fijnmazige temporele controle: Modellen kunnen moeilijk specifieke geluiden op exacte tijdstippen genereren of onderdrukken, vooral in scenario's met meerdere gebeurtenissen.
2. Onvoldoende visuele cues: Wanneer geluiden afkomstig zijn van kleine objecten, buiten beeld (off-screen), of verduisterd zijn, missen de modellen de nodige visuele informatie om het geluid correct te synchroniseren.
3. Beperkte controleerbaarheid: Gebruikers kunnen niet fungeren als "Foley-regisseurs" om de generatie te sturen; bestaande methoden bieden geen mechanismen om geluiden te manipuleren op basis van tekstuele instructies voor specifieke tijdsintervallen.

Methodologie: FoleyDirector

FoleyDirector is een framework dat de temporele controleerbaarheid van DiT-gebaseerde (Diffusion Transformer) V2A-generatie uitbreidt, gebaseerd op het bestaande MMAudio-model. Het framework introduceert drie kerncomponenten:

1. Gestructureerde Temporele Scripts (STS)

In plaats van één globale tekstbeschrijving voor het hele video, wordt de audio opgedeeld in korte, fijne segmenten (bijv. 1 seconde). Voor elk segment wordt een specifieke beschrijving gegenereerd die de semantiek, luidheid en timbre van het geluid in dat specifieke tijdsvenster beschrijft.

• Data-anotatie: Een pijplijn met behulp van een Multimodaal Groot Taalmodel (Qwen-Omni) analyseert audio en video om deze segment-level scripts automatisch te extraheren.
• Doel: Dit biedt rijke, gedetailleerde temporele informatie die verder gaat dan wat visueel waarneembaar is.

2. Script-Guided Temporal Fusion Module (SG-TFM)

Om de STS-features naadloos te integreren zonder de kwaliteit van het bestaande model te verstoren, wordt een adaptermodule ontwikkeld:

• Temporal Script Attention (TSA): Een extra attentie-laag die de STS-features fuseert met de audio-latents.
• Interleaved RoPE: Om de temporele alignatie tussen de scripts en de audio-features te verbeteren, wordt een "Interleaved Rotary Positional Embedding" gebruikt. Dit zorgt ervoor dat de model de temporele volgorde van de scripts en de audio coherent begrijpt.
• Flexibiliteit: De module kan in- en uitgeschakeld worden. Als deze wordt uitgeschakeld, werkt het model als een standaard V2A-generator; als deze aan staat, werkt het met temporele controle.

3. Bi-Frame Geluidssynthese Framework

Om complexe scenario's aan te pakken waarbij geluiden zowel binnen beeld (in-frame) als buiten beeld (out-of-frame) voorkomen, wordt een dubbele generatiestroom gebruikt:

• In-Frame Stream: Genereert geluid gebaseerd op video, tekst en scripts.
• Out-of-Frame Stream: Genereert geluid gebaseerd op tekst en scripts, maar gebruikt een "null" visuele embedding. Hierdoor wordt de visuele dominantie doorbroken, waardoor het model kan genereren wat er niet zichtbaar is (bijv. een hond die blaft achter de camera).
• Fusie: De twee streams worden per tijdssegment samengevoegd, wat zorgt voor een flexibele en precieze controle over welke geluiden wanneer en waar klinken.

Datasets en Evaluatie

Om het model te trainen en te evalueren, introduceerden de auteurs nieuwe datasets en benchmarks:

• DirectorSound: Een nieuw dataset verzameld via de annotatiepijplijn, gebaseerd op VGGSound en AudioCaps, met gedetailleerde temporele scripts.
• DirectorBench: Een benchmark specifiek ontworpen om temporele controle en contrafactualiteit (bijv. "een kat die miauwt in plaats van een hond die blaft") te testen.
• VGGSound-Director: Een subset van VGGSound met temporele annotaties om de audiokwaliteit en distributie te evalueren.

Resultaten

De experimenten tonen aan dat FoleyDirector de state-of-the-art significantly verbetert:

• Controleerbaarheid: Op DirectorBench steeg de F1-score voor temporele controle van 0,2572 (Hunyuan-Foley) naar 0,4354, en voor contrafactualiteit van 0,2331 naar 0,5284.
• Audiokwaliteit: Het model behoudt de hoge kwaliteit van de basis (MMAudio). Op VGGSound-Director toont het lagere KL-divergentie en hogere Inception Scores (ISC) aan, wat aangeeft dat de gegenereerde audio dichter bij echte opnames ligt en van hogere kwaliteit is.
• Robuustheid: Het framework slaagt erin om geluiden te genereren in situaties met onvoldoende visuele cues (bijv. stilte op specifieke momenten of geluiden van objecten buiten beeld), waar andere modellen falen.
• Gebruikersonderzoek: Subjectieve evaluaties bevestigen dat gebruikers de controleerbaarheid en temporele alignatie van FoleyDirector aanzienlijk hoger waarderen dan bestaande methoden.

Bijdrage en Betekenis

De belangrijkste bijdragen van dit werk zijn:

1. Eerste temporele controle in V2A: Het introduceert voor het eerst een mechanisme voor fijnmazige temporele sturing in DiT-gebaseerde V2A-generatie.
2. Decompositie van complexiteit: Door complexe beschrijvingen om te zetten in gestructureerde scripts (STS) en deze via een speciaal fusion-module te integreren, wordt de kloof tussen visuele beperkingen en auditieve vereisten overbrugd.
3. Flexibiliteit: Het biedt een framework waarbij gebruikers kunnen schakelen tussen standaard generatie en geavanceerde regie, waardoor ze kunnen fungeren als Foley-artiesten.
4. Resource: Het beschikbaar stellen van de DirectorSound dataset en de DirectorBench benchmark stelt de gemeenschap in staat om toekomstige V2A-modellen op controleerbaarheid te evalueren.

Conclusie:
FoleyDirector markeert een belangrijke stap in de evolutie van generatieve AI voor audio. Het verlegt de focus van puur "automatisch genereren" naar "gecontroleerd regisseren", waardoor gegenereerde video's niet alleen visueel, maar ook auditief veel realistischer en expressiever worden, zelfs in complexe scenario's waar visuele informatie ontbreekt.