FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

Das Paper stellt FoleyDirector vor, ein Framework, das durch strukturierte zeitliche Skripte und eine spezielle Fusionsarchitektur die präzise zeitliche Steuerung bei der Video-zu-Audio-Generierung ermöglicht und dabei die Audioqualität sowie die Handhabung komplexer Mehrereignis-Szenarien verbessert.

Das Wesentliche

Stell dir vor, du hast einen stummen Film. Vielleicht siehst du eine Katze, die gähnt, oder ein Auto, das vorbeifährt. Aber es ist komplett still. Früher mussten Sound-Designer (die sogenannten "Foley-Künstler") mühsam jede einzelne Geräuschspur manuell aufnehmen und perfekt auf das Bild abstimmen – ein teurer und zeitaufwändiger Prozess.

Heute gibt es KI, die das automatisch macht. Aber diese KIs haben ein Problem: Sie sind wie ein blinder Dirigent. Sie hören das Bild, aber sie können nicht genau sagen, wann genau ein Geräusch kommen soll. Wenn du sagst: "Miau in Sekunde 2, dann Reden in Sekunde 4", versteht die alte KI das oft nicht. Sie macht einfach ein langes "Miau-Reden-Miau"-Gemisch oder ignoriert deine Wünsche, weil sie sich zu sehr auf das Bild verlässt.

Hier kommt FoleyDirector ins Spiel. Es ist wie ein Super-Assistent für Filmregisseure, der endlich versteht, dass ein Film aus vielen kleinen, zeitlich genau getakteten Momenten besteht.

Hier ist die Erklärung in drei einfachen Teilen:

1. Das Problem: Der "Grobe" Regisseur

Die alten KIs (wie HunyuanVideo-Foley) bekommen nur eine grobe Beschreibung: "Ein Auto fährt vorbei." Sie wissen nicht, ob das Hupen vor dem Auto oder nach dem Auto passiert.

• Das Bild ist nicht genug: Manchmal siehst du im Video gar nicht, woher das Geräusch kommt (z. B. ein Hund bellt hinter der Kamera). Die alte KI ist dann ratlos und macht nichts oder macht es falsch.
• Keine Zeitkontrolle: Du kannst nicht sagen: "Stille von 5 bis 6 Sekunden, dann Hupen."

2. Die Lösung: Das "Strukturierte Drehbuch" (Structured Temporal Scripts)

FoleyDirector löst das, indem es dem Film ein Drehbuch in Sekundenbruchteilen gibt.
Stell dir vor, statt dem KI zu sagen "Mach ein Geräusch", gibst du ihr ein Skript, das so aussieht:

• Sekunde 0-1: "Stille."
• Sekunde 1-2: "Katze miaut."
• Sekunde 2-3: "Stille."
• Sekunde 3-4: "Mensch spricht."

Die KI nennt das Structured Temporal Scripts (STS). Das ist wie eine Liste von Anweisungen für jeden einzelnen Moment des Films. Die KI liest dieses Skript und weiß genau: "Ah, jetzt muss ich das Hupen einfügen, nicht vorher und nicht nachher."

3. Die Magie: Der "Zwei-Kanal-Synthesizer" (Bi-Frame Sound Synthesis)

Das ist der coolste Teil. Was, wenn du im Bild einen Tiger siehst, der gähnt, aber du willst, dass er plötzlich miaut (weil es ein lustiger Film ist)? Oder wenn du einen Hund hörst, der hinter der Kamera bellt?

Die alte KI würde sagen: "Ich sehe einen Tiger gähnen, also muss ich ein Gähngeräusch machen." Sie lässt sich vom Bild zu sehr leiten.

FoleyDirector hat einen Zwei-Kanal-Modus:

• Kanal A (Im Bild): Hört auf das, was man sieht (der Tiger gähnt).
• Kanal B (Außerhalb des Bildes): Ignoriert das Bild komplett und hört nur auf dein Skript (der Tiger miaut oder ein Hund bellt im Hintergrund).

Die KI mischt diese beiden Kanäle dann perfekt zusammen. Sie kann also gleichzeitig das Gähnen des Tigers (im Bild) und das Miauen (deine kreative Idee) erzeugen, ohne dass das Bild verwirrt wird.

Warum ist das so toll?

• Präzision: Du bist jetzt der Regisseur. Du bestimmst genau, wann was passiert.
• Kreativität: Du kannst Dinge hinzufügen, die gar nicht im Bild zu sehen sind (z. B. Hintergrundmusik oder Geräusche von Off-Screen-Charakteren).
• Flexibilität: Du kannst zwischen "normalem Film" (KI macht alles automatisch basierend auf dem Bild) und "gesteuertem Film" (du gibst das Skript vor) hin- und herwechseln, ohne die Qualität zu verlieren.

Zusammenfassend:
FoleyDirector verwandelt die KI von einem blinden Nachahmer in einen gehorchenden Orchesterdirigenten. Du hältst den Taktstock (das Skript), und die KI spielt die Musik (die Geräusche) genau dann, wenn du es willst – egal, ob man die Instrumente im Bild sieht oder nicht. Das macht aus einem stummen Video einen lebendigen, kontrollierbaren Film.

Technische Zusammenfassung

1. Problemstellung

Trotz erheblicher Fortschritte bei der Generierung von Video-zu-Audio (V2A) durch Modelle auf Basis von Diffusion und DiT (Diffusion Transformers) bestehen weiterhin signifikante Einschränkungen:

• Fehlende feinkörnige zeitliche Kontrolle: Bestehende Modelle können Audioereignisse oft nicht präzise auf spezifische Zeitintervalle beschränken. Sie scheitern daran, zu steuern, wann genau ein Sound beginnt oder endet, besonders in Szenarien mit mehreren Ereignissen.
• Unzureichende visuelle Hinweise: Wenn visuelle Informationen unvollständig sind (z. B. bei kleinen Objekten, verdeckten Gegenständen oder Off-Screen-Sounds), können die Modelle die korrekte zeitliche Synchronisation nicht allein aus dem Video ableiten.
• Mangelnde Benutzerkontrolle: Nutzer können nicht als „Foley-Regisseure" agieren, um gezielt Sounds in bestimmten Segmenten zu erzwingen oder Stille zu erzwingen, ohne die generelle Audioqualität zu beeinträchtigen.

2. Methodik: FoleyDirector

FoleyDirector ist ein Framework, das auf dem vortrainierten MMAudio-Generator aufbaut und feinkörnige zeitliche Steuerung ermöglicht, ohne die Basisqualität zu opfern. Es besteht aus drei Hauptkomponenten:

A. Strukturierte Zeitliche Skripte (Structured Temporal Scripts - STS)

Anstatt einer einzigen globalen Textbeschreibung wird das Video in kurze zeitliche Segmente (z. B. 1 Sekunde) unterteilt. Für jedes Segment wird eine spezifische Textbeschreibung (Caption) erstellt, die den erwarteten Sound, die Lautstärke und den Klangcharakter beschreibt.

• Extraktion: Ein Pipeline-Prozess nutzt ein multimodales Large Language Model (Qwen-Omni), um Audioinhalte zu erkennen, zu kategorisieren und segmentweise zu annotieren.
• Ziel: Dies liefert dem Modell reichhaltigere zeitliche und semantische Hinweise als das reine Video oder eine globale Caption.

B. Script-Guided Temporal Fusion Module (SG-TFM)

Dies ist ein Adapter-Modul, das die STS-Features in den DiT-Generator integriert, ohne die Architektur des Basismodells grundlegend zu verändern.

• Temporal Script Attention (TSA): Eine zusätzliche Aufmerksamkeits-Schicht fusioniert die STS-Features mit den Audio-Latents.
• Interleaved RoPE: Um eine zeitliche Kohärenz zwischen den Text-Features (STS) und den Audio-Features sicherzustellen, wird eine verschachtelte (interleaved) Rotary Positional Encoding (RoPE)-Mechanik verwendet. Dies verbessert die zeitliche Ausrichtung während der Fusion.
• Flexibilität: Das Modul kann aktiviert oder deaktiviert werden. Wenn es deaktiviert ist, arbeitet das Modell im Standard-V2A-Modus.

C. Bi-Frame Sound Synthesis Framework

Um komplexe Szenarien zu bewältigen, bei denen sowohl On-Screen- als auch Off-Screen-Sounds (oder kontrafaktische Sounds) gleichzeitig existieren, wird der Generierungsprozess in zwei parallele Ströme aufgeteilt:

1. In-Frame: Wird durch Video, Text und STS gesteuert.
2. Out-of-Frame: Wird durch Text und STS gesteuert, erhält jedoch keine visuellen Eingaben (verwendet einen lernbaren Null-Embedding für das Video).
   Diese beiden Ströme werden zeitlich abgestimmt fusioniert, was eine präzise Trennung und Kontrolle von sichtbaren und nicht-sichtbaren Soundquellen ermöglicht.

3. Wichtige Beiträge

1. FoleyDirector Framework: Das erste System, das eine präzise zeitliche Steuerung in DiT-basierten V2A-Modellen ermöglicht, während die hohe Audioqualität des Basismodells erhalten bleibt.
2. STS und SG-TFM: Die Einführung von strukturierten zeitlichen Skripten und deren Integration über ein temporales Fusionsmodul, das eine kohärente zeitliche Steuerung erlaubt.
3. Bi-Frame Synthese: Ein neuer Ansatz zur gleichzeitigen Rendering von On- und Off-Screen-Sounds, der die Kontrolle über komplexe, mehrdeutige Szenen erhöht.
4. Daten und Benchmarks:
   • DirectorSound: Ein neu erstellter Datensatz mit fein abgestimmten zeitlichen Annotationen.
   • DirectorBench: Ein Benchmark zur Bewertung der Kontrollierbarkeit (zeitliche und kontrafaktische Steuerung).
   • VGGSound-Director: Ein Subset von VGGSound zur Evaluierung der Audioqualität unter kontrollierten Bedingungen.

4. Ergebnisse

Die Experimente zeigen signifikante Verbesserungen gegenüber State-of-the-Art-Modellen (wie MMAudio, HunyuanVideo-Foley, ThinkSound):

• Kontrollierbarkeit (DirectorBench):
  • Der F1-Score für die zeitliche Kontrolle stieg von 0,2572 (Hunyuan-Foley) auf 0,4354.
  • Der F1-Score für kontrafaktische Kontrolle (z. B. ein Tiger, der miaut) stieg von 0,2331 auf 0,5284.
  • Das Modell erreicht die beste Gesamtleistung (F1: 0,4819) und zeigt, dass es Sounds präzise in den gewünschten Intervallen generieren kann, auch wenn keine visuellen Hinweise vorhanden sind.
• Audioqualität (VGGSound-Director):
  • Die Einführung von STS verschlechtert die generierte Audioqualität nicht; im Gegenteil, die Verteilung passt sich besser an reale Aufnahmen an (niedrigere FD- und KL-Divergenz).
  • Die Inception Score (ISC) Werte verbessern sich leicht, was auf eine höhere Qualität hindeutet.
• Benutzerstudie: Subjektive Bewertungen durch Nutzer bestätigten die überlegene Kontrollierbarkeit und zeitliche Ausrichtung von FoleyDirector im Vergleich zu Baseline-Modellen.

5. Bedeutung und Ausblick

FoleyDirector stellt einen Paradigmenwechsel dar, indem es die Rolle des Nutzers von einem passiven Beobachter zu einem aktiven Regisseur (Foley Director) verändert.

• Praktische Anwendung: Es ermöglicht die Erstellung von Soundtracks, die nicht nur visuell synchronisiert sind, sondern auch narrative Elemente (Off-Screen-Geräusche, gezielte Stille) enthalten können.
• Technischer Fortschritt: Die Arbeit zeigt, dass die Entkopplung von visuellen und textuellen/zeitlichen Steuerungssignalen (durch Bi-Frame und STS) entscheidend ist, um die Grenzen aktueller multimodaler Modelle zu überwinden.
• Zukunft: Das Framework legt den Grundstein für komplexere Mehrspur-Audio-Generierung und feinere Steuerung in generativen Video-Audio-Systemen.

Zusammenfassend bietet FoleyDirector eine robuste Lösung für die feinkörnige zeitliche Steuerung in der V2A-Generierung, indem es strukturierte Textanweisungen nutzt, um die Lücken visueller Informationen zu schließen und präzise Sound-Erlebnisse zu ermöglichen.