Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

Technisches Resümee: Schrittweise Video-zu-Audio-Synthese mittels negativer Audio-Guidance

Problemstellung
Aktuelle Video-zu-Audio (V2A)-Generationsmodelle erzeugen typischerweise eine einzige, vollständige Audiospur in einem Durchgang. Während diese Modelle eine hohe semantische und temporale Ausrichtung mit den Eingabevideos erreichen, fehlt ihnen ein Mechanismus für die inkrementelle Verfeinerung. In traditionellen Foley-Workflows legen Künstler komplementäre Klänge (z. B. Schritte, das Rascheln von Stoff) übereinander, um eine zusammengesetzte Audiospur aufzubauen. Bestehende V2A-Modelle können diesen interaktiven Prozess nicht replizieren; wenn eine generierte Spur bestimmte Ereignisse auslässt, muss die gesamte Spur neu generiert werden. Zudem würde das Erreichen einer schrittweisen Generierung durch Standard-Conditional Learning kostspielige Multi-Referenz-Video-Audio-Datensätze erfordern (bei denen ein einzelnes Video mit mehreren verschiedenen, nicht überlappenden Audiospuren gepaart ist), die in großem Maßstab schwer zu beschaffen sind.

Methodik
Die Autoren schlagen ein schrittweises Video-zu-Audio (V2A) Synthese-Framework vor, das durch Negative Audio Guidance (NAG) gesteuert wird. Dieser Ansatz ermöglicht die iterative Generierung komplementärer Audiospuren, die fehlende Audioereignisse auffüllen, ohne Klänge zu duplizieren, die bereits in zuvor generierten Spuren vorhanden sind.

1. Konzept-Negations-Formulierung:
   Die zentrale Herausforderung besteht darin, eine Ziel-Audiospur $x^{(2)}$ zu generieren, die an ein Video $V$, einen Text-Prompt $C_2$ und eine zuvor generierte Audiospur $x^{(1)}$ gekoppelt ist, wobei $x^{(2)}$ mit $V$ und $C_2$ übereinstimmen, aber Konzepte ausschließen soll, die in $x^{(1)}$ enthalten sind. Die Autoren formulieren dies als ein Konzept-Negationsproblem, indem sie die Zielverteilung $p(x^{(2)} | V, C_2, x^{(1)})$ approximieren, indem sie $x^{(1)}$ als negatives Konditionierungsmerkmal ($\neg x^{(1)}$) behandeln.

2. Ableitung des Guided Flow:
   Aufbauend auf Flow-Matching-Modellen und Classifier-Free Guidance leiten die Autoren eine neue Guidance-Formulierung ab. Sie zerlegen die Zielwahrscheinlichkeitsverteilung so, dass ein Term enthalten ist, der die Generierung von der konditionierenden Audioquelle $x^{(1)}$ abstößt. Der resultierende geführte Flow $\tilde{u}_{\theta, \psi}(x_t)$ besteht aus:

   • Einem unkonditionierten Flow-Term.
   • Einem Standard-Guidance-Term, der die Treue zum Video $V$ und zum Text $C_2$ verstärkt.
   • Einem Negative Audio Guidance (NAG) Term: $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$. Dieser Term drängt die Sampling-Trajektorie von dem akustischen Inhalt von $x^{(1)}$ weg.

3. Trainingsstrategie (Keine spezialisierten Daten):
   Um die Notwendigkeit von Multi-Referenz-Datensätzen zu vermeiden, trainieren die Autoren den audio-konditionierten Zweig (parametrisiert durch $\psi$) unter Verwendung von nicht überlappenden Audiosegmenten desselben Videos.

   • Architektur: Sie verwenden eine ControlNet-ähnliche Architektur, die für das MMAudio (ein vortrainiertes Flow-Matching V2A-Modell) angepasst wurde. Die Audio-Konditionierung wird über Single-Modal Transformer-Blöcke injiziert, die Merkmale aus der Referenz-Audiospur $x^{(1)}$ extrahieren und sie dem Hauptzweig hinzufügen.
   • Datenerstellung: Aus einem Standard-Single-Referenz-Datensatz (z. B. VGGSound) sampeln sie zwei nicht überlappende 4-Sekunden-Segmente: eines als Ziel ($x_{tgt}$) und eines als Konditionierung ($x_{cond}$). Dies zwingt das Modell dazu, den gemeinsamen akustischen Kontext (Umgebung, Timbre, Aufnahmebedingungen) zu lernen, anstatt die Wellenform zu kopieren, was es ihm ermöglicht, während der Inferenz als „repulsiver Prior“ zu fungieren.

4. Inferenzprozess:
   Die Generierung erfolgt iterativ. Für den $k$-ten Schritt wird die zusammengesetzte Audiospur aller zuvor generierten Tracks ($\sum_{l=1}^{k-1} x^{(l)}$) als negatives Konditionierungssignal $x^{(1)}$ verwendet, um den nächsten komplementären Track $x^{(k)}$ zu generieren.

Wesentliche Beiträge

• Schrittweise Synthese-Formulierung: Das Paper formuliert die V2A-Generierung als iterativen Prozess der Erstellung mehrerer komplementärer Spuren für ein einzelnes Video, was ein Foley-artiges interaktives Autorenschaft ermöglicht.
• Negative Audio Guidance (NAG): Ein neuartiger Guidance-Mechanismus, der einen audio-konditionierten Zweig während des Samplings negativ nutzt, um die Duplikation von Klängen über sequentielle Spuren hinweg zu verhindern. Entscheidend ist, dass dies unter Verwendung von Standard-Single-Referenz-Audiovisual-Datensätzen mittels nicht überlappender Segment-Sampling-Verfahren trainierbar ist.
• Verbesserte Separabilität und Qualität: Die Methode zeigt, dass es möglich ist, distinkte, hochwertige Audiospuren zu generieren, die sich in ihren Inhalten nicht überschneiden, und übertrifft dabei Baselines, die auf unabhängiger Generierung oder textbasierter negativer Prompting-Techniken beruhen.

Ergebnisse
Die Autoren evaluierten ihre Methode auf einem neu konstruierten Datensatz, Multi-Caps VGGSound, der Videos enthält, die mit mehreren verschiedenen Captions gepaart sind, welche unterschiedliche Audioereignisse beschreiben.

• Objektive Metriken:
  • Komponierte Audio: Die vorgeschlagene Methode erreichte die besten Werte in Fréchet-Distanz (FD), KL-Divergenz und temporaler Ausrichtung (DeSync) im Vergleich zu Baselines wie Seeing-and-Hearing, FoleyCrafter und Standard-MMAudio. Sie übertraf „Independent Generation“ (Generierung von Spuren ohne Kontext) und „Step-by-Step with Negative Prompting“ (Verwendung von Text, um vorherige Sounds auszuschließen).
  • Einzelne Spuren: Die Methode verbesserte die Audio-Separabilität (gemessen durch CLAP Audio-Audio-Ähnlichkeit) signifikant gegenüber dem ursprünglichen MMAudio. Während negatives Prompting die Separabilität verbesserte, verschlechterte es die Audioqualität und die Text-Ausrichtung. NAG behielt eine hohe Audioqualität und Video-Text-Ausrichtung bei und erreichte gleichzeitig eine überlegene Separabilität.
• Subjektive Evaluation:
  • Nutzerstudien zeigten, dass die vorgeschlagene Methode für die Audioqualität, die semantische Ausrichtung und die temporale Ausrichtung in der zusammengesetzten Audioaufnahme bevorzugt wurde.
  • Für einzelne Spuren erhielt die Methode deutlich höhere Bewertungen für die Separabilität und geringfügig höhere Bewertungen für die Audioqualität und Texttreue.
• Skalierbarkeit: Eine Analyse der Variation der Generationsschritte (2 bis 5 Captions) zeigte, dass die Vorteile von NAG (insbesondere in der Separabilität) deutlicher werden, wenn die Anzahl der erforderlichen Audioereignisse steigt, ohne die allgemeine Fidelität zu beeinträchtigen.

Bedeutung und Ansprüche
Das Paper behauptet, dass diese Arbeit einen kritischen Engpass in der automatisierten Foley-Arbeit löst: die Unfähigkeit, Audiospuren interaktiv zu verfeinern, ohne die gesamte Sequenz neu zu generieren. Durch die Einführung von NAG ermöglichen die Autoren einen Workflow, in dem Nutzer mehrere Audioereignisse Schritt für Schritt erstellen können, ähnlich wie traditionelle Foley-Künstler, jedoch ohne die arbeitsintensive Anforderung von Multi-Referenz-Trainingsdaten. Die Methode schließt die Lücke zwischen hochwertigen generativen Modellen und praktischem, kontrollierbarem Sounddesign, indem sie sicherstellt, dass generierte Sounds nicht nur semantisch mit dem Video übereinstimmen, sondern sich auch voneinander unterscheiden in einem zusammengesetzten Mix. Die Autoren betonen, dass ihr Ansatz praktikabel ist, da er auf bestehenden vortrainierten Modellen und Standard-Datensätzen basiert und somit die Notwendigkeit spezialisierter, schwer zu beschaffender Multi-Track-Audio-Video-Paare vermeidet.