Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models

Die Arbeit stellt MMHNet vor, ein hierarchisches multimodales Netzwerk, das auf nicht-kausalen Mamba-Modellen basiert und es Video-zu-Audio-Generierungsmodellen ermöglicht, durch Training nur auf kurzen Sequenzen erfolgreich Audio für Videos von über fünf Minuten Länge zu erzeugen.

Das Wesentliche

Stell dir vor, du bist ein Filmemacher. Du hast einen langen, spannenden Film gedreht, aber das Tonaufnahmegerät war kaputt. Jetzt brauchst du jemanden, der den ganzen Film anhört und die passenden Geräusche (Schritte, Wind, Explosionen) im richtigen Moment hinzufügt.

Bisher waren die KI-Modelle für diese Aufgabe wie kleine Kinder, die nur kurze Sätze verstehen konnten. Wenn du ihnen einen 10-Sekunden-Clip gabst, konnten sie das perfekt machen. Aber wenn du ihnen einen 5-minütigen Film gabst, wurden sie verwirrt. Sie vergaßen, was am Anfang passiert war, oder die Geräusche passten plötzlich nicht mehr zum Bild. Das lag daran, dass sie ihre „Gedächtnisstützen" (Positionscodes) nur für kurze Zeit ausgelegt hatten.

Hier kommt die neue Erfindung aus dem Papier vor: MMHNet.

Das Problem: Der „Kurze-Atem"-Effekt

Die alten Modelle waren wie ein Musiker, der nur ein paar Takte spielen kann. Wenn man ihn bittet, ein ganzes Konzert zu spielen, verliert er den Takt.

• Das alte Problem: Die Modelle wurden nur mit kurzen Videos (ca. 8 Sekunden) trainiert. Wenn man sie dann mit langen Videos testete, versagten sie. Sie wussten nicht, wie sie sich über längere Zeit orientieren sollten.
• Die Folge: Bei langen Videos klangen die Geräusche oft wie ein durcheinander gewürfelter Haufen oder hörten einfach auf, zum Bild zu passen.

Die Lösung: MMHNet – Der erfahrene Dirigent

Die Forscher haben ein neues System gebaut, das wie ein erfahrener Dirigent funktioniert, der ein ganzes Orchester leiten kann, ohne den Takt zu verlieren.

Hier sind die drei genialen Tricks, die sie benutzt haben:

1. Der „Ohne-Noten"-Trick (Non-Causal Mamba)

Die alten Modelle mussten jede Sekunde in einer strengen Reihenfolge lesen, wie ein Buch, das man Seite für Seite liest. Wenn das Buch zu lang wurde, vergaßen sie den Anfang.

• Die neue Methode: MMHNet nutzt eine Technologie namens Mamba. Stell dir das vor wie einen Dirigenten, der das ganze Orchester auf einmal sieht. Er muss nicht warten, bis die Geige spielt, um zu wissen, was die Trompete macht. Er kann den gesamten Film „auf einen Blick" erfassen, egal ob er 10 Sekunden oder 5 Minuten dauert. Er braucht keine starren „Noten" (Positionscodes), die ihn an kurze Stücke binden.

2. Der „Intelligente Filter" (Hierarchisches Routing)

Stell dir vor, du musst einen 5-minütigen Film analysieren. Die meiste Zeit passiert aber gar nichts Spannendes (z. B. eine ruhige Landschaft).

• Das alte Problem: Die KI versuchte, jede einzelne Sekunde mit der gleichen Intensität zu bearbeiten. Das war wie ein Übersetzer, der jedes Wort eines langen Buches Wort für Wort übersetzen wollte, auch wenn es nur „Äh" und „Ähm" waren. Das war ineffizient und verwirrte das System.
• Die neue Methode: MMHNet hat einen intelligenten Filter. Er schaut sich den Film an und sagt: „Moment, hier passiert nichts, das ignorieren wir mal." Er konzentriert sich nur auf die wichtigen Momente (wenn jemand spricht oder ein Ball aufspringt). Das nennt man hierarchisches Routing. Es ist wie ein Lesezeichen, das nur die spannenden Kapitel markiert, damit der Dirigent nicht den Überblick verliert.

3. Der „Kurz-Trainiert, Lang-Geübt"-Effekt

Das Coolste an diesem Papier ist, dass sie das Modell nur mit kurzen Clips trainiert haben (wie ein Musiker, der nur Etüden übt), aber es mit langen Filmen getestet haben (wie ein Konzert).

• Normalerweise denkt man: „Wenn du nur kurze Stücke übst, kannst du kein langes Konzert spielen."
• Aber MMHNet hat bewiesen: Wenn du die richtige Struktur (den Dirigenten-Stil und den Filter) hast, kannst du das Gelernte auf jede Länge übertragen. Es ist, als würde man einem Kind beibringen, wie man ein Rad fährt, und es könnte danach auch ein ganzes Fahrradrennen fahren, ohne extra dafür trainiert worden zu sein.

Das Ergebnis

In Tests hat MMHNet gezeigt, dass es über 5 Minuten lange Videos perfekt vertonen kann.

• Vergleich: Andere Modelle (wie LoVA oder V-AURA) haben bei langen Videos angefangen, Geräusche zu verzerren oder den Takt zu verlieren.
• MMHNet: Bleibt auch nach 5 Minuten synchron. Wenn im Video jemand fällt, macht es genau dann ein „Patsch"-Geräusch, nicht erst eine Sekunde später oder gar nicht.

Zusammenfassung in einem Satz

MMHNet ist wie ein unermüdlicher, allsehender Dirigent, der gelernt hat, wie man Geräusche erstellt, indem er nur kurze Proben sah, aber jetzt in der Lage ist, ganze Symphonien (lange Filme) zu dirigieren, ohne den Takt zu verlieren oder den Überblick zu verlieren.

Das Papier zeigt also, dass wir endlich KI-Modelle haben, die nicht nur für TikTok-Clips (kurz) taugen, sondern auch für echte Hollywood-Filme (lang).

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung der Längengeneralisierung (Length Generalization) bei der Generierung von Audio aus Videos (Video-to-Audio, V2A).

• Aktueller Stand: Bestehende V2A-Modelle (z. B. auf Diffusion oder Transformer basierend wie MMAudio) sind primär für kurze Clips (ca. 8–10 Sekunden) trainiert.
• Das Problem: Wenn diese Modelle auf längere Videos (bis zu 5 Minuten oder mehr) angewendet werden, versagen sie oft. Die generierten Audios sind entweder fragmentiert, verlieren den semantischen Kontext oder die Qualität verschlechtert sich drastisch.
• Ursachen:
  • Positional Embeddings: Transformer-Architekturen benötigen explizite Positional Embeddings (z. B. RoPE), die während des Trainings auf eine feste Sequenzlänge festgelegt sind. Bei längeren Sequenzen zur Inferenz führt dies zu Generalisierungsproblemen.
  • Datenmangel: Es gibt wenige große Datensätze mit langen, synchronisierten Audio-Video-Paaren, was das Training von Modellen für lange Sequenzen erschwert.
  • Fehlerakkumulation: Autoregressive Modelle neigen bei langen Sequenzen zu Fehlakkumulation (Drift).
• Ziel: Ein Modell zu entwickeln, das auf kurzen Clips (z. B. 8 Sekunden) trainiert wird, aber in der Lage ist, qualitativ hochwertige, kohärente Audios für sehr lange Videos (bis >5 Minuten) zu generieren, ohne das Modell für längere Längen neu zu trainieren.

2. Methodik: MMHNet

Die Autoren stellen MMHNet (Multimodal Hierarchical Network) vor, eine Erweiterung bestehender State-of-the-Art-Modelle. Die Architektur kombiniert mehrere innovative Komponenten:

• Non-Causal Mamba-2 statt Transformer:

  • Anstelle von Transformer-Attention-Mechanismen wird Mamba-2 (ein State-Space-Modell) verwendet.
  • Vorteil: Mamba benötigt keine expliziten Positional Embeddings und kann Sequenzen effizient verarbeiten, unabhängig von ihrer Länge.
  • Non-Causal Ansatz: Da Video-Informationen offline verfügbar sind (nicht kausal), wird ein non-causales Mamba-2 verwendet. Dies ermöglicht einen omnidirektionalen Informationsfluss und verhindert das „Modulation Decay" (Abschwächung des Signals über lange Sequenzen), das bei kausalen Modellen auftritt. Dies ist entscheidend für die globale Kohärenz bei langen Videos.

• Hierarchische Struktur (HNet):

  • Um die Rechenkomplexität bei langen Sequenzen zu reduzieren, wird ein hierarchischer Ansatz gewählt.
  • Kompression: Das Modell verarbeitet Daten zunächst in einem „komprimierten Raum" mit weniger Tokens.
  • Routing-Mechanismen:
    • Temporal Routing: Identifiziert und filtert redundante Zeitabschnitte (z. B. Stille oder wiederholte Szenen), indem nur Tokens mit distinkter zeitlicher Information weiterverarbeitet werden.
    • Multimodal (MM) Routing: Wählt Tokens basierend auf der Ähnlichkeit zwischen Modalitäten (z. B. Audio und Video) aus. Nur die relevantesten Tokens werden an das Hauptnetzwerk weitergeleitet, was die Kreuzmodale Ausrichtung verbessert.

• Flow Matching:

  • Das Generativ-Modell nutzt Conditional Flow Matching im latenten Raum, um die Verteilung des Audios basierend auf Video- und Textbedingungen zu lernen. Dies ermöglicht eine effiziente Generierung ohne die Fehlerakkumulation autoregressiver Methoden.

• Architektur-Details:

  • Integration von globalen Bedingungen (via adaLN) und token-level Bedingungen (CLIP für Video/Text, Synchformer für Synchronisation).
  • Verwendung von Chunking (Downsampling) und Dechunking (Upsampling), um die Tokens dynamisch zu verwalten.

3. Schlüsselbeiträge

1. Einführung der Längengeneralisierung: Das Paper definiert und adressiert das spezifische Problem, Modelle auf kurzen Daten zu trainieren und auf lange Videos zu testen, ohne dass dies in den Trainingsdaten vorkam.
2. Entwicklung von MMHNet: Ein neues Framework, das Multimodalität mit hierarchischen Netzwerken und Non-Causal Mamba-2 kombiniert, um lange, kohärente Audios zu generieren.
3. Benchmarking und Validierung: Einführung eines umfassenden Evaluierungsframeworks für lange V2A-Aufgaben auf den Datensätzen UnAV100 und LongVale, die Videos bis zu 5–7 Minuten enthalten.

4. Ergebnisse

Die Experimente zeigen, dass MMHNet bestehende State-of-the-Art-Methoden (wie MMAudio, LoVA, V-AURA, HunyuanVideo-Foley) signifikant übertrifft:

• Leistung auf langen Sequenzen: MMHNet generiert erfolgreich Audios für Videos von über 5 Minuten, während andere Modelle bei Längen über 1 Minute stark an Qualität verlieren.
• Metriken:
  • Verteilungsanpassung (Distribution Matching): Deutlich niedrigere FD-Scores (Fréchet Distance) im Vergleich zu Baselines.
  • Multimodale Ausrichtung (IB-Score): MMHNet erreicht die höchsten Scores (z. B. 36,82 auf UnAV100 vs. 32,90 bei HunyuanVideo-Foley), was eine bessere semantische Übereinstimmung zwischen Bild und Ton beweist.
  • Zeitliche Synchronisation (DeSync): Niedrigere Werte (bessere Synchronisation), z. B. 0,410 vs. 0,593 bei MMAudio-L.
• Längengeneralisierung: Während die Leistung von Transformer-basierten Modellen (wie MMAudio) mit zunehmender Videolänge drastisch einbricht (z. B. FDPANNs steigt stark an), bleibt die Leistung von MMHNet über verschiedene Längen (10s bis 60s+) stabil.
• Ablationsstudien: Die Studie bestätigt, dass die Kombination aus Non-Causal Mamba-2 und dem hierarchischen Routing entscheidend für den Erfolg ist. Kausale Mamba-2-Modelle und reine Transformer-Modelle ohne Positional Embeddings schneiden schlechter ab.

5. Bedeutung und Fazit

Das Paper ist ein wichtiger Schritt in der Generativen KI für multimodale Aufgaben.

• Praktische Relevanz: Es ermöglicht die Anwendung von V2A-Modellen in realen Szenarien wie Filmproduktion und Gaming, wo lange, zusammenhängende Soundtracks benötigt werden, ohne dass manuelle Segmentierung oder wiederholte Generierung nötig ist.
• Architektonischer Wandel: Es demonstriert, dass der Wechsel von Transformer-basierten Architekturen zu State-Space-Modellen (Mamba) in Kombination mit hierarchischen Routing-Strategien ein vielversprechender Weg ist, um die Limitierungen von Positional Embeddings und die Skalierbarkeit bei langen Sequenzen zu überwinden.
• Ressourceneffizienz: Durch das Training auf kurzen Clips und die Generalisierung auf lange Videos wird der Bedarf an massiven, langen Trainingsdatensätzen reduziert.

Zusammenfassend bietet MMHNet eine robuste Lösung für das „Train-Short, Test-Long"-Problem und setzt einen neuen Standard für die Generierung von Audio aus langen Videos.