💻 computer science

OmniForcing: Unleashing Real-time Joint Audio-Visual Generation

Das Paper stellt OmniForcing vor, ein bahnbrechendes Framework, das durch eine asymmetrische Block-kausale Ausrichtung, Audio-Sink-Token und eine gemeinsame Selbst-Forcing-Distillation einen bidirektionalen Audio-Visual-Diffusionsmodell in einen hochfiden, echtzeitfähigen autoregressiven Generator umwandelt, der auf einer einzigen GPU bei 25 FPS synchronisierte Multimodalität erzeugt.

Ursprüngliche Autoren: Yaofeng Su, Yuming Li, Zeyue Xue, Jie Huang, Siming Fu, Haoran Li, Ying Li, Zezhong Qian, Haoyang Huang, Nan Duan

Veröffentlicht 2026-03-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yaofeng Su, Yuming Li, Zeyue Xue, Jie Huang, Siming Fu, Haoran Li, Ying Li, Zezhong Qian, Haoyang Huang, Nan Duan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen Film mit perfektem Ton und Bild in Echtzeit erstellen – wie ein Live-Stream, bei dem jede Bewegung auf dem Bildschirm sofort mit dem richtigen Geräusch synchronisiert ist. Bisher war das ein fast unmögliches Unterfangen für künstliche Intelligenz.

Hier ist die einfache Erklärung des Papers OmniForcing, ohne Fachchinesisch:

Das Problem: Der langsame "Alles-oder-Nichts"-Ansatz

Stell dir die bisherigen KI-Modelle wie einen sehr pedantischen Bibliothekar vor. Bevor er dir auch nur ein einziges Buch (ein Bild oder einen Ton) ausleihen kann, muss er sich erst das gesamte Regal ansehen, um den perfekten Kontext zu verstehen.

Das Ergebnis: Die KI braucht unglaublich lange, um den ersten Moment zu generieren (manchmal Minuten oder Stunden).
Das Problem: Wenn du mit der KI sprechen oder interagieren willst, ist das viel zu langsam. Es ist, als würdest du auf eine Antwort warten, die erst kommt, nachdem der Lehrer den ganzen Unterrichtsstoff durchgearbeitet hat.

Die Lösung: OmniForcing – Der schnelle "Live-Streamer"

Die Forscher haben eine neue Methode namens OmniForcing entwickelt. Sie nehmen den langsamen, aber genialen Bibliothekar und verwandeln ihn in einen schnellen, improvisierenden Jazzmusiker.

Der Jazzmusiker (die neue KI) muss nicht warten, bis er das ganze Konzert kennt. Er spielt sofort los, hört sich das, was er gerade gespielt hat, an und passt den nächsten Ton oder das nächste Bild sofort an. Das passiert in Echtzeit (ca. 25 Bilder pro Sekunde), fast so schnell, wie du blinzeln kannst.

Die drei großen Hürden (und wie sie sie überwinden)

Da Video und Audio völlig unterschiedlich sind (Video ist langsam und hat viele Details, Audio ist schnell und hat wenige Datenpunkte), gab es drei massive Probleme beim Umstellen auf diesen "Live-Modus":

1. Der Rhythmus-Unterschied (Der Tanz mit unterschiedlichen Schuhen)

Das Problem: Video hat oft nur 3 Bilder pro Sekunde, Audio aber 25 Töne. Wenn man sie einfach so vermischt, stolpert die KI. Es ist, als würde ein Tänzer mit einem Bein in einem Riesenstiefel und dem anderen in einem Zehling tanzen.
Die Lösung (Asymmetrische Block-Causal Alignment): Die Forscher haben eine neue Art von "Taktstock" erfunden. Sie gruppieren die Daten in 1-Sekunden-Blöcke. In jedem Block haben sie genau die richtige Anzahl an Video- und Audio-Daten, damit sie perfekt zusammenpassen. Es ist wie ein Dirigent, der sicherstellt, dass die Geigen (Video) und die Trompeten (Audio) genau im gleichen Takt spielen, auch wenn sie unterschiedliche Noten haben.

2. Der "Stille im Raum"-Effekt (Das leere Mikrofon)

Das Problem: Bei Audio gibt es am Anfang eines neuen Blocks sehr wenige Datenpunkte. Wenn die KI versucht, den ersten Ton zu sagen, hat sie kaum etwas, worauf sie sich stützen kann. Das führt zu einem "Softmax-Crash" – die KI wird panisch, die Zahlen explodieren, und das Training bricht zusammen. Stell dir vor, du stehst auf einer Bühne und das Mikrofon ist so empfindlich, dass schon dein Atem es zum Schreien bringt.
Die Lösung (Audio Sink Tokens): Die Forscher fügen der KI am Anfang jedes Blocks unsichtbare "Anker" hinzu. Das sind wie Stille-Töne, die nichts sagen, aber dem Mikrofon (der KI) helfen, sich zu beruhigen und einen stabilen Boden zu finden. Sie wirken wie ein Kissen unter dem Mikrofon, das verhindert, dass es überempfindlich reagiert. Ohne diese Anker würde die KI bei jedem Versuch, Audio zu machen, "aus dem Ruder laufen".

3. Der Fehler-Akkumulator (Das Haus von Karten)

Das Problem: Wenn eine KI einen langen Film in Echtzeit macht, muss sie sich auf ihre eigenen vorherigen Fehler verlassen. Wenn sie beim ersten Bild einen kleinen Fehler macht, wird der nächste noch schlimmer, und der dritte ist ein Chaos. Das nennt man "Exposure Bias". Es ist wie ein Haus aus Karten: Ein kleiner Windstoß am Anfang lässt alles einstürzen.
Die Lösung (Joint Self-Forcing): Die KI wird trainiert, sich selbst zu korrigieren. Sie simuliert während des Trainings, was passiert, wenn sie Fehler macht, und lernt, diese sofort auszugleichen. Es ist wie ein Schauspieler, der während der Probe nicht nur seine Rolle spielt, sondern auch sofort merkt: "Ups, ich habe das Wort falsch gesagt, ich korrigiere es jetzt, damit der Rest des Dialogs noch Sinn ergibt."

Das Ergebnis

Durch diese Tricks schaffen es die Forscher, dass die KI:

Sofort startet: Sie braucht nur 0,7 Sekunden für den ersten Moment (früher waren es fast 200 Sekunden).
Echtzeit läuft: Sie produziert 25 Bilder pro Sekunde auf einer einzigen Grafikkarte.
Qualität behält: Trotz der Geschwindigkeit sieht und klingt es fast genauso gut wie der langsame, perfekte Vorgänger.

Zusammenfassend: OmniForcing ist wie der Übergang von einem langsamen, perfekten Filmstudio, das Tage braucht, um einen Clip zu machen, zu einem Live-Stream-Studio, das sofort, synchron und in hoher Qualität auf deine Eingaben reagiert. Das öffnet die Tür für KI, die in Echtzeit mit uns spricht, Filme generiert und auf unsere Bewegungen reagiert, ohne dass wir warten müssen.

Problemstellung

Aktuelle State-of-the-Art-Modelle für die gemeinsame Generierung von Audio und Video (z. B. LTX-2, Veo 3) basieren auf Diffusions-Transformern (DiTs) mit bidirektionaler Aufmerksamkeit. Obwohl diese Modelle hohe Qualität und Synchronisation bieten, leiden sie unter einer extrem hohen Latenz. Da sie den gesamten zeitlichen Verlauf gleichzeitig verarbeiten müssen, ist die Time-To-First-Chunk (TTFC) sehr hoch (z. B. ~197 Sekunden für eine Sequenz), was eine Echtzeit-Anwendung oder Streaming-Verarbeitung unmöglich macht.

Bisherige Versuche, dieses Problem zu lösen, verfolgten zwei Ansätze, die beide Nachteile hatten:

Kaskadierte Pipelines: Zuerst wird Video, dann Audio generiert (oder umgekehrt). Dies trennt die gemeinsame Verteilung, führt zu schlechterer Synchronisation und verhindert echtes Streaming, da der sekundäre Modus warten muss.
Autoregressive Video-Modelle: Diese wurden erfolgreich auf Video angewendet, scheiterten jedoch bei der Übertragung auf Dual-Stream-Architekturen (Audio + Video). Der Grund liegt in der extremen temporalen Asymmetrie: Audio hat eine viel höhere Token-Dichte (z. B. 25 Token/Sekunde) als Video (z. B. 3 Token/Sekunde). Eine naive kausale Maskierung führt bei Audio zu extremer Token-Sparsity, was Softmax-Collapse, Gradienten-Explosionen und Trainingsinstabilität verursacht.

Methodik: OmniForcing

OmniForcing ist das erste Framework, das ein schweres, bidirektionales Audio-Video-Grundmodell (LTX-2) in einen hochfiden, streaming-fähigen autoregressiven Generator destilliert. Die Architektur besteht aus drei Hauptkomponenten:

1. Asymmetrische Block-Kausale Ausrichtung (Asymmetric Block-Causal Alignment)

Um die Diskrepanz zwischen den Token-Raten von Audio und Video zu überbrücken, wird keine frame-basierte, sondern eine zeitbasierte Makro-Block-Ausrichtung verwendet:

Global Prefix (B0): Ein null-getrimmter Prefix, der die ersten latenten Frames (t=0s) enthält. Er dient als globaler semantischer Anker, der für alle zukünftigen Token sichtbar ist und bidirektionale Aufmerksamkeit erlaubt.
Makro-Blöcke: Die Sequenz wird in Blöcke von genau 1 Sekunde unterteilt. Jeder Block enthält 3 Video-Latents und 25 Audio-Latents.
Maskierung: Innerhalb eines Blocks ist die Aufmerksamkeit bidirektional, zwischen Blöcken strikt kausal. Dies ermöglicht eine natürliche Synchronisation ohne Brüche.

2. Architektonische Stabilisatoren (Audio Sink Tokens)

Um das Problem der extremen Sparsity bei Audio-Tokens in frühen Blöcken zu lösen, werden Audio Sink Tokens eingeführt:

Es werden $S$ lernbare „Sink"-Token dem Audio-Stream vorangestellt und im Global Prefix verankert.
Diese Token fungieren als globaler Speicherpuffer, der den Normalisierungsnenner im Softmax erweitert und so den Kollaps der Entropie verhindert.
Identity RoPE: Um zu verhindern, dass diese abstrakten Token falsche zeitliche Positionen erhalten, werden sie mit einer Identity Rotary Position Embedding-Beschränkung versehen ($RoPE(x) = x$). Sie sind somit positionsagnostisch und stabilisieren den Gradientenfluss.

3. Drei-Stufen-Destillations-Pipeline

Das Training erfolgt in drei Phasen, um das bidirektionale Lehrermodell in einen kausalen Schüler zu überführen:

Stufe I (Bidirectional DMD): Distribution Matching Distillation (DMD) wird verwendet, um das Modell auf wenige Denoising-Schritte zu optimieren, während die bidirektionale Aufmerksamkeit erhalten bleibt.
Stufe II (Causal ODE Regression): Das Modell wird an die kausalen Masken angepasst, indem die ODE-Trajektorien des Lehrers regressiert werden. Hier kommen die Sink-Tokens zum Einsatz, um die Instabilität zu unterdrücken.
Stufe III (Joint Self-Forcing): Um den Exposure Bias (akkumulierte Fehler bei langen Sequenzen) zu bekämpfen, wird das Modell während des Trainings gezwungen, auf seine eigenen vorherigen Vorhersagen (statt auf Ground-Truth) zurückzugreifen. Dies ermöglicht eine dynamische Selbstkorrektur von Audio- und Video-Fehlern.

4. Inference-Optimierung

Modality-Independent Rolling KV-Cache: Da Video- und Audio-Streams innerhalb der Transformer-Schichten entkoppelt sind (nur an Cross-Attention-Grenzen synchronisiert), kann ein separater KV-Cache für jeden Modus verwendet werden. Dies reduziert die Komplexität pro Schritt auf $O(L)$ und ermöglicht parallele Ausführung auf einer einzigen GPU.

Wesentliche Beiträge

OmniForcing Framework: Ein einheitlicher autoregressiver Ansatz, der Offline-Modelle in Echtzeit-Streaming-Engines umwandelt, ohne die zeitliche Synchronisation zu verlieren.
Stabilisierungstechniken: Einführung von Asymmetric Block-Causal Alignment und Audio Sink Tokens mit Identity RoPE, die Softmax-Collapse und Gradienten-Explosionen bei multimodalen Dichte-Unterschieden lösen.
Effiziente Inferenz: Eine Kombination aus Joint Self-Forcing und einem Rolling KV-Cache, die eine State-of-the-Art Streaming-Generierung bei ~25 FPS auf einer einzigen GPU ermöglicht.

Ergebnisse

Die Evaluation erfolgte auf dem JavisBench und VBench:

Geschwindigkeit: OmniForcing erreicht eine TTFC von ~0,7 Sekunden und eine Durchsatzrate von ~25 FPS. Dies ist eine 35-fache Beschleunigung im Vergleich zum bidirektionalen Lehrermodell (LTX-2), das ~197 Sekunden für dieselbe Aufgabe benötigt.
Qualität:
- Visuell: FVD (Fréchet Video Distance) von 137,2 (Lehrer: 125,4), was nahe an der Lehrerqualität liegt und deutlich besser ist als bei Kaskaden-Methoden.
- Audio: FAD (Fréchet Audio Distance) von 5,7.
- Synchronisation: Der DeSync-Score liegt bei 0,392 (Lehrer: 0,384), was eine exzellente Audio-Video-Synchronisation bestätigt.
- Text-Konsistenz: OmniForcing erzielt das beste CLIP-Score (0,322) aller verglichenen Methoden.
Qualitative Analyse: Die generierten Inhalte zeigen komplexe Szenen (z. B. sprechende Personen mit Hintergrundgeräuschen, synchronisierte Tiergeräusche) mit hoher fidelity und ohne Artefakte.

Bedeutung

OmniForcing durchbricht die Latenzbarriere für multimodale Generativmodelle. Es beweist, dass hochkomplexe, bidirektionale Diffusionsmodelle effizient in Echtzeit-Streaming-Architekturen umgewandelt werden können, ohne die Qualität oder Synchronisation zu opfern. Dies eröffnet neue Möglichkeiten für interaktive Anwendungen, Live-Content-Erstellung und latenzsensitive Szenarien, in denen bisher nur verzögerte, Offline-Generierung möglich war. Die vorgestellten Techniken (Sink Tokens, asymmetrische Maskierung) bieten zudem wertvolle Lösungsansätze für das allgemeine Problem der Instabilität bei kausaler Destillation in heterogenen Multimodal-Systemen.