💻 computer science

MOVA: Towards Scalable and Synchronized Video-Audio Generation

MOVA ist ein neues Open-Source-Modell mit einer Mixture-of-Experts-Architektur (32 Mrd. Parameter), das die gleichzeitige und synchronisierte Generierung von hochwertigen Videos und passenden Audiosignalen aus Bildern und Text ermöglicht.

Ursprüngliche Autoren: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zh

Veröffentlicht 2026-02-11

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zhang, Yuerong Song, Zhe Xu, Zhiyu Zhang, Chenchen Yang, Cheng Chang, Chushu Zhou, Hanfu Chen, Hongnan Ma, Jiaxi Li, Jingqi Tong, Junxi Liu, Ke Chen, Shimin Li, Shiqi Jiang, Songlin Wang, Wei Jiang, Zhaoye Fei, Zhiyuan Ning, Chunguo Li, Chenhui Li, Ziwei He, Zengfeng Huang, Xie Chen, Xipeng Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „stumme Film“-Effekt

Stell dir vor, du schaust einen Hollywood-Blockbuster, aber der Ton ist völlig losgelöst von den Bildern. Ein Schauspieler schlägt mit einem Hammer auf einen Nagel, aber man hört nur das Zwitschern von Vögeln. Oder schlimmer: Jemand spricht, aber die Lippen bewegen sich völlig asynchron zum Ton – wie bei einem schlecht synchronisierten alten Zeichentrickfilm.

Bisherige KI-Modelle arbeiten oft wie zwei getrennte Abteilungen in einer Fabrik: Eine Abteilung produziert das Video, und eine andere Abteilung (später!) versucht, den passenden Ton dazu zu „basteln“. Das Problem? Die beiden Abteilungen reden nicht miteinander. Das Ergebnis ist oft unnatürlich und wirkt „falsch“.

Die Lösung: MOVA – Das „Orchester der Sinne“

Die Forscher des OpenMOSS-Teams haben MOVA entwickelt. Anstatt Video und Ton nacheinander zu bauen, lässt MOVA sie gleichzeitig entstehen.

Die Analogie: Der Dirigent und die Musiker
Stell dir MOVA nicht als Fließband vor, sondern als ein großes Orchester:

Es gibt eine riesige Gruppe von Musikern für das Video (das ist der „Video-Turm“).
Es gibt eine spezialisierte Gruppe für den Ton (der „Audio-Turm“).
Und das Wichtigste: In der Mitte steht ein Dirigent (das sogenannte „Bridge-Modul“).

Der Dirigent sorgt dafür, dass die Geigen (das Video) genau dann laut werden, wenn der Schlagzeuger (der Ton) den Takt angibt. Wenn im Video ein Glas zerbricht, „sieht“ der Dirigent das und gibt dem Audio-Team sofort das Signal: „Jetzt muss das Klirren kommen!“

Wie funktioniert das „Gehirn“ dahinter? (Einfach erklärt)

Die zwei Türme (Dual-Tower): Das Modell hat zwei riesige „Denk-Einheiten“. Eine ist ein Spezialist für visuelle Details (Licht, Bewegung, Gesichter), die andere ein Spezialist für akustische Nuancen (Stimmen, Musik, Umgebungsgeräusche).
Die Brücke (The Bridge): Das ist das Herzstück. Die Brücke lässt die beiden Türme ständig miteinander flüstern. Während das Video entsteht, schickt es Informationen an den Ton-Turm: „Achtung, gleich bewegt sich der Mund!“ Und der Ton-Turm antwortet: „Alles klar, ich bereite das Wort 'Hallo' vor!“
Das „Zeit-Gitter“ (Aligned RoPE): Damit der Ton nicht „hinkt“, haben die Forscher eine Art gemeinsame Uhr eingeführt. Es ist, als würden alle Musiker im Orchester exakt denselben Metronom-Takt benutzen, damit kein Millisekunden-Fehler entsteht.

Was kann MOVA besonders gut?

Perfektes Lippen-Sync: Wenn eine Person im Video spricht, bewegen sich die Lippen so präzise, dass es fast unmöglich ist, einen Unterschied zu einem echten Menschen zu erkennen – egal ob auf Englisch oder Chinesisch.
Umgebungs-Intelligenz: Wenn im Video ein Wald zu sehen ist, „hört“ man nicht nur Wind, sondern genau den Wind, der zu den sich bewegenden Blättern passt.
Text-zu-Alles: Du kannst der KI einfach sagen: „Ein Kind läuft über eine Wiese und lacht“, und MOVA liefert dir das fertige Video inklusive des Lachens und des Raschelns im Gras.

Warum ist das wichtig?

Bisher waren die besten Modelle dieser Art „Closed Source“ – also wie ein Geheimrezept in einer verschlossenen Küche (wie bei Google oder OpenAI). Das Team hinter MOVA hat das Modell jedoch Open Source gemacht. Das bedeutet, sie haben das Rezept und die Zutaten öffentlich geteilt, damit die ganze Welt gemeinsam daran bauen und die Technologie für alle (Filmemacher, Spieleentwickler, Kreative) besser machen kann.

Zusammenfassend: MOVA ist wie ein Regisseur, der gleichzeitig das Bild malt und die Musik komponiert, sodass am Ende ein perfekt abgestimmtes, lebendiges Erlebnis entsteht.

Technische Zusammenfassung: MOVA

1. Problemstellung (The Problem)

Die aktuelle Landschaft der generativen KI weist eine signifikante Diskrepanz zwischen Video- und Audiogenerierung auf. Während Modelle wie Sora oder Wan hochrealistische Videos erzeugen können, fehlt ihnen oft die integrierte Fähigkeit, synchronisierte Audiospuren (Sprache, Soundeffekte, Musik) zu generieren.
Bisherige Ansätze nutzen meist kaskadierte Pipelines (erst Video, dann Audio), was zu drei Hauptproblemen führt:

Fehlerkumulation: Fehler in der ersten Stufe pflanzen sich in die zweite fort.
Mangelnde Interaktion: Audio und Video werden nicht simultan generiert, wodurch eine echte wechselseitige Beeinflussung (z. B. präzise Lippensynchronität oder physikalisch korrekte Soundeffekte) fehlt.
Closed-Source-Barriere: State-of-the-Art-Systeme wie Veo oder Sora sind proprietär, was die Forschung an synchronisierten audiovisuellen Modellen behindert.

2. Methodik (Methodology)

Das Team der SII-OpenMOSS stellt MOVA vor, ein Open-Source-Modell mit einer Gesamtparameterzahl von 32B (davon 18B aktiv während der Inferenz), das auf einer asymmetrischen Dual-Tower-Architektur basiert.

A. Architektur:

Video-Tower: Ein vortrainiertes Wan2.2 I2V DiT (Diffusion Transformer) mit 14B Parametern.
Audio-Tower: Ein 1,3B Parameter Text-to-Audio DiT.
Bridge-Modul: Ein 2,6B Parameter schwergewichtiger Modul, der beide Türme über bidirektionale Cross-Attention verbindet. Dies ermöglicht einen Informationsfluss in beide Richtungen ( $V \to A$ und $A \to V$ ).
Aligned RoPE: Um zeitliche Drifts zu vermeiden, wurde das Rotary Positional Embedding (RoPE) modifiziert, sodass Video- und Audiotoken auf demselben zeitlichen Raster ausgerichtet sind.

B. Training-Strategie:

Decoupled Timestep Sampling (Dual Sigma Shift): Da Audio und Video unterschiedliche Informationsdichten haben, nutzt MOVA unabhängige Rausch-Zeitpläne ( $\sigma_v$ und $\sigma_a$ ). Dies erlaubt es, die Denoising-Intensität für jede Modalität separat zu steuern.
Progressives Training: Das Modell durchläuft drei Phasen:
1. Phase 1 (360p): Diverses Training zur Etablierung der Basis-Synchronität.
2. Phase 2 (360p): Training mit qualitativ gefilterten Daten zur Verbesserung der Klangtreue (Timbre).
3. Phase 3 (720p): Fine-Tuning in hoher Auflösung für maximale visuelle und auditive Qualität.

C. Daten-Engineering:
Die Autoren entwickelten eine dreistufige Pipeline zur Kuratierung von über 100.000 Stunden hochwertiger audiovisueller Daten, einschließlich einer automatisierten Audio-Visual Captioning-Stufe mittels MLLMs (Multimodale LLMs), um semantisch reiche Beschreibungen zu erstellen.

3. Hauptergebnisse (Key Results)

MOVA zeigt eine überlegene Leistung in mehreren kritischen Metriken:

Lippensynchronität (Lip-Sync): Durch die bidirektionale Interaktion erreicht MOVA extrem präzise Lippenbewegungen (gemessen durch LSE-D und LSE-C), die herkömmliche Modelle übertreffen.
Audiovisuelle Ausrichtung: In Benchmarks wie Verse-Bench erzielt MOVA signifikant bessere Werte bei der semantischen Ausrichtung (ImageBind Score) und der zeitlichen Synchronität (DeSync).
Multi-Speaker-Fähigkeit: Das Modell kann verschiedene Sprecher in einer Szene korrekt zuordnen (niedriger cpCER-Wert), was für realistische Dialoge essenziell ist.
Dual Classifier-Free Guidance (Dual CFG): Ein neuartiger Inferenz-Mechanismus erlaubt es, das Gleichgewicht zwischen Texttreue und audiovisueller Synchronität manuell zu steuern.

4. Bedeutung und Beitrag (Significance)

Die Arbeit von MOVA ist aus mehreren Gründen wegweisend:

Skalierbarkeit: Es beweist, dass die simultane Generierung von Video und Audio durch Skalierung von Daten und Modellgröße (MoE-Architektur) kontinuierlich verbessert werden kann.
Open Source: Durch die Veröffentlichung der Gewichte, des Codes und der Trainingsmethodik wird eine Grundlage für die Community geschaffen, um an der nächsten Generation der audiovisuellen KI zu arbeiten.
End-to-End Integration: MOVA bricht das Paradigma der kaskadierten Pipelines auf und zeigt, dass eine gemeinsame Modellierung die Qualität der Interaktion zwischen Sehen und Hören fundamental verbessert.

Zusammenfassendes Urteil: MOVA setzt einen neuen Standard für Open-Source-Audiovisual-Generierung, indem es komplexe Architektur-Innovationen (Dual-Tower, Bridge-Modul, Dual Sigma Shift) mit einem massiven, hochqualitativen Datensatz kombiniert.