💻 computer science

MOVA: Towards Scalable and Synchronized Video-Audio Generation

MOVA is een nieuw open-source model met een Mixture-of-Experts-architectuur dat hoogwaardige, gesynchroniseerde video en audio tegelijkertijd genereert op basis van afbeeldingen en tekst.

Oorspronkelijke auteurs: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zh

Gepubliceerd 2026-02-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zhang, Yuerong Song, Zhe Xu, Zhiyu Zhang, Chenchen Yang, Cheng Chang, Chushu Zhou, Hanfu Chen, Hongnan Ma, Jiaxi Li, Jingqi Tong, Junxi Liu, Ke Chen, Shimin Li, Shiqi Jiang, Songlin Wang, Wei Jiang, Zhaoye Fei, Zhiyuan Ning, Chunguo Li, Chenhui Li, Ziwei He, Zengfeng Huang, Xie Chen, Xipeng Qiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent. Je hebt een prachtige scène gefilmd van een acteur die een emotionele speech houdt, maar... het is doodstil. Om het tot leven te wekken, moet je nu een geluidstechnicus inhuren die de stem eronder plakt. Maar de stem loopt net niet synchroon met de lippen, of het geluid van de wind in de boom op de achtergrond klinkt als een stofzuiger. Dat is precies het probleem waar huidige AI-modellen tegenaan lopen: ze maken óf een mooi plaatje, óf een mooi geluid, maar het combineren ervan is als een slecht gemonteerde film.

Het paper over MOVA (MOSS Video and Audio) presenteert de oplossing. Hier is de uitleg in begrijpelijke taal:

De Kern: De "Perfecte Orkestdirigent"

De meeste AI-systemen werken als een eenmansband: ze spelen eerst een melodie (video) en proberen daarna een ritme (audio) te vinden dat er een beetje bij past. Dat werkt nooit perfect.

MOVA werkt in plaats daarvan als een super-dirigent van een groot symfonieorkest. De dirigent kijkt niet alleen naar de violist (het beeld), maar hoort ook de trompet (het geluid) en zorgt dat ze tegelijkertijd precies de juiste noot raken. In technische termen noemen ze dit "joint multimodal modeling": beeld en geluid worden niet achteraf aan elkaar geplakt, maar worden vanaf de allereerste seconde samen "gedroomd" door de AI.

Hoe werkt het? (De Metaforen)

1. De Twee Torens en de Brug (Architectuur)
Stel je voor dat je twee enorme bibliotheken hebt. De ene bibliotheek bevat alle kennis over hoe de wereld eruitziet (de Video-toren), de andere over hoe de wereld klinkt (de Audio-toren). Om te voorkomen dat ze in hun eigen wereld blijven hangen, hebben de makers van MOVA een "magische brug" gebouwd tussen de twee. Via deze brug kunnen de beelden "fluisteren" naar het geluid ("Hé, ik ben een vallende kop koffie, maak een kletterend geluid!") en kan het geluid terugpraten naar het beeld ("Ik ben een diepe stem, zorg dat de lippen van de acteur goed meebewegen!").

2. De Tijdslijn-Match (Aligned RoPE)
Een groot probleem bij video en audio is dat ze een ander ritme hebben. Video is een reeks foto's (bijv. 24 per seconde), terwijl audio een constante stroom van trillingen is. Het is alsovergelijkbaar met een danspaar waarbij de één op de maat van de muziek danst, maar de ander op de maat van een klok. MOVA gebruikt een slimme wiskundige truc om de "tijd" van beide werelden perfect op elkaar af te stemmen, zodat de lippen van een spreker exact op de klanken vallen.

3. De Super-Curator (Data Engineering)
Om zo slim te worden, heeft MOVA miljoenen uren aan video's "bestudeerd". Maar niet zomaar video's. De onderzoekers hebben een gigantisch filter gebruikt. Ze hebben alle wazige video's, video's zonder geluid en video's waarbij het geluid niet bij het beeld paste, weggegooid. Het is alsof je een chef-kok traint: je geeft hem niet alleen alle ingrediënten, maar alleen de allerbeste, versste ingrediënten.

Waarom is dit bijzonder?

Lip-sync die klopt: Als een personage in de video "Hallo" zegt, zie je de mond ook echt de vorm van een "O" maken op het juiste moment.
Omgevingsgeluid: Als er een auto voorbijrijdt, hoor je niet alleen een auto, maar hoor je het geluid precies op het moment dat de auto door het beeld raast.
Open Source: In tegenstelling tot grote bedrijven zoals OpenAI (Sora), hebben de makers van MOVA de "recepten" en de "kennis" gedeeld met de wereld. Iedereen kan nu meebouwen aan deze technologie.

Samenvatting

MOVA is niet zomaar een machine die plaatjes maakt; het is een digitale maker die begrijpt dat in de echte wereld zien en horen onlosmakelijk met elkaar verbonden zijn. Het is de stap van een stomme film naar een meeslepende, levendige realiteit.

Technische Samenvatting: MOVA

1. Het Probleem (The Problem)

De huidige staat van video-generatie (zoals Sora of Wan) richt zich voornamelijk op het visuele aspect, waarbij audio vaak wordt genegeerd of achteraf via een "cascaded pipeline" (eerst video, dan audio) wordt toegevoegd. Dit brengt drie grote uitdagingen met zich mee:

Kosten en foutenaccumulatie: Het achteraf toevoegen van audio is computationeel duur en leidt vaak tot een gebrek aan synchronisatie (bijv. lippen die niet matchen met het geluid).
Gebrek aan interactie: In cascaded systemen beïnvloeden de audio en video elkaar niet tijdens het generatieproces, wat de natuurlijke samenhang vermindert.
Closed-source beperkingen: De meest geavanceerde systemen die wel audio en video gelijktijdig genereren (zoals Veo3), zijn gesloten, wat onderzoek in de community belemmert.

2. Methodologie (Methodology)

Het team introduceert MOVA (MOSS Video and Audio), een open-source model met een Mixture-of-Experts (MoE) architectuur van in totaal 32 miljard parameters (waarvan 18 miljard actief tijdens inferentie).

Kerncomponenten van de architectuur:

Asymmetrische Dual-Tower Architectuur: MOVA koppelt twee gespecialiseerde "towers": een krachtige video-backbone (Wan2.2 I2V, 14B parameters) en een audio-backbone (1.3B parameters).
Bidirectionele Bridge Module: Een lichtgewicht module van 2.6B parameters die via cross-attention informatie tussen de video- en audiostromen uitwisselt. Dit zorgt ervoor dat de video de audio kan "zien" en de audio de video kan "horen" tijdens het genereren.
Aligned RoPE (Rotary Positional Embedding): Om te voorkomen dat audio en video uit de pas lopen (drift), worden de temporele posities van beide modaliteiten op hetzelfde tijdsraster uitgelijnd.
Dual Sigma Shift: In plaats van beide modaliteiten hetzelfde ruisniveau te geven, gebruikt MOVA onafhankelijke noise schedules. Dit is cruciaal omdat audio en video verschillende complexiteiten hebben; zo kan de audio-generatie nauwkeuriger worden afgestemd zonder de video-kwaliteit te schaden.
Dual Classifier-Free Guidance (Dual CFG): Tijdens de inferentie kan het model onafhankelijk de kracht van de tekstuele instructie ( $s_T$ ) en de cross-modale synchronisatie ( $s_B$ ) aanpassen.

Data Engineering:
Het team ontwikkelde een geavanceerde drie-fasen pipeline om 100.000 uur aan hoogwaardige data te cureren, inclusief automatische audio-visuele beschrijvingen (captioning) met behulp van Multimodale LLM's (zoals Qwen3-Omni).

3. Belangrijkste Bijdragen (Key Contributions)

Schaalbaarheid: Het bewijst dat video-audio modellen kunnen schalen naar enorme parameters en datasets zonder in te boeten op synchronisatie.
Open-Source Framework: Het vrijgeven van de modelgewichten, code en de trainingspipeline stelt de community in staat om verder te bouwen op gelijktijdige audio-visuele generatie.
Geavanceerde Synchronisatie: MOVA biedt superieure prestaties op het gebied van lip-sync (spraak-mond beweging), omgevingsgeluiden en muziek die perfect aansluiten bij de visuele actie.

4. Resultaten (Results)

De resultaten tonen aan dat MOVA de huidige state-of-the-art modellen (zoals LTX-2 en Ovi) overtreft:

Audio-kwaliteit: Hogere Inception Scores (IS) en betere semantische consistentie (CLAP-score).
Synchronisatie: Significante verbeteringen in de DeSync-score (minder temporele afwijking) en de Lip Sync-metrieken (LSE-D en LSE-C).
Multi-speaker capaciteit: MOVA is beter in staat om de juiste stem aan het juiste personage in een scène toe te wijzen (lagere cpCER-foutmarge).
Menselijke voorkeur: In een "Arena-style" menselijke evaluatie behaalde MOVA de hoogste ELO-rating, wat betekent dat mensen de gegenereerde content consistent verkiezen boven die van concurrenten.

5. Betekenis (Significance)

MOVA markeert een verschuiving van "video met geluid erbij" naar echte multimodale generatie. De mogelijkheid om tekst of een afbeelding te gebruiken als input en een volledig gesynchroniseerde filmische scène te produceren (inclusief spraak, geluidseffecten en muziek), opent de deur naar nieuwe toepassingen in entertainment, gaming en digitale media. Door de architectuur open te stellen, versnelt het team de transitie naar een wereld waarin AI-gegenereerde content niet alleen visueel overtuigend is, maar ook auditief volledig coherent.