💻 computer science

MOVA: Towards Scalable and Synchronized Video-Audio Generation

MOVA è un modello open-source basato su un'architettura Mixture-of-Experts da 32 miliardi di parametri, progettato per la generazione simultanea e sincronizzata di video e audio di alta qualità a partire da immagini e testo.

Autori originali: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zh

Pubblicato 2026-02-11

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zhang, Yuerong Song, Zhe Xu, Zhiyu Zhang, Chenchen Yang, Cheng Chang, Chushu Zhou, Hanfu Chen, Hongnan Ma, Jiaxi Li, Jingqi Tong, Junxi Liu, Ke Chen, Shimin Li, Shiqi Jiang, Songlin Wang, Wei Jiang, Zhaoye Fei, Zhiyuan Ning, Chunguo Li, Chenhui Li, Ziwei He, Zengfeng Huang, Xie Chen, Xipeng Qiu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎬 MOVA: Il Regista che non dimentica mai il Suono

Immagina di guardare un film dove tutto è perfetto: gli attori sono bellissimi, le luci sono spettacolari, le scene sono mozzafiato... ma c'è un problema enorme. È tutto muto. Oppure, peggio ancora, senti il rumore di un tuono, ma vedi il sole splendere, oppure vedi un attore parlare ma il suono arriva con due secondi di ritardo. È fastidioso, vero? Rompe la magia.

Fino ad oggi, l'Intelligenza Artificiale che crea video ha avuto questo "difetto di fabbrica": era bravissima a dipingere immagini in movimento, ma era come un attore muto. Per aggiungere il suono, dovevamo usare un altro software separato, come se dovessimo montare un film usando un pittore per le immagini e un musicista per il suono che non si sono mai parlati prima. Il risultato? Spesso il suono e l'immagine non "ballano" insieme.

Qui entra in gioco MOVA.

🧠 L'analogia del "Cervello a Due Torri"

Invece di avere due esperti separati che lavorano in stanze diverse, gli scienziati di MOVA hanno costruito un unico grande cervello con due torri collegate da un ponte.

La Torre del Video: È un artista incredibile che sa come si muovono le persone e come cambia la luce.
La Torre dell'Audio: È un musicista e un tecnico del suono che sa distinguere un sussurro, un colpo di tamburo o il rumore della pioggia.
Il Ponte (Il segreto di MOVA): Questo è il pezzo magico. È un sistema di comunicazione costante che permette alle due torri di "parlarsi" mentre creano. Mentre la torre del video sta disegnando la bocca di un attore che dice "Ciao", la torre dell'audio riceve l'informazione in tempo reale e prepara il suono esatto di quel "Ciao". Non sono due cose separate; sono due parti di un unico respiro.

👄 Il "Sincronismo Labiale" (Lip-Sync)

Hai presente quando nei vecchi film doppiati le labbra dell'attore non seguono affatto le parole? MOVA combatte proprio questo. Grazie al suo modo di ragionare, riesce a far coincidere i movimenti delle labbra con i suoni della voce in modo quasi perfetto, sia in inglese che in cinese. È come se l'IA avesse imparato non solo a "vedere" e "sentire", ma a capire come il suono causa il movimento.

🛠️ Come lo hanno addestrato? (La dieta dell'IA)

Per rendere MOVA così intelligente, non gli hanno dato solo "video a caso". Gli hanno dato una dieta rigorosissima:

Hanno selezionato migliaia di ore di video di altissima qualità.
Hanno usato altri "super-cervelli" (LLM) per scrivere descrizioni precisissime di ogni cosa: "Un uomo con la giacca blu cammina sotto la pioggia mentre il suono dei passi risuona sul marciapiede bagnato".
In questo modo, l'IA ha imparato l'associazione perfetta tra parola scritta $\rightarrow$ immagine $\rightarrow$ suono.

🌟 In sintesi: Perché è importante?

Fino a ieri, i modelli più avanzati che facevano questo lavoro erano "segreti" (chi proprietari di grandi aziende chiuse). MOVA invece è Open Source: è come se gli scienziati avessero regalato la ricetta segreta di un piatto stellato a tutto il mondo.

Ora, chiunque — un regista, un creatore di contenuti o un ricercatore — può usare questo "regista digitale" per creare mondi dove la vista e l'udito danzano in perfetta armonia.

In una frase: MOVA non è solo un generatore di video, è un regista digitale che impara a far parlare le immagini e a far cantare i colori, tutto nello stesso istante.

Riassunto Tecnico: MOVA

1. Il Problema (Problem Statement)

La generazione di contenuti multimediali che integrino video e audio in modo sincronizzato rappresenta una sfida significativa. Attualmente, la maggior parte dei modelli si concentra solo sul video, lasciando l'audio a pipeline "cascate" (es. generare prima il video e poi l'audio basandosi su di esso). Questo approccio presenta tre limiti principali:

Errori cumulativi: La mancanza di interazione tra le modalità durante la sintesi degrada la qualità complessiva.
Mancanza di sincronia: Difficoltà nel produrre un lip-sync (sincronizzazione labiale) preciso e suoni ambientali perfettamente allineati agli eventi visivi.
Natura Closed-Source: I sistemi allo stato dell'arte (come Sora 2 o Veo 3) sono proprietari, limitando la ricerca accademica e lo sviluppo della comunità.

2. Metodologia (Methodology)

MOVA introduce un modello di fondazione open-source basato su un'architettura asymmetric dual-tower Diffusion Transformer (DiT).

Architettura Dual-Tower: Il modello combina due backbone pre-addestrati: una "video tower" (Wan2.2 I2V A14B) e una "audio tower" (un modello text-to-audio da 1.3B). Queste due torri sono collegate da un Bridge Module leggero da 2.6B parametri che permette uno scambio bidirezionale di informazioni tramite meccanismi di cross-attention.
Aligned RoPE (Rotary Positional Embedding): Per risolvere il problema della disparità nella densità temporale tra video (frame discreti) e audio (campioni ad alta frequenza), i ricercatori hanno modificato il RoPE per allineare entrambi i token su una griglia temporale comune, evitando il "drift" (scivolamento) audio-visivo.
Dual Sigma Shift: Invece di usare uno schedule di rumore unico, MOVA utilizza campionamenti temporali indipendenti per video e audio. Questo permette di applicare schedule di denoising ottimizzati per la specifica complessità di ogni modalità (denoising aggressivo per il video e più graduale per l'audio).
Dual Classifier-Free Guidance (Dual CFG): Durante l'inferenza, il modello può bilanciare indipendentemente la guida testuale ( $s_T$ ) e la guida cross-modale ( $s_B$ ), permettendo un controllo fine sul trade-off tra fedeltà semantica e sincronizzazione.
Pipeline di Dati: È stato sviluppato un sistema di annotazione fine-grained che utilizza MLLM (come Qwen3-Omni e MiMo-VL) per generare descrizioni testuali ricche sia per la componente visiva che per quella sonora, garantendo un dataset di addestramento di altissima qualità.

3. Contributi Chiave (Key Contributions)

Modello Scalabile: Un modello MoE (Mixture-of-Experts) con 32B di parametri totali (di cui 18B attivi durante l'inferenza), capace di gestire compiti IT2VA (Image-Text to Video-Audio).
Sincronizzazione Avanzata: Capacità di generare parlato multilingue (inglese e cinese) con lip-sync estremamente preciso e suoni ambientali (foley) coerenti.
Open Source: Rilascio dei pesi del modello, del codice di addestramento e di inferenza, promuovendo la trasparenza nella ricerca sulla generazione audio-visiva.
Strategia di Addestramento Progressiva: Un curriculum di addestramento in tre fasi (da 360p a 720p) che ottimizza la risoluzione e la qualità dei dati in modo incrementale.

4. Risultati (Results)

I test condotti su benchmark come Verse-Bench e attraverso valutazioni umane (Arena-style) mostrano che:

Superiorità nell'allineamento: MOVA supera modelli come LTX-2 e Ovi in termini di IB-Score (allineamento semantico) e DeSync (sincronia temporale).
Lip-Sync di alta precisione: I parametri LSE-D e LSE-C dimostrano che il modello ha interiorizzato la mappatura tra fonemi e movimenti labiali meglio dei competitor.
Qualità Audio: Il modello ottiene punteggi elevati in DNSMOS (qualità del parlato) e Inception Score (diversità audio).
Preferenza Umana: Nelle valutazioni "Arena", MOVA ha ottenuto un punteggio ELO significativamente più alto rispetto ai modelli baseline, dimostrando una maggiore aderenza ai prompt e una migliore qualità percepita.

5. Significato (Significance)

MOVA rappresenta un passo fondamentale verso la generazione multimediale olistica. Dimostra che è possibile scalare i modelli audio-visivi mantenendo la sincronia attraverso un'architettura dual-tower ben progettata e una gestione intelligente del rumore. Fornendo un modello di questa portata in modalità open-source, il team SII-OpenMOSS democratizza l'accesso a tecnologie che fino ad ora erano appannaggio esclusivo di grandi aziende tech, accelerando l'innovazione nel campo della creazione di contenuti digitali, del doppiaggio automatico e dell'animazione di avatar.