💻 computer science

MOVA: Towards Scalable and Synchronized Video-Audio Generation

MOVA는 고품질의 동기화된 시청각 콘텐츠 생성을 위해 32B 파라미터 규모의 MoE(Mixture-of-Experts) 구조를 채택하여 이미지와 텍스트로부터 비디오와 오디오를 동시에 생성하는 오픈 소스 모델입니다.

원저자: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zh

게시일 2026-02-11

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: OpenMOSS Team, Donghua Yu, Mingshu Chen, Qi Chen, Qi Luo, Qianyi Wu, Qinyuan Cheng, Ruixiao Li, Tianyi Liang, Wenbo Zhang, Wenming Tu, Xiangyu Peng, Yang Gao, Yanru Huo, Ying Zhu, Yinze Luo, Yiyang Zhang, Yuerong Song, Zhe Xu, Zhiyu Zhang, Chenchen Yang, Cheng Chang, Chushu Zhou, Hanfu Chen, Hongnan Ma, Jiaxi Li, Jingqi Tong, Junxi Liu, Ke Chen, Shimin Li, Shiqi Jiang, Songlin Wang, Wei Jiang, Zhaoye Fei, Zhiyuan Ning, Chunguo Li, Chenhui Li, Ziwei He, Zengfeng Huang, Xie Chen, Xipeng Qiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 한 줄 요약: "눈과 귀가 동시에 똑똑해진 AI 영화 감독"

지금까지의 AI는 영상을 만드는 능력(눈)과 소리를 만드는 능력(귀)이 따로 놀았습니다. 영상 AI에게 "강아지가 짖는 영상 만들어줘"라고 하면 영상은 잘 만드는데, 소리가 엉뚱한 타이밍에 나오거나 아예 안 나오는 경우가 많았죠.

MOVA는 이 '눈'과 '귀'를 하나의 뇌로 연결해서, 영상과 소리가 마치 실제 세상처럼 완벽하게 딱딱 맞아떨어지게 만드는 기술입니다.

💡 이해를 돕는 비유: "따로 노는 오케스트라 vs 완벽한 지휘자"

1. 기존 방식: "악보 없이 연주하는 두 팀" (Cascaded Pipeline)

기존에는 영상 팀이 먼저 영상을 다 만들고 나면, 소리 팀에게 "자, 여기 영상 줄 테니까 대충 어울리는 소리 좀 입혀봐"라고 시켰습니다.

문제점: 영상 팀이 드럼을 '쾅!' 하고 쳤는데, 소리 팀은 한 박자 늦게 '쾅!' 소리를 내는 식이죠. 눈과 귀가 서로 대화하지 않으니 박자가 어긋나고 어색해집니다.

2. MOVA 방식: "천재 지휘자가 이끄는 통합 오케스트라" (Dual-Tower Architecture)

MOVA는 영상 팀과 소리 팀 사이에 **'초고속 통신 브릿지(Bridge)'**라는 지휘자를 세웠습니다.

작동 원리: 영상이 만들어지는 찰나의 순간에 소리 팀과 끊임없이 대화를 나눕니다. "지금 입 모양이 이렇게 움직이니까, 소리는 이 타이밍에 이 느낌으로 내야 해!"라고 실시간으로 맞추는 거죠. 덕분에 사람이 말할 때 입 모양과 목소리가 자석처럼 착 달라붙게 됩니다.

✨ MOVA가 잘하는 3가지 필살기

"입 모양의 마법" (Precise Lip-Sync):
사람이 말을 할 때 입술이 움직이는 미세한 모양과 목소리의 발음을 완벽하게 일치시킵니다. 외국어를 하는 영상에서도 입 모양이 어색하지 않게 만들 수 있죠.
"현장감 넘치는 효과음" (Environment-aware Sound):
단순히 소리를 넣는 게 아니라, 영상 속 상황을 이해합니다. 유리잔이 깨지면 '챙그랑', 숲속을 걸으면 '바스락' 하는 소리를 영상 속 움직임과 정확한 타이밍에 맞춰 생성합니다.
"글자까지 써주는 똑똑함" (Scene Text Generation):
영상 속에 "새해 복 많이 받으세요" 같은 글자를 자연스럽게 그려 넣는 능력도 갖추고 있습니다.

🚀 왜 이 연구가 대단한가요? (Open Source의 힘)

가장 중요한 점은, 이 엄청난 기술을 가진 모델을 **'오픈 소스(Open Source)'**로 공개했다는 것입니다.

지금까지 구글이나 오픈AI 같은 거대 기업들이 자기들만 알고 있던 '비밀 레시피'를, MOVA 팀은 전 세계 누구나 가져다 쓸 수 있도록 **'공개 레시피'**로 풀어버린 셈입니다. 덕분에 이제 전 세계의 창작자들이 이 기술을 이용해 훨씬 더 실감 나는 영화, 애니메이션, 게임 영상을 만들 수 있는 길이 열렸습니다.

📝 요약하자면...

MOVA는 영상과 소리를 따로 만드는 게 아니라, 처음부터 '하나의 세트'로 생각하고 만드는 AI입니다. 덕분에 우리는 이제 AI가 만든 영상에서도 "어? 소리가 왜 저 타이밍에 나와?"라는 어색함 없이, 진짜 현실 같은 몰입감을 느낄 수 있게 되었습니다.

[기술 요약] MOVA: 확장 가능하고 동기화된 비디오-오디오 생성을 향하여

1. 문제 정의 (Problem Statement)

기존의 비디오 생성 모델들은 시각적 요소에 집중하느라 오디오 요소를 간과해 왔습니다. 비디오와 오디오를 함께 생성하려는 기존의 시도들은 다음과 같은 한계점을 가집니다:

계단식 파이프라인(Cascaded Pipelines)의 한계: 비디오를 먼저 만들고 오디오를 나중에 생성하는 방식은 두 모달리티 간의 상호작용이 없어 품질이 저하되고, 오디오와 비디오 간의 정밀한 동기화(예: 입 모양 맞춤)가 어렵습니다.
데이터 및 모델링의 어려움: 비디오와 오디오는 정보 밀도가 다르며, 두 모달리티를 조화롭게 융합하기 위한 정교한 데이터 캡셔닝과 아키텍처 설계가 필요합니다.
폐쇄적 연구 환경: Sora나 Veo와 같은 최첨단 모델들은 성능은 뛰어나지만 소스코드가 공개되지 않아 연구 커뮤니티의 발전을 저해하고 있습니다.

2. 핵심 방법론 (Methodology)

MOVA는 비대칭 듀얼 타워(Asymmetric Dual-Tower) 아키텍처를 기반으로 하는 오픈 소스 기반 모델입니다.

A. 모델 아키텍처 (Model Architecture)

Dual-Tower DiT: 사전 학습된 14B 파라미터 규모의 비디오 DiT(Wan2.2 기반)와 1.3B 규모의 오디오 DiT를 결합했습니다. 총 파라미터는 32B이며, 추론 시에는 18B가 활성화되는 MoE(Mixture-of-Experts) 구조를 채택했습니다.
Bridge Module: 두 타워 사이에 2.6B 규모의 경량 브릿지 모듈을 배치하여 양방향 교차 주의 집중(Bidirectional Cross-Attention)을 통해 비디오와 오디오 정보가 서로 교환되도록 설계했습니다.
Aligned RoPE: 비디오와 오디오의 시간적 해상도(Temporal Grid) 차이로 인한 드리프트(Drift) 현상을 방지하기 위해, 두 모달리티의 시간 축을 동일한 스케일로 맞추는 정렬된 회전 위치 임베딩(Aligned Rotary Positional Embedding)을 적용했습니다.

B. 데이터 엔지니어링 (Data Engineering)

3단계 데이터 큐레이션:
1. 전처리: 비디오 리사이징, VAD(음성 활동 감지)를 통한 구간 분할, 장면 전환 분석.
2. 품질 평가: 오디오/비디오의 기술적/미적 품질 및 오디오-비디오 정렬도(SynchFormer 사용)를 기준으로 고품질 샘플 선별.
3. 정교한 캡셔닝: MLLM(Qwen3-Omni, MiMo-VL)을 사용하여 비디오와 오디오 각각의 상세 묘사를 생성한 후, LLM(GPT-OSS)을 통해 이를 하나의 통합된 자연어 설명으로 병합.

C. 학습 전략 (Training Strategy)

단계적 학습 (Progressive Training): 360p 저해상도/다양한 데이터 학습 $\rightarrow$ 360p 고품질 데이터 정제 $\rightarrow$ 720p 고해상도 미세 조정의 3단계 과정을 거칩니다.
Dual Sigma Shift: 비디오와 오디오의 노이즈 스케줄을 독립적으로 샘플링하여, 각 모달리티의 특성(비디오의 역동성 vs 오디오의 음색 민감도)에 최적화된 디노이징을 수행합니다.
Heterogeneous Learning Rates: 사전 학습된 타워의 지식을 보존하면서 브릿지 모듈이 빠르게 적응할 수 있도록 브릿지에 더 높은 학습률을 적용했습니다.

3. 주요 기여 (Key Contributions)

고성능 오픈 소스 모델: 고품질의 입 모양 동기화(Lip-sync), 환경음, 음악이 포함된 비디오-오디오 생성 모델 MOVA를 공개했습니다.
효율적인 아키텍처 설계: 비대칭 듀얼 타워와 양방향 브릿지 모듈을 통해 기존 모델의 성능을 유지하면서도 모달리티 간의 강력한 결합을 달实现했습니다.
대규모 데이터 파이프라인: 10만 시간 이상의 정교한 오디오-비디오 캡션 데이터를 구축하는 체계적인 방법론을 제시했습니다.
Dual CFG (Classifier-Free Guidance): 텍스트 가이드와 모달리티 간 가이드를 독립적으로 조절할 수 있는 새로운 추론 기법을 제안하여 정렬도와 품질 사이의 균형을 맞출 수 있게 했습니다.

4. 실험 결과 (Results)

객관적 지표: AudioCaps 벤치마크에서 기존 모델(AudioLDM2 등) 대비 높은 IS(Inception Score)와 경쟁력 있는 CLAP 점수를 기록했습니다.
동기화 성능: Lip-sync 관련 지표(LSE-D, LSE-C)에서 기존의 계단식 파이프라인 및 단일 모달리티 모델들을 압도하는 성능을 보였습니다. 특히 다중 화자(Multi-speaker) 환경에서도 화자 식별 및 대화 내용 일치 능력이 뛰어납니다.
인간 선호도 (Human Preference): Arena 기반 평가에서 MOVA는 LTX-2, Ovi, WAN+MMAudio 등 주요 베이스라인 모델들보다 높은 ELO 레이팅을 기록하며 인간이 느끼는 시각-청각적 일치감이 가장 높음을 입증했습니다.

5. 의의 및 결론 (Significance)

MOVA는 비디오 생성 모델이 단순히 "보는 것"을 넘어 "듣는 것"까지 통합하여 진정한 멀티모달 생성으로 나아가는 중요한 이정표를 제시합니다. 특히, 모델의 가중치와 코드를 모두 공개함으로써 연구자들이 폐쇄적인 모델에 의존하지 않고 고품질 비디오-오디오 생성 기술을 연구하고 발전시킬 수 있는 생태계를 조성했다는 점에서 큰 의의가 있습니다.