MAViD: A Multimodal Framework for Audio-Visual Dialogue Understanding and Generation

이 논문은 이해와 생성 능력을 통합하고 오디오 - 비디오 융합을 최적화하기 위해 '지휘자 - 창작자' 아키텍처와 AR-확산 모델을 결합한 다중 모달 대화 프레임워크 MAViD 를 제안하여 자연스럽고 일관된 장기간 대화형 오디오 - 비디오 생성을 가능하게 합니다.

핵심

🎬 MAViD: 디지털 인간이 살아 숨 쉬는 대화의 비밀

이 논문은 **'MAViD'**라는 새로운 인공지능 시스템을 소개합니다. 쉽게 말해, 텍스트, 소리, 영상을 동시에 이해하고, 마치 진짜 사람처럼 자연스럽게 대화하며 움직이는 디지털 인간을 만들어내는 기술입니다.

기존의 기술들은 사람이 말하면 글자로 답하거나, 글자를 읽으면 기계적인 목소리로 답하는 수준이었습니다. 하지만 MAViD는 **"말도 하고, 표정 짓고, 몸짓도 하며, 배경 소리까지 자연스럽게 섞어서 30 초 이상의 긴 영상"**을 한 번에 만들어냅니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 극장 연출과 요리에 비유해 설명해 드릴게요.

---

1. 두 명의 천재가 팀을 이루다: '지휘자 (Conductor)'와 '창작자 (Creator)'

MAViD 는 크게 두 명의 전문가로 나뉩니다. 마치 영화 촬영 현장에서 지휘자와 배우/기술진이 협력하는 것과 같습니다.

🎼 지휘자 (Conductor): "무엇을, 어떻게 할지 결정하는 두뇌"

• 역할: 사용자가 말한 내용 (텍스트), 들은 소리 (오디오), 본 영상 (비디오) 을 모두 듣고 "이제 뭐라고 말하고, 어떤 표정을 지으며, 어떤 몸짓을 해야 할지" 구체적인 지시를 내립니다.
• 비유: 지휘자가 오케스트라에게 "이 부분은 부드럽게, 저 부분은 강하게" 지시하듯, MAViD 의 지휘자는 **"대본 (말할 내용)"**과 **"연기 지시 (표정, 제스처)"**를 따로 분리해서 만들어냅니다.
  • 기존 기술: "안녕하세요"라고만 말하게 했습니다.
  • MAViD: "안녕하세요"라고 말하면서 (대본), 고개를 끄덕이고 (연기 지시), 배경에 빗소리가 들리게 (환경음 지시) 합니다.

🎨 창작자 (Creator): "지시를 받아 실제 영상을 만드는 마술사"

• 역할: 지휘자가 내려준 지시대로 실제 목소리와 영상을 동시에 만들어냅니다.
• 핵심 기술 (AR + 확산 모델):
  • AR(자기회귀): 긴 이야기를 자연스럽게 이어가는 능력 (책 읽기).
  • 확산 모델 (Diffusion): 고화질 그림을 그리는 능력 (화려한 영상).
  • 비유: 보통은 "글을 먼저 쓰고, 그걸 바탕으로 그림을 그리는" 2 단계 방식을 썼습니다. 하지만 MAViD 는 글을 쓰면서 동시에 그림을 그리는 한 번의 마법 같은 과정을 거칩니다. 그래서 목소리와 입 모양, 표정이 완벽하게 맞습니다.

---

2. 왜 이 기술이 특별한가요? (기존 기술과의 차이점)

🐢 거북이 vs 🐆 치타

• 기존 기술 (거북이): 5 초짜리 짧은 영상만 만들 수 있습니다. 영상을 이어 붙이면 목소리가 바뀌거나, 얼굴이 흐릿해지거나, 입 모양이 안 맞습니다. (연결고리가 약함)
• MAViD (치타): 한 번에 30 초 이상의 긴 영상을 만들어냅니다. 마치 한 사람이 계속 대화하듯, 목소리 톤과 얼굴 특징이 처음부터 끝까지 일관되게 유지됩니다.

🧩 퍼즐 맞추기 (퓨전 모듈)

긴 영상을 만들 때, 앞부분과 뒷부분이 이어지지 않으면 어색합니다. MAViD 는 **'퓨전 모듈 (접착제)'**이라는 특별한 장치를 썼습니다.

• 비유: 이어지는 영상 조각들 사이에 **'과거의 맥락'**을 잘게 부숴서 섞어줍니다. 그래서 "어제 비가 왔던 날"이라는 맥락을 알고 있으면, 오늘 비가 오는 장면을 만들 때 우산이나 젖은 옷 같은 디테일도 자연스럽게 표현합니다.

---

3. 실제 사용 예시

1. 상황: 사용자가 "오늘 비가 오는데, 친구를 만나러 가는 장면을 만들어줘"라고 요청합니다.
2. 지휘자의 작업:
   • 대본: "비가 오네, 우산 챙겨야겠다." (말할 내용)
   • 연기: 빗소리를 들으며 우산을 쓰고 고개를 숙이는 동작. (몸짓)
   • 환경: 빗소리와 우산이 떨어지는 소리. (배경음)
3. 창작자의 작업:
   • 지시대로 30 초 분량의 영상을 한 번에 생성합니다.
   • 캐릭터의 목소리가 변하지 않고, 입 모양이 말과 완벽하게 일치하며, 빗소리와 우산 소리가 배경에 자연스럽게 깔립니다.

---

💡 한 줄 요약

MAViD는 디지털 인간에게 **'두뇌 (지휘자)'**와 **'몸 (창작자)'**을 동시에赋予了 (부여) 하여, 기계적인 로봇이 아닌 감정이 있고, 표정이 풍부하며, 긴 시간 동안 자연스럽게 대화하는 진짜 사람 같은 디지털 친구를 만들어내는 기술입니다.

이 기술이 발전하면, 미래에는 가상 비서나 디지털 배우들이 우리가 상상하는 대로 훨씬 더 생생하게 살아 움직일 수 있게 될 것입니다! 🌟

기술 요약

1. 연구 배경 및 문제점 (Problem)

기존의 디지털 휴먼 대화 시스템은 주로 텍스트 기반이거나, 텍스트를 음성으로 변환한 후 (TTS) 이를 영상으로 변환하는 이단계 (Two-stage) 방식에 의존했습니다. 이러한 접근 방식에는 다음과 같은 한계가 존재합니다.

• 자연스러움 부족: 기존 MLLM(멀티모달 대규모 언어 모델) 기반 방법들은 단조롭고 억양이 일정한 음성을 생성하여 인간다운 표현력이 부족합니다.
• 환경음 처리의 어려움: TTS 후 영상 생성 방식은 실제 환경음 (소음, 효과음 등) 을 처리하는 데 한계가 있으며, 이로 인해 시각적 요소와 청각적 요소 간의 정합성 (Alignment) 이 떨어집니다.
• 장기 생성의 비일관성: 기존 DiT(Diffusion Transformer) 기반의 듀얼 구조는 한 번에 짧은 클립 (약 5 초) 만 생성할 수 있어, 긴 대화 영상을 생성할 때 캐릭터의 정체성 (Identity), 음색 (Timbre), 어조 (Tone) 를 일관되게 유지하기 어렵습니다.
• 상호작용의 부재: 대부분의 기존 방법은 생성에 집중하여 사용자의 멀티모달 질의 (텍스트, 오디오, 비디오) 를 이해하고 반응하는 능력이 제한적입니다.

2. 제안 방법론 (Methodology)

저자들은 MAViD라는 새로운 멀티모달 프레임워크를 제안하며, 이를 위해 지휘자 - 창작자 (Conductor-Creator) 아키텍처를 도입했습니다.

A. Conductor-Creator 아키텍처

• Conductor (지휘자): 사용자의 멀티모달 질의 (텍스트, 오디오, 비디오) 를 이해하고, 대화의 맥락을 분석하여 전체적인 텍스트 지시문을 생성합니다.
  • 세분화된 지시: 생성된 지시문을 음성 지시 (Speech Instructions) 와 동작 지시 (Motion Instructions) 로 분리합니다.
    • 음성 지시: 필요한 청각적 단서 (대사 내용, 톤 등) 제공.
    • 동작 지시: 환경 및 맥락에 따른 시각적 단서 (제스처, 표정, 배경 변화 등) 제공.
  • 이를 통해 상호작용의 미세한 제어 (Fine-grained control) 를 가능하게 합니다.
• Creator (창작자): Conductor 가 생성한 지시문을 바탕으로 동기화된 오디오 - 비디오 콘텐츠를 동시에 생성합니다.
  • 하이브리드 모델 구조: 자기회귀 (AR, Autoregressive) 모델과 확산 (Diffusion) 모델을 결합한 구조를 사용합니다.
    • AR 모델: 긴 시퀀스 모델링과 멀티모달 통합에 강점이 있어 오디오 생성 및 장기적인 일관성 유지에 사용됩니다.
    • Diffusion 모델: 고화질의 시각적 품질을 보장하기 위해 비디오 생성에 사용됩니다.
  • 퓨전 모듈 (Fusion Module): 맥락상 연속된 클립과 서로 다른 모달리티 (텍스트, 오디오, 비디오) 간의 연결을 강화하기 위해 특수한 어텐션 (Attention) 퓨전 모듈을 설계했습니다. 이는 긴 대화 동안 캐릭터의 정체성과 음색이 일관되게 유지되도록 돕습니다.

B. 학습 및 추론 전략

• 학습: 3 단계 학습 전략을 사용합니다.
  1. Conductor 의 멀티모달 이해 능력 학습 (교차 엔트로피 손실).
  2. Creator 의 AR 기반 오디오 생성 학습.
  3. Diffusion 블록을 추가하여 오디오 - 비디오 동시 생성을 위한 엔드 - 투 - 엔드 학습.
• 추론: 사용자는 텍스트, 오디오, 비디오 중 임의의 모달리티로 질의할 수 있으며, Conductor 가 이를 해석하여 지시문을 생성하고 Creator 가 이를 바탕으로 약 30 초 분량의 긴 영상을 한 번의 추론으로 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 대화 프레임워크: 텍스트, 오디오, 비디오를 모두 이해하고, 환경음 (Background noise) 을 포함한 인간과 유사한 긴 대화형 오디오 - 비디오 콘텐츠를 생성하는 최초의 프레임워크 중 하나입니다.
2. Conductor 모듈: 음성 및 동작 지시를 분리하여 생성함으로써, 대화의 자연스러움과 시각적 표현력을 극대화하는 세분화된 제어 방식을 제시했습니다.
3. AR 와 Diffusion 의 통합 Creator: 긴 시퀀스 생성에 유리한 AR 모델과 고화질 생성에 유리한 Diffusion 모델을 결합하고, 이를 위한 전용 퓨전 모듈을 설계하여 장시간 영상 생성 시의 일관성 문제를 해결했습니다.

4. 실험 결과 (Results)

• 이해 능력 (Conductor): Qwen2.5-omni, VITA-1.5 등 기존 최첨단 모델과 비교했을 때, 멀티모달 이해 능력 (이미지/오디오/비디오 → 텍스트) 에서 동등하거나 더 나은 성능을 보였습니다.
• 생성 품질 (Creator):
  • 단일 클립: 기존 2 단계 방식 (CosyVoice + Wan-S2V) 과 듀얼 DiT 기반 모델 (OVI, Universe-1) 과 비교 시, 오디오 품질 (WER, PQ) 과 비디오 품질 (Subject Consistency, Dynamic Degree) 에서 우수한 성능을 기록했습니다. 특히 다른 방법들이 정적인 결과를 내는 반면, MAViD 는 더 역동적인 움직임을 생성했습니다.
  • 장기 생성 (Long Video): 약 30 초 (약 600 프레임) 의 영상을 한 번의 추론으로 생성할 수 있습니다. 기존 방법들은 여러 번의 추론을 반복해야 하므로 음색과 톤이 급격히 변하거나 노이즈가 발생하는 반면, MAViD 는 부드러운 음색 변화와 일관된 정체성을 유지했습니다.
  • Ablation Study: 퓨전 모듈을 제거했을 때 오디오 - 비디오 일관성이 크게 저하됨을 확인하여, 제안된 퓨전 모듈의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

MAViD 는 이해 (Understanding) 와 생성 (Generation) 을 효과적으로 통합하여, 단순한 텍스트 응답을 넘어 인간과 자연스러운 멀티모달 상호작용이 가능한 디지털 휴먼 에이전트 구축의 토대를 마련했습니다.

• 기술적 혁신: AR 과 Diffusion 의 장점을 결합하고, 이를 위한 새로운 퓨전 메커니즘을 도입함으로써 장시간 멀티모달 콘텐츠 생성의 난제를 해결했습니다.
• 실용성: 약 30 초 분량의 고품질 동기화 영상을 단일 추론으로 생성할 수 있어, 가상 비서, 인터랙티브 엔터테인먼트, 교육 콘텐츠 등 다양한 downstream 애플리케이션에 적용 가능성이 높습니다.

이 연구는 멀티모달 기술이 단순한 생성을 넘어, 맥락을 이해하고 일관된 장기 상호작용을 수행하는 단계로 도약하고 있음을 보여줍니다.