1. 문제 정의 (Problem Statement)

기존의 비디오 - 음악 (Video-to-Music, V2M) 생성 모델들은 주로 시각적 신호 (비디오 프레임) 만을 조건으로 사용하여 배경 음악을 생성합니다. 이러한 접근 방식은 다음과 같은 한계를 가집니다:

• 제한된 제어 가능성: 사용자가 원하는 스타일, 악기 구성, 감정적 흐름 (예: "어쿠스틱 포크" 또는 "앰비언트 일렉트로닉") 을 명시적으로 지시하기 어렵습니다.
• 의미론적 정렬 부족: 비디오의 장면 변화, 컷, 템포 변화에 동적으로 반응하지 못하거나, 시각적 내용과 음악의 감정적/주제적 일치가 부족할 수 있습니다.
• 기존 모델의 트레이드오프: 자기회귀 (Autoregressive, AR) 모델은 장기적 구조를 잘 포착하지만 추론 속도가 느리고 아티팩트가 발생할 수 있으며, 확산 (Diffusion) 모델은 고품질 생성이 빠르지만 전역적 일관성 (Global Coherence) 을 유지하기 어렵습니다.

따라서, 비디오의 시각적 맥락과 사용자의 텍스트 기반 의도 (Intent) 를 모두 반영하여, 고품질이고 의미론적으로 정렬된 음악을 빠르고 정밀하게 생성할 수 있는 새로운 프레임워크가 필요합니다.

2. 제안 방법론: Video-Robin

Video-Robin 은 **자기회귀적 계획 (Autoregressive Planning)**과 **확산 기반 합성 (Diffusion-based Synthesis)**을 결합한 하이브리드 아키텍처를 제안합니다. 이 모델은 비디오 프레임과 텍스트 프롬프트를 입력받아 고해상도 음악을 생성합니다.

핵심 아키텍처 구성 요소

1. AR-Head (Autoregressive Head - 계획 단계):

   • 역할: 비디오 (Visual) 와 텍스트 (Text) 입력을 통합하여 음악의 고수준 구조 (Global Structure) 를 계획하는 "의미론적 지도"를 생성합니다.
   • 구성:
     • Multimodal Semantic LM: 텍스트 토큰, 비디오 임베딩, 이전 생성된 패치 임베딩을 통합합니다.
     • FSQ (Finite Scalar Quantization): 의미론적 표현을 안정화하고 구조화하기 위해 가산적 이산화 (Semi-discrete) 를 수행합니다.
     • RITE (Residual Integration Transformer Encoder): FSQ 를 통해 손실된 미세한 아쿠스틱 세부 정보를 복구하기 위해 잔차 (Residual) 정보를 모델링합니다.
   • 출력: 고수준의 잠재 공간 (Latent) 패치에 대한 '계획 임베딩 (Planning Embedding)'을 생성합니다.

2. Refinement-Head (LocDiT - 정제 단계):

   • 역할: AR-Head 에서 생성된 계획 임베딩을 기반으로, 각 잠재 패치를 고해상도 오디오로 정제합니다.
   • 구현: Diffusion Transformer (DiT) 를 사용하여 조건부 확산 (Conditional Diffusion) 과정을 수행합니다. AR-Head 의 거시적 계획과 이전 패치를 조건으로 하여 국소적 (Local) 인 아쿠스틱 디테일을 채워 넣습니다.

3. VAE Decoder:

   • 생성된 잠재 공간 패치들을 연결하여 최종 고충실도 (High-fidelity) 오디오 파형으로 복원합니다. 학습 중에는 SongBloom 의 사전 학습된 VAE 를 고정 (Frozen) 상태로 사용합니다.

학습 전략 (Multi-Stage Training)

• Stage 1 (Text-to-Music Pretraining): 비디오 인코더를 제거하고 텍스트 - 음악 생성 태스크로 모델을 사전 학습시켜, 음악적 개념 (키, 템포, 화성 진행 등) 과 잠재 공간 간의 정렬을 학습합니다.
• Stage 2 (Video-to-Music Finetuning): 비디오 인코더와 프로젝션 레이어를 추가하여, 사전 학습된 가중치를 기반으로 비디오 - 음악 정렬을 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. Video-Robin 프레임워크: 텍스트 기반 의도 (Intent) 와 비디오 조건을 동시에 고려하여, 자기회귀적 계획과 확산 정제를 결합한 최초의 V2M 모델 중 하나입니다. 이는 생성된 음악의 스타일, 감정, 구조적 의도를 사용자가 정밀하게 제어할 수 있게 합니다.
2. ReelBench 벤치마크: 텍스트 프롬프트가 포함된 짧은 형식 (Short-form) 비디오 - 음악 생성을 평가하기 위한 새로운 데이터셋을 구축했습니다. 300 개의 샘플로 구성되며, 키, 템포, 화성 진행 등 세밀한 음악 속성을 명시하는 프롬프트를 포함합니다.
3. 성능 및 효율성: 기존 모델들 (Video2Music, VidMuse 등) 보다 추론 속도가 2.21 배 빠르면서 오디오 품질, 다양성, 오디오 - 비디오 정렬 지표에서 최상위 성능을 달성했습니다.

4. 실험 결과 (Results)

• 품질 지표 (FAD, FD, KL): ReelBench, LORIS, V2MBench 등 다양한 벤치마크에서 기존 SOTA 모델들보다 낮은 FAD(Fréchet Audio Distance) 와 FD 값을 기록하여, 생성된 오디오가 실제 음악과 더 유사하고 고품질임을 입증했습니다.
• 정렬 및 다양성: ImageBind Score 및 Gemini 기반 Omni-Judge 평가를 통해 비디오의 리듬, 주제, 감정, 문화적 관련성 등에서 우수한 정렬 능력을 보였습니다. 또한 Inception Score(IS) 와 Coverage 지표에서 높은 다양성을 입증했습니다.
• 추론 속도: 10 초 길이의 음악을 생성하는 데 약 3.87 초가 소요되어, 가장 빠른 기존 모델 (Video2Music, 8.55 초) 보다 2.21 배 빠르고, VidMuse(41.55 초) 보다 10 배 이상 빠릅니다.
• Ablation Study:
  • FSQ 와 RITE 의 중요성: FSQ 만 제거하거나 RITE 만 제거할 경우 성능이 급격히 저하되었습니다. 특히 RITE 가 없으면 FSQ 를 통해 손실된 세부 정보가 복구되지 않아 음악의 충실도가 떨어지는 것을 확인했습니다.
  • 텍스트 프롬프트의 효과: 텍스트 프롬프트를 입력받지 않을 경우 오디오 충실도와 다양성 지표가 모두 감소하여, 의도 기반 제어가 품질 향상에 필수적임을 증명했습니다.
• 사용자 평가 (Human Evaluation): 18 명의 참가자를 대상으로 한 A/B 테스트에서 오디오 품질, 음악성, 비디오 - 음악 정렬, 전반적 평가 모든 항목에서 기존 모델 대비 높은 선호도를 받았습니다.

5. 의의 및 결론 (Significance)

Video-Robin 은 비디오 콘텐츠 제작자가 배경 음악을 수동으로 작곡하거나 라이선싱 문제를 겪지 않고도, 자신의 예술적 의도 (스타일, 감정, 구조) 를 텍스트로 명시하여 비디오에 완벽하게 맞는 고품질 음악을 실시간에 가깝게 생성할 수 있게 합니다.

• 기술적 혁신: 자기회귀 모델의 장기적 구조 제어 능력과 확산 모델의 고품질 생성 능력을 결합하여, 기존 모델들이 겪던 '구조 vs. 품질'의 트레이드오프를 해결했습니다.
• 실용성: 빠른 추론 속도와 세밀한 제어 가능성으로 인해 숏폼 콘텐츠 (릴스, 쇼츠 등) 제작자 및 영상 제작 산업에 즉시 적용 가능한 솔루션을 제공합니다.
• 미래 과제: 현재 10 초 길이의 인스트루멘탈 음악에 국한되어 있으나, 향후 장편 영상, 서사적 구조, 장면 전환에 따른 자연스러운 음악 전환 등을 지원하기 위해 계획 - 정제 계층 구조를 확장하고, 더 풍부한 의도 데이터셋을 구축하는 것이 향후 과제로 제시되었습니다.

이 논문은 생성형 AI 를 활용한 오디오 - 비디오 콘텐츠 제작의 새로운 패러다임을 제시하며, 콘텐츠 크리에이터의 창의적 표현을 기술적으로 뒷받침하는 중요한 이정표가 됩니다.