VABench: 오디오 - 비디오 생성을 위한 포괄적인 벤치마크

1. 문제 제기 (Problem)

최근 비디오 생성 기술은 시각적 품질과 시공간적 일관성 측면에서 괄목할 만한 발전을 이루었습니다 (Sora, Veo 등). 그러나 기존 벤치마크 (VBench 등) 는 주로 시각적 품질에 초점을 맞추고 있으며, 동기화된 오디오 - 비디오 (Synchronous Audio-Video) 생성을 평가하기 위한 체계적인 프레임워크가 부족합니다.

기존의 오디오 - 비디오 평가 방법론은 다음과 같은 한계를 가집니다:

• 평가 차원의 부족: 단순한 시각 - 청각 일치성을 넘어, 도플러 효과, 물리적 법칙, 감정적 표현의 조화 등 복잡한 멀티모달 결합 현상을 평가하지 못함.
• 스테레오 오디오 평가 부재: 현재 생성 모델들이 스테레오 오디오를 출력하지만, 기존 벤치마크는 공간 음향 특성 (Spatial Acoustic Properties) 을 평가하는 지표를 제공하지 않음.
• 참조 데이터 의존성: 많은 기존 평가가 실제 오디오/비디오 정답 (Ground Truth) 에 의존하여, 텍스트나 이미지에서 직접 생성하는 (T2AV, I2AV) 모델 평가에 부적합함.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 VABench를 제안했습니다. 이는 텍스트 - 오디오 - 비디오 (T2AV), 이미지 - 오디오 - 비디오 (I2AV), 스테레오 오디오 생성을 포괄하는 다차원 평가 프레임워크입니다.

A. 데이터 구성 (Data Curation)

• 작업 유형:
  • T2AV (Text-to-Audio-Video): 텍스트 프롬프트를 기반으로 동기화된 오디오와 비디오 생성.
  • I2AV (Image-to-Audio-Video): 정적 이미지를 기반으로 동작과 동기화된 오디오 생성.
  • Stereo Audio Generation: 텍스트를 기반으로 공간적 단서가 포함된 스테레오 오디오 생성.
• 콘텐츠 카테고리 (7 가지):
  1. 동물 (Animals)
  2. 인간 소리 (Human Sounds, 언어적/비언어적)
  3. 음악 (Music)
  4. 환경음 (Environmental Sounds)
  5. 동기화된 물리적 소리 (Synchronous Physical Sounds)
  6. 복잡한 장면 (Complex Scenes, 다중 소스, 추상적 개념)
  7. 가상 세계 (Virtual Worlds, 물리 법칙 초월)
• 데이터 수집: LLM 과 VLM 을 활용하여 프롬프트와 QA 쌍을 생성하고, 전문가와 인간 평가를 통해 데이터의 품질과 분포를 조정했습니다.

B. 평가 지표 (Evaluation Metrics)
VABench 는 15 가지 세분화된 지표를 도입하여 전문가 모델과 멀티모달 LLM (MLLM) 을 기반으로 한 두 가지 트랙으로 평가합니다.

1. 전문가 모델 기반 평가 (Expert Model-based):
   • 단일 모달 품질: 음성 선명도 (SpeechClarity), 자연스러움 (SpeechQual&Nat), 오디오 미학 (AudioAesthetic).
   • 크로스 - 모달 정렬: 텍스트 - 비디오, 텍스트 - 오디오, 오디오 - 비디오 간의 의미적 일치도 (ViCLIP, CLAP, ImageBind 활용).
   • 시간 동기화: 오디오 - 비디오 비동기화 (Desync), 립 - 싱크 (Lip-Sync) 정확도.
2. MLLM 기반 평가 (Macro & Micro):
   • Macro (1-5 점): 오디오 - 비디오 정렬, 예술성 (Artistry), 표현력 (Expressiveness), 오디오/비디오 리얼리즘.
   • Micro (QA): 생성된 콘텐츠의 세부 사항 (소리 특성, 물리적 상호작용 등) 을 검증하는 질문 - 답변 쌍.
3. 스테레오 분석: 공간 이미지 품질 (스테레오 폭, 이미징 안정성) 과 신호 무결성 (위상 일관성, 모노 호환성) 을 평가하는 9 가지 음향 지표를 포함합니다.

3. 주요 기여 (Key Contributions)

1. 포괄적인 벤치마크 프레임워크: T2AV 와 I2AV 두 가지 주요 작업을 아우르며, 15 가지 세분화된 지표를 통해 체계적이고 자동화된 평가를 가능하게 함.
2. 다양한 콘텐츠 도메인: 단순한 지각적 일치를 넘어, 물리적 논리 (도플러 효과, 천둥 - 번개 등) 와 복잡한 인간 감정, 가상 세계의 논리까지 평가하는 7 가지 카테고리 설계.
3. 스테레오 오디오 평가 도입: 비디오 생성 벤치마크 최초로 스테레오 공간 오디오 렌더링을 위한 전용 테스트 케이스와 지표를 제공하여 차세대 오디오 - 비디오 기술 발전에 방향성을 제시.

4. 실험 결과 (Results)

저자들은 Sora 2, Veo 3, Wan 2.5 등 최신 통합 오디오 - 비디오 모델 (AV Models) 과 비디오 생성기 + 오디오 생성기 결합 모델 (V+A Models) 을 VABench 에서 평가했습니다.

• 통합 모델의 우위: Veo 3 와 Sora 2 와 같은 엔드 - 투 - 엔드 (End-to-End) 훈련된 통합 AV 모델이 일반적으로 V+A 모델보다 우수한 성능을 보였습니다. 특히 의미적 일관성, 동기화, 리얼리즘을 동시에 달성하는 데 유리함이 입증되었습니다.
• 모델별 특징:
  • Veo 3: 전반적으로 가장 강력한 성능을 보였으며, 특히 동물 소리, 물리적 상호작용, 가상 세계 카테고리에서 우수했습니다.
  • Sora 2: 리얼리즘과 물리적 타당성 (Physical Plausibility) 에서 강점을 보였으나, 오디오 미학이나 동기화 측면에서는 약간의 격차가 있었습니다.
  • Wan 2.5: 오디오 - 비디오 동기화 (특히 립 - 싱크) 에서 가장 좋은 성능을 보였으나, 의미적 정렬은 다소 낮았습니다.
• V+A 모델의 한계: 비디오 생성기 (Seedance, Kling 등) 와 오디오 생성기 (MMAudio, ThinkSound 등) 를 결합한 모델은 특정 지표 (예: 립 - 싱크) 에서 경쟁력을 보였으나, 통합 모델의 전체적인 성능을 따라잡지는 못했습니다.
• 어려운 과제: 모든 모델이 **인간 소리 (Human Sounds)**와 **복잡한 장면 (Complex Scenes)**에서 상대적으로 낮은 점수를 기록했습니다. 이는 인간의 발성 모방과 다중 소스 간의 복잡한 상호작용 추론이 여전히 기술적 병목 현상임을 시사합니다.
• 스테레오 생성: 현재 모델들은 프롬프트에 명시된 공간적 위치 (예: 왼쪽 파도, 오른쪽 새소리) 를 정확하게 구현하는 데 실패했습니다. Veo 3 와 Sora 2 는 일부 공간적 단서를 생성했으나, 일관된 스테레오 분리는 여전히 미해결 과제입니다.

5. 의의 및 결론 (Significance)

VABench 는 오디오 - 비디오 생성 모델의 성능을 평가하는 새로운 표준을 제시합니다.

• 기술적 통찰: 통합 모델이 크로스 - 모달 시너지와 통일된 의미 공간을 형성하여 더 자연스러운 콘텐츠를 생성함을 입증했습니다.
• 향후 연구 방향: 인간 소리 생성, 복잡한 물리 법칙 적용, 그리고 의미 기반의 스테레오 공간 오디오 생성이 향후 연구의 핵심 과제로 도출되었습니다.
• 표준화: 자동화되고 인간 선호도와 정렬된 (Human-aligned) 평가 체계를 통해, 오디오 - 비디오 생성 기술의 발전 속도를 가속화하고 신뢰할 수 있는 성능 측정을 가능하게 합니다.

이 논문은 단순한 생성 품질을 넘어, 물리적 타당성과 감정적 표현까지 포괄하는 차세대 멀티모달 생성 모델의 발전 방향을 제시한다는 점에서 중요한 의의를 가집니다.