기술 요약: LongAV-Compass

문제 제기

오디오 - 비주얼 생성 기술은 짧은 클립에서 분 단위의 콘텐츠로 빠르게 진화하고 있지만, 기존 평가 프로토콜은 여전히 짧은 형식 (일반적으로 5~10 초) 환경에 국한되어 있습니다. VBench, EvalCrafter, T2AV-Compass 와 같은 현재 벤치마크는 주로 고립된 클립 내의 국소적 화질 또는 거시적 의미 정합성을 평가합니다. 이들은 여러 사건, 더 큰 시간 간격, 또는 장기간의 오디오 - 비주얼 상호작용을 거쳐야만 드러나는 실패와 같은 장편 생성의 고유한 과제를 해결하지 못합니다. 구체적으로, 기존 벤치마크는 다음이 부족합니다:

1. 시간적 규모: 모델이 분 단위의 지속 시간 동안 일관성을 유지할 수 있는지에 대한 증거.
2. 통합 모달리티 커버리지: 단일 프로토콜 하에서 텍스트 - 오디오 - 비디오 (T2AV), 이미지 - 오디오 - 비디오 (I2AV), 비디오 - 오디오 - 비디오 (V2AV) 를 비교할 수 있는 능력.
3. 진단적 가시성: 사건 간 정체성 이탈, 약한 연속성 품질, 오디오 - 비주얼 동기화의 감쇠와 같은 장거리 열화에 대한 통찰.

방법론

벤치마크 구축 (LongAV-Compass)

저자들은 분 단위 오디오 - 비주얼 생성을 평가하도록 설계된 284 개의 큐레이션된 테스트 사례를 포함한 체계적인 벤치마크인 LongAV-Compass를 소개합니다.

• 작업 커버리지: 이 벤치마크는 세 가지 생성 작업을 통합합니다:
  • T2AV (128 건): 구조화된 사건 스크립트에서 콘텐츠를 생성.
  • I2AV (115 건): 참조 이미지와 스크립트에 조건부인 시퀀스를 생성하며, 주제 일관성이 요구됨.
  • V2AV (41 건): 연속 스크립트에 기반하여 참조 비디오를 확장하며, 스타일 및 시간적 일관성이 요구됨.
• 분류 체계: 사례는 이차원 분류 체계로 조직화됩니다:
  • 응용 시나리오: 블로그 (Vlog), 콘텐츠 크리에이터, 퍼포먼스 광고, 브랜드 광고.
  • 생성 복잡도: 단순 상호작용에서 복잡한 인과 관계 및 물리적 타당성에 이르는 4 단계 (L1~L4).
• 데이터 구축: 스크립트는 LLM 을 통해 변환된 실제 비디오 (Creative Commons, FineVideo 등) 에서 파생되거나 시나리오 템플릿에서 생성됩니다. 모든 사례는 고수준 조건부 설정을 위한 전체 설명과 시간적으로 정렬된 하위 사건 (행동 요약, 시각적 요소, 오디오 기대치 포함) 을 가진 사건 시퀀스로 주석이 달립니다.

통합 평가 프레임워크

LongAV-Compass 는 MLLM 지원 평가(Gemini 3.1 Pro 사용) 와 지각적 및 다중 모달 지표(DINO-v2, ArcFace, CLIP, ImageBind) 를 결합한 하이브리드 평가 프로토콜을 사용합니다. 이 프레임워크는 세 가지 상호 보완적 관점에 걸쳐 20 개 이상의 세밀한 차원을 평가합니다:

1. 세그먼트 내 품질:
   • 사건 이행 (VQA): 주제, 행동, 세부 사항에 대한 MLLM 검증.
   • 화질 (VQ): 자연스러운 움직임, 주체의 무결성, 아티팩트 제어.
   • 오디오 품질 (AudQ): 사실성과 사건 수준의 적절성.
2. 세그먼트 간 일관성:
   • 장편 연속성 (Cont.): 시간에 따른 스토리 연속성과 주제 일관성.
   • 전환 안정성 (Trans.): 검은 프레임, 깜빡임, 또는 갑작스러운 끊김 감지.
   • 이미지/비디오 정렬: I2AV/V2AV의 경우, 참조 보존 (IV1, ImgAlign) 과 연속성 충실도 측정.
3. 전체 내러티브 및 동기화:
   • 전체적 표현 (Hol.): 전반적인 시청 가능성과 상업적 완성도.
   • 텍스트 - 비디오 정렬 (TVAlign): CLIP 기반 의미 유사성.
   • 오디오 - 비주얼 동기화 (AVS): 시각적 행동과 소리의 시간적 정렬.
   • 장편 오디오 일관성 (AudL): 전체 사운드트랙의 안정성.

주요 결과

이 벤치마크는 독점 (예: Seedance 2.0, Kling 3.0, Veo 3.1), 오픈소스 (예: LTX 2.3, HunyuanVideo, Open-Sora), 그리고 에이전트 기반 모델로 분류된 11 개의 대표 시스템을 평가했습니다.

• 성능 격차: 독점 모델은 일반적으로 모든 작업에서 오픈소스 및 에이전트 기반 모델보다 우수한 성과를 냅니다. Seedance 2.0이 화질, 전체적 표현, 오디오 지표에서 가장 일관된 성과를 보이며 가장 우수한 성능을 발휘했습니다. Kling 3.0은 T2AV 에서 강력한 사건 이행과 장편 연속성을 보여주었습니다.
• 작업별 통찰:
  • T2AV: CLIP 정렬과 같은 프록시 지표에서 높은 점수가 성공적인 장편 생성을 보장하지는 않습니다. 사건 이행과 연속성이 더 차별화적인 요소입니다.
  • I2AV: 높은 참조 이미지 유사성 (IV1/ImgAlign) 이 시간적 일관성을 보장하지는 않습니다. 모델들은 종종 시간 경과에 따른 주제 정체성 유지나 사건 진행 조직화에 실패합니다.
  • V2AV: Seedance 2.0 이 압도적이었으며, 다른 모델들 (예: Veo 3.1) 은 강력한 사건 이행력을 보였으나 참조 경계에서 연속성과 전환 안정성 측면에서 실패했습니다.
• 복잡도 및 시나리오 분석:
  • 난이도: 복잡도가 증가함에 따라 (L1 에서 L4 로) 성능이 크게 저하됩니다. 구조적 복잡도가 높아짐에 따라 오픈소스 모델은 독점 모델 (70.6% 에서 73.9%) 에 비해 더 가파른 감소 (70.6% 에서 51.4%) 를 보입니다.
  • 시나리오: 퍼포먼스 광고가 가장 까다로운 환경으로 입증되었으며, 특히 사건 이행과 연속성 측면에서 가장 큰 성능 격차를 드러냈습니다. 이는 현재 모델들이 인과적 진행과 다단계 시연을 요구하는 제품 중심 프롬프트에 어려움을 겪고 있음을 시사합니다.
• 입력 민감도: 최적의 입력 형식 (T2AV, I2AV, 또는 V2AV) 은 모델에 따라 다르며, 모든 모델에게 가장 좋은 결과를 제공하는 단일 형식은 존재하지 않습니다.

중요성 및 주장

이 논문은 LongAV-Compass 를 단순히 시스템을 순위 매기는 리더보드가 아닌, 현재 오디오 - 비주얼 생성의 한계를 이해하기 위한 진단 테스트베드로 위치시킵니다.

• 통합 평가: 분 단위 생성에 대해 T2AV, I2AV, V2AV 를 아우르는 통합 커버리지를 제공하는 최초의 벤치마크로, 해당 분야의 중요한 격차를 해소합니다.
• 국소적 품질을 넘어선 것: 성공적인 장편 생성은 사건 실행, 시간적 구조 유지, 그리고 장기간에 걸친 오디오 - 비주얼 동기화를 결합한 능력이 필요함을 보여줍니다. 이러한 능력은 단일 지표나 짧은 클립 평가로는 포착되지 않습니다.
• 진단적 가치: 생성을 전환 안정성, 사건 간 정체성과 같은 특정 차원으로 분해함으로써 벤치마크는 현재 시스템이 제품 시연을 신뢰성 있게 수행하거나 상업적 시나리오에서 내러티브 템포를 유지하지 못하는 것과 같은 구체적인 실패 모드를 드러냅니다.
• 인간 정렬: 이 프레임워크는 콘텐츠 충실도, 화질, 안정성에 관한 인간 선호도와 강한 상관관계 (피어슨 상관계수 > 0.86) 를 달성하여 인간 평가를 위한 프록시로서의 유효성을 입증했습니다.

요약하자면, LongAV-Compass 는 " plausible 5 초 클립"을 평가하는 것에서 "일관성 있고 의미 정합적이며 시간적으로 일관된 분 단위 콘텐츠"를 평가하는 것으로 분야를 전환하는 데 필요한 인프라를 제공하며, 시간적 범위와 교차 모달 결합이 더 까다로워짐에 따라 현재 모델이 실패하는 지점을 체계적으로 식별하는 방법을 제시합니다.