기술 요약: 대규모 비디오 임베딩 벤치마크 (MVEB)

문제 정의

현재의 비디오 표현 벤치마크는 파편화되어 있으며, 일반적으로 범용적인 임베딩 품질을 평가하기보다는 단일 능력(예: 행동 인식 또는 검색)을 평가하는 데 집중하고 있습니다. 이러한 파편화는 높은 점수가 견고한 비디오 이해를 반영하는 것인지, 아니면 특정 작업에 과적합된 결과인지를 판단하기 어렵게 만듭니다. 또한, 기존 벤치마크들은 비디오 이해에 있어 오디오 트랙의 구체적인 기여도를 측정하기 위한 표준화된 프로토콜이 부족하며, 텍스트, 이미지, 오디오, 비디오 모달리티를 단일 생태계 내에서 통합적으로 평가하는 것을 지원하는 경우도 거의 없습니다.

방법론

벤치마크 구축

저자들은 더 큰 풀인 MVEB+(184개 작업)로부터 추출된 정제된 23개 작업 벤치마크인 **MVEB (Massive Video Embedding Benchmark)**를 소개합니다. 선정 과정에서는 작업의 다양성을 유지하면서 평가 비용을 줄이기 위해 상관관계 기반의 중복 제거(redundancy pruning)를 활용했습니다. MVEB은 기존의 MTEB (Massive Text Embedding Benchmark) 생태계에 통합되어 텍스트, 이미지, 오디오, 비디오 전반에 걸친 통일된 평가 프로토콜을 보장합니다.

이 벤치마크는 6가지 작업 패밀리를 중심으로 구성됩니다:

1. 분류 (Classification): 동결된 임베딩에 대한 로지스틱 회귀 (few-shot linear probing).
2. 제로샷 분류 (Zero-shot Classification): 학습 없이 비디오 임베딩을 텍스트 프롬프트와 매칭.
3. 클러스터링 (Clustering): V-measure를 통한 의미론적 그룹화 평가.
4. 쌍 분류 (Pair Classification): 비디오 쌍 사이의 이진 기준 예측.
5. 검색 (Retrieval): 8가지 모달리티 방향(예: Text→Video, Audio→Video, Audio+Video→Text)에 따른 코퍼스 관련도 순위 지정.
6. 비디오 중심 질의응답 (VCQA): 비디오 입력이 주어졌을 때 텍스트 옵션으로부터 관련 있는 답변 선택.

핵심적인 방법론적 혁신은 **쌍 평가 설계 (paired evaluation design)**입니다. 오디오를 포함하는 모든 데이터셋에 대해, MVEB은 비디오 전용 입력과 비디오+오디오 입력을 사용하여 두 번의 작업을 수행합니다. 이를 통해 **주석 출처 (annotation provenance)**에 기반하여 오디오의 기여도를 직접 측정할 수 있습니다:

• AV-grounded: 오디오와 시각적 콘텐츠 모두로부터 생성된 레이블.
• V-grounded: 시각적 요소만으로 생성된 레이블 (오디오가 존재하더라도).

평가 프로토콜

본 연구는 6가지 임베딩 패러다임에 걸친 33개의 공개 체크포인트를 평가합니다:

• 자기지도 학습 기반 비디오 인코더 (예: V-JEPA-2).
• 비디오-텍스트 대조 학습 인코더 (예: X-CLIP).
• 오디오-비주얼 대조 학습 인코더 (예: Perception Encoder).
• 멀티모달 바인딩 모델 (예: eBind).
• MLLM 기반 임베딩 모델 (대조 학습을 통해 적응됨).
• 임베더로 사용되는 생성형 MLLM (대조 적응 없이 은닉 상태 풀링을 통해 사용).

평가는 제로샷 (zero-shot)(작업별 미세 조정 없음)으로 수행됩니다. 프로토콜은 분포 외(out-of-distribution) 문제를 방지하기 위해 각 모델이 선언한 샘플링 구성(프레임 레이트, 오디오 지속 시간 제한)을 준수합니다.

주요 결과

1. 단일 지배적 모델의 부재

단일 모델이 모든 작업을 지배하지 않습니다. 성능은 패러다임과 작업 유형에 따라 크게 달라집니다:

• MLLM 기반 임베딩 (예: LCO-Embedding-Omni-7B)은 분류, 클러스터링, 쌍 분류 및 QA에서 앞서 나갑니다.
• 멀티모달 바인딩 모델 (예: eBind)은 검색 및 제로샷 분류에서 앞서 나갑니다.
• 생성형 MLLM을 직접 임베더로 사용할 경우 (대조 적응 없이), 교차 모달 작업에서 성능이 붕괴되어 적응된 모델들보다 점수가 10배 이상 낮게 나타납니다.

2. 오디오의 역할

오디오 트랙의 기여는 보편적으로 긍정적인 것은 아니며, 데이터셋의 주석 출처에 따라 달라집니다:

• AV-grounded 데이터셋: 오디오가 긍정적인 신호를 제공합니다 (+0.016 평균 이득).
• V-grounded 데이터셋: 오디오가 혼란 변수로 작용하여 성능을 저하시킵니다 (-0.046 평균 손실).
  이는 모델 패밀리 전반에 걸쳐 일관된 6포인트 격차를 발생시키며, 오디오가 그 정답 레이블이 오디오 모달리티로부터 도출되었을 때만 도움이 된다는 것을 시사합니다.

3. 모달리티 제한 리더보드

오디오 인코더가 없는 모델들을 위해 논문은 두 가지 하위 리더보드를 공개합니다:

• MVEB(text, video): 텍스트-비디오 특화 모델 (예: Qwen3-VL-Embedding-8B)은 이 서브셋에서 모든 오디오 지원 "옴니(omni)" 모델보다 우수한 성능을 보이며 분야의 상위 순위를 재편합니다.
• MVEB(video): 비디오 전용 인코더를 평가합니다.

4. 규모(Scale) vs 정렬(Alignment)

더 작은 전문화된 모델들 (예: 764M–1.8B 파라미터의 eBind)이 검색 및 제로샷 분류에서 종종 더 큰 MLLM 기반 모델들을 능가합니다. 이는 **훈련 데이터 정렬 (특히 대조 적립/contrastive adaptation)**이 백본의 규모보다 교차 모달 성능에 더 결정적임을 시사합니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 통합된 벤치마크: MVEB은 텍스트, 비디오, 오디오 모달리티 전반에 걸쳐 분류, 검색, 클러스터링, QA를 아우르며 MTEB 생태계와 통합되는 최초의 포괄적인 23개 작업 비디오 임베딩 벤치마크를 제공합니다.
2. 개발을 위한 실행 가능한 통찰력: 본 연구는 **대조 임베딩 단계 (contrastive embedding stage)**가 교차 모달 성능을 위한 필수 전제 조건임을 입증하며, 훈련 데이터 정렬이 모델 규모보다 더 중요하다는 것을 밝힙니다. 또한 오디오는 그 효용성이 주석 출처와 엄격하게 결부된 별개의 신호임을 강조합니다.
3. 커뮤니티 주도 유지보수: 정적인 벤치마크와 달리, MVEB은 정체를 방지하기 위해 작업 및 모델 버전을 특징으로 하는 장기적인 유지보수와 커뮤니티 기여를 위해 설계되었습니다.

저자들은 MVEB을 MTEB, MMTEB, MIEB, MAEB의 "비디오 형제"로 위치시키며, 통합된 임베딩 벤치마크 제품군을 완성합니다. 이 연구는 일반적인 비디오 이해를 위해서는 단일 "옴니" 모델이 모든 작업을 동일하게 해결하도록 기대하기보다, 모달리티별 강점(예: 텍스트-비디오 작업을 위한 텍스트-비디오 전문가)과 견고한 교차 모달 정렬 사이의 균형을 맞추는 것이 필요함을 강조합니다.