기술 요약: HAVEN – 통합 비디오 이해를 위한 계층적 정렬 멀티모달 벤치마크

문제 제기

멀티모달 대규모 언어 모델 (MLLM) 이 요약, 캡션 생성, 질문 응답과 같은 표준 비디오 작업에서 강력한 성능을 입증해 왔음에도 불구하고, 복잡한 내러티브에 대한 충실한 요약 및 추론 능력은 여전히 제대로 평가되지 않고 있습니다. 현재 비디오 벤치마크는 두 가지 체계적 한계를 겪고 있습니다:

1. 분열된 감독 (Fragmented Supervision): 대부분의 기존 데이터셋은 단일 시간적 세분성 (예: 핵심 프레임, 클립 또는 비디오 수준 요약) 에서 작동하며, 프레임이 샷을 구성하고 샷이 일관된 내러티브를 구축하는 실제 세계 비디오의 본질적 계층 구조를 무시합니다.
2. 정밀한 교차 모달 근거의 부재: 텍스트 주석은 일반적으로 시각적 콘텐츠와 약하게 정렬되어 있습니다. 이로 인해 모델들은 관련 시각적 증거를 정확하게 위치시키거나 추론하지 않고도 언어 사전 지식을 악용하여 성공할 수 있습니다.

결과적으로, 현재 평가 프로토콜은 MLLM 의 능력을 체계적으로 과대평가하여 모델이 유창한 텍스트를 생성하지만 올바른 시각적 증거에 기반한 출력을 내지 못하는 "능력 착시"를 만들어냅니다.

방법론: HAVEN 벤치마크

이러한 격차를 해소하기 위해 저자들은 HAVEN(통합 비디오 이해를 위한 계층적 정렬 멀티모달 벤치마크) 을 소개합니다. 이는 계층적 완전성과 교차 모달 연속성이라는 두 가지 핵심 원칙에 기반하여 구축된 데이터셋 및 평가 프레임워크입니다.

데이터셋 구축

HAVEN 은 기존 비디오 요약 데이터셋 여섯 개 (SumMe, TVSum, OVP, YouTube, VideoXum, MR.HiSum) 를 확장하여 구성되었습니다. 구축 과정은 다음과 같습니다:

• 계층적 주석: 각 비디오 인스턴스는 세 가지 수준에서 주석 처리됩니다:
  • 프레임 수준: 균일하게 샘플링된 프레임 (비디오당 평균 164.9 개) 이 LLM 에 의해 생성된 텍스트 설명 ($D_V$) 과 인간이 주석한 핵심 프레임 ($V_{key}$) 과 짝지어집니다.
  • 샷 수준: 프레임은 커널 시간 분할 (KTS) 을 사용하여 시간적으로 일관된 샷 ($H$) 으로 분할됩니다. 각 샷은 LLM 에 의해 생성된 설명 ($D_H$) 과 인간이 주석한 핵심 샷 ($H_{key}$) 을 갖습니다.
  • 비디오 수준: 샷 수준 설명을 집계하여 전역 문서 ($T$) 와 간결한 요약 ($S$) 을 생성하며, 명시적인 문장 - 샷 정렬이 포함됩니다.
• 정렬: 이 데이터셋은 모든 수준에서 시각적 콘텐츠와 텍스트 설명 간의 명시적이고 연속적인 정렬을 특징으로 하여, 언어가 시간적으로 국소화된 증거에 기반하도록 보장합니다.
• 품질 관리: 15 개의 샘플 비디오에 대한 인간 평가는 모든 주석 수준에서 정확성, 정보성, 완전성에 대해 높은 점수를 확인했습니다.

평가 스위트

HAVEN 은 비디오 이해의 다양한 측면을 평가하기 위해 네 가지 작업 군의 통합 스위트 를 정의합니다:

1. 멀티모달 요약: 비디오 - 텍스트 (V2T), 핵심 프레임 선택 (V2V), 그리고 결합 비디오 - 텍스트 (V2VT) 요약을 포함합니다.
2. 시간적 이해: 문서 수준의 맥락 유무에 관계없이 셔플된 비디오 샷의 연대기 순서를 복원하도록 모델을 요구합니다.
3. 멀티모달 근거: 모델을 셔플된 요약 문장을 해당 시각적 샷과 정렬하도록 요구합니다.
4. 주요성 순위 매기기: 문서 맥락 유무에 관계없이 비디오 샷을 중요도에 따라 순위 매기기를 요구합니다.

주요 기여

1. 새로운 데이터셋: HAVEN 은 기존 고품질 인간 주석 데이터셋에서 파생된 명시적이고 연속적인 교차 모달 정렬을 갖춘 완전한 세분성 (프레임, 샷, 비디오) 및 완전한 멀티모달 프레임워크를 개척합니다.
2. 엄격한 테스트 프레임워크: 저자들은 네 가지 핵심 차원 (요약, 근거, 시간적 추론, 주요성) 을 포괄하는 다면적 평가를 수립하여 추상화 수준 전반에 걸친 모델 행동의 통제된 분석을 가능하게 합니다.
3. 실증 분석: 이 논문은 최첨단 MLLM 에 대한 광범위한 분석을 제공하여 표면적 텍스트 유창성과 진정한 멀티모달 근거 사이의 심각한 불일치를 드러냅니다.

실험 결과

저자들은 제로샷 설정에서 여러 상용 및 오픈소스 MLLM(GPT-5.2, Qwen3-VL, VideoLLaMA3, InternVideo2.5 포함) 을 벤치마크했습니다. 주요 발견 사항은 다음과 같습니다:

• "능력 착시": 모델들은 일관되게 유창한 텍스트 요약을 생성하지만, 이러한 출력을 올바른 시각적 증거에 기반하는 데 자주 실패합니다. 텍스트 생성에서의 높은 점수는 정확한 시각적 이해와 상관관계가 없습니다.
• 작업 민감성: 모델 성능은 작업 구성에 매우 민감합니다. 예를 들어, V2T 요약에서 강력한 모델들은 종종 핵심 프레임 선택 (V2V) 및 멀티모달 근거 작업에서 크게 하락합니다.
• 결합 생성의 한계: 결합 멀티모달 생성 (V2VT) 은 독립적 생성에 비해 텍스트 및 시각적 출력 간의 정렬을 일관되게 개선하지 않습니다. 어떤 경우에는 텍스트 품질이 향상되는 대신 시각적 선택 정확도가 희생되는 트레이드오프로 이어집니다.
• 텍스트 프록시 기준: 놀랍게도 텍스트 전용 기준 (프레임 설명 사용) 은 종종 근거 및 시간적 추론 작업에서 멀티모달 모델보다 우수한 성과를 거두어, 현재 MLLM 이 시각적 데이터에 접근함에도 불구하고 모달리티 간 정밀한 의미적 대응을 확립하는 데 어려움을 겪고 있음을 시사합니다.
• 주요성 vs 요약: 요약 성능과 주요성 순위 매기기 사이에는 명확한 격차가 존재합니다. 강력한 요약 성능은 정확한 주요성 이해를 의미하지 않으며, 이는 요약이 중요성에 대한 더 포괄적인 개념에 의존하는 반면, 주요성 순위 매기기는 명시적인 시각적 모델링을 필요로 함을 나타냅니다.

중요성 및 주장

이 논문은 HAVEN 이 전통적인 질문 응답 (QA) 형식을 넘어 멀티모달 시스템의 평가를 발전시킨다고 주장합니다. 명시적인 계층적 정렬을 갖춘 엄격하고 표준화된 테스트베드를 제공함으로써, HAVEN 은 다음과 같은 목표를 가집니다:

• 거칠거나 약하게 근거된 평가 프로토콜에 가려진 현재 MLLM 의 한계를 드러냅니다.
• 모델이 텍스트 및 시각 정보를 통합된 방식으로 효과적으로 근거하고, 정렬하며, 추론할 수 있는 해석 가능한 계층적 비디오 이해를 향한 미래 연구를 주도합니다.
• "합리적"인 언어 생성을 넘어 진정한 멀티모달 이해로 나아가는 모델을 개발하기 위한 자원을 제공합니다.

저자들은 벤치마크가 소스 데이터셋의 편향을 계승하며, 현재 오디오 모달리티를 생략하고 상대적으로 짧은 비디오에 초점을 맞추고 있음을 인정합니다. 따라서 장편 비디오 이해와 오디오를 포함한 다중 모달 통합은 향후 연구 과제로 남습니다.