1. 문제 정의 (Problem)

최근 멀티모달 대형 언어 모델 (MLLM) 은 비디오 이해 분야에서 괄목할 만한 성과를 보이고 있으나, 기존 평가 벤치마크에는 두 가지 치명적인 한계가 존재합니다.

1. 과장된 점수 (Inflated Scores): 현재의 벤치마크는 모델이 정답을 맞출 수 있는지 여부만 평가할 뿐, 그 정답이 미세한 시각적 세부 사항이나 복잡한 추론에 기반한 것인지, 아니면 할루시네이션 (hallucination) 이나 추측에 의한 것인지 구분하지 못합니다. 이로 인해 모델의 실제 이해도가 과대평가되는 경향이 있습니다.
2. 증거 기반 검증의 부재: 모델이 정답을 도출할 때, 그 근거가 되는 정확한 **시공간적 증거 (Spatio-Temporal Evidence)**를 식별하고 위치시킬 수 있는지 검증하지 않습니다. 즉, 정답은 맞았지만 근거가 틀린 경우를 '성공'으로 간주하여, 모델의 신뢰성과 실제 추론 능력을 제대로 측정하지 못합니다.

이러한 한계를 극복하고, 장편 비디오에서의 미세한 시공간적 추론 한계를 파악하기 위해 본 논문은 VideoZeroBench를 제안합니다.

2. 방법론 (Methodology)

2.1 데이터셋 구성 (Dataset Construction)

• 규모 및 범위: 138 개의 장편 비디오 (평균 길이 667.1 초, 최대 3037 초) 와 500 개의 수동으로 주석된 질문으로 구성됩니다.
• 도메인: 스포츠, 교육, 게임, 일상 Vlog, 뉴스 등 13 가지 다양한 도메인을 포함하며, 중국어와 영어 비디오를 모두 포함합니다.
• 질문 특성: 단순한 객체 인식이나 사건 감지가 아닌, **미세한 세부 사항 (작은 물체 인식, OCR, 공간 방향 판별, 다중 세그먼트 인과 관계)**을 요구하는 고난도 오픈 엔드형 질문입니다.
• 주석 (Annotation): 각 질문에는 정답을 뒷받침하는 **시간적 구간 (Temporal Intervals)**과 **공간적 바운딩 박스 (Spatial Bounding Boxes)**가 명시적으로 주석되어 있습니다.

2.2 5 단계 계층적 평가 프로토콜 (5-Level Hierarchical Evaluation)

모델의 답변 생성 능력과 증거 위치 지정 능력을 분리하여 진단하기 위해 5 단계의 평가 기준을 도입했습니다.

1. Level-1 (증거 제공 + 답변): 비디오 전체와 함께 시간적/공간적 증거 (힌트) 를 제공하여 답변 정확도를 평가합니다. (증거 통합 능력 측정)
2. Level-2 (시간적 증거만 제공): 공간적 힌트 없이 시간적 구간만 제공하여 답변 정확도를 평가합니다. (미세한 공간 인식 능력 측정)
3. Level-3 (표준 비디오 QA): 힌트 없이 비디오와 질문만으로 답변합니다. (기존 벤치마크의 표준 평가 방식)
4. Level-4 (정답 + 정확한 시간적 위치): 정답이 맞아야 하며, 동시에 정답을 뒷받침하는 시간적 구간을 정확히 찾아내야 합니다. (시간적 Grounding 정확도 측정)
5. Level-5 (정답 + 정확한 시공간적 위치): 정답, 시간적 구간, 그리고 해당 시점의 공간적 바운딩 박스까지 모두 정확해야 합니다. (가장 엄격한 신뢰성 있는 비디오 이해 평가)

3. 주요 기여 (Key Contributions)

1. VideoZeroBench 제안: 장편 비디오의 미세한 시공간적 추론 능력을 검증하는 최초의 계층적, 증거 기반 벤치마크입니다.
2. 5 단계 평가 프레임워크: 답변 정확도와 증거 위치 지정 능력을 분리하여 모델의 약점 (추론 부족, 시간 검색 실패, 공간 위치 지정 오류 등) 을 정밀하게 진단할 수 있는 체계를 마련했습니다.
3. 고난도 데이터셋: 11 가지 원자적 능력 (Atomic Abilities, 예: 작은 물체 인식, 공간 방향 판별, 카운팅 등) 을 포괄하며, 기존 벤치마크보다 훨씬 까다로운 500 개의 질문을 포함합니다.

4. 실험 결과 (Results)

Gemini-3-Pro, GPT-5.2, Qwen3-VL 등 최첨단 상용 및 오픈소스 모델을 대상으로 실험한 결과는 다음과 같습니다.

• 표준 평가 (Level-3) 의 한계: 가장 강력한 모델인 Gemini-3-Pro 를 포함하여, 표준 QA 설정에서도 정답률은 17% 미만에 그쳤습니다. 이는 기존 벤치마크 (80% 이상) 와는 대조적으로, 장편 비디오의 복잡한 추론은 여전히 해결되지 않은 문제임을 보여줍니다.
• 증거 기반 평가 (Level-5) 의 붕괴: 정답과 함께 정확한 시공간적 증거 (바운딩 박스 포함) 를 요구하는 Level-5 조건에서는 **모든 모델의 정확도가 1% 미만 (대부분 0%)**으로 떨어졌습니다.
• 핵심 발견:
  • 모델이 정답을 맞춘 경우에도, 그 근거가 되는 시공간적 증거를 찾지 못하거나 잘못된 증거를 제시하는 경우가 빈번했습니다 (할루시네이션).
  • **작은 물체 인식 (Small-object perception)**과 **공간 방향 판별 (Spatial orientation)**이 가장 큰 병목 현상이었습니다.
  • 단일 프레임 질문조차 어렵습니다: 질문이 단일 프레임으로 해결 가능하더라도, 긴 비디오 내에서 해당 프레임을 찾아내는 'Needle-in-a-Haystack' 문제가 해결되지 않아 성능이 낮았습니다.
  • Thinking-with-Video 패러다임의 한계: 반복적 추론 (Iterative reasoning) 을 시도하는 모델들도 시공간적 위치 지정의 정밀도 부족으로 인해 Level-4/5 에서 유의미한 향상을 보이지 못했습니다.

5. 의의 및 결론 (Significance)

• 신뢰할 수 있는 비디오 이해의 필요성: 단순히 정답을 맞추는 것을 넘어, 모델이 검증 가능한 증거를 기반으로 추론할 수 있어야 진정한 비디오 이해가 가능함을 강조합니다.
• 연구 방향의 전환: 향후 연구는 거시적인 의미 인식보다는 미세한 시각적 Grounding, 정밀한 시공간적 위치 지정, 그리고 증거 기반 추론에 집중해야 함을 시사합니다.
• 차세대 벤치마크: VideoZeroBench 는 현재 비디오 MLLM 의 한계를 명확히 드러내고, 다음 세대 모델이 신뢰할 수 있고 검증 가능한 이해 능력을 갖추도록 하는 엄격한 진단 도구로 활용될 것입니다.

요약하자면, 이 논문은 현재의 비디오 MLLM 이 "정답을 맞출 수는 있지만, 그 근거를 정확히 찾아내지 못하는" 심각한 한계에 직면해 있음을 증명하며, 증거 기반의 엄격한 평가가 필수적임을 주장합니다.