1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 의 성능을 획기적으로 향상시킨 긴 사고 연쇄 (Long Chain-of-Thought, CoT) 기법이 비디오 이해 (Video Understanding) 분야에서도 동일한 효과를 발휘할 수 있는지에 대한 의문이 제기되었습니다.

• 기존 벤치마크의 한계: 현재 존재하는 대부분의 비디오 벤치마크 (Video-MME, TempCompass 등) 는 단순한 시각적 인식이나 짧은 시간의 논리를 요구하거나, 지식 기반 (Knowledge-driven) 인 질문이 주를 이룹니다. 따라서 모델이 긴 CoT 를 통해 심층적인 추론을 수행해야만 정답을 얻을 수 있는 과제가 부족합니다.
• 핵심 문제: 기존 벤치마크에서는 사고 연쇄 (Thinking) 를 활성화하지 않아도 정답을 쉽게 얻을 수 있어, 복잡한 비디오 추론 능력을 평가하거나 '테스트 시간 확장 (Test-time scaling)'의 효과를 입증하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 VIDEOREASONBENCH라는 새로운 벤치마크를 제안하여, 시각적 콘텐츠에 기반한 복잡한 비디오 추론 능력을 평가합니다.

가. 데이터 구성 및 태스크 정의

• 비디오 생성: 각 비디오는 **잠재 상태 (Latent State)**에 일련의 **연속된 조작 (Operations)**이 가해지는 과정을 보여줍니다.
  • 구조: 상태 $S_t$에서 조작 $o_t$를 통해 $S_{t+1}$로 전이되는 시퀀스 $\{S_t, o_t, S_{t+1}\}$로 정의됩니다.
  • 시각적 복잡성: 조작 과정은 모두 보이지만, 상태 (예: 타일 배열, 카드 순서) 는 비디오의 시작 또는 끝 부분에서만 부분적으로 노출됩니다. 중간 과정은 가려져 있어 모델이 조작을 추적하여 상태를 유추해야 합니다.
  • 6 가지 시나리오: 숫자 퍼즐 (Sliding Number), 원 (Circle), 컵 (Cup), 파일 (File), 카드 (Card), 칩 (Chip) 등 6 가지 유형의 합성 및 실제 비디오를 포함합니다.
• 3 단계 추론 레벨:
  1. Level 1 (Recall): 비디오에서 관찰된 시각적 정보 (조작 순서, 횟수) 를 정밀하게 회상.
  2. Level 2 (Infer): 관찰된 조작을 바탕으로 직접 보이지 않는 잠재 상태 (예: 퍼즐의 최종 배열) 를 추론.
  3. Level 3 (Predict): 추론된 정보를 바탕으로 비디오를 넘어선 새로운 상태나 조작 시퀀스를 예측 (반사실적 추론).

나. 평가 체계

• 모델 평가: 18 가지 최신 멀티모달 LLM (MLLM) 을 평가했습니다. (GPT-4o, Gemini 2.5 시리즈, Qwen2.5-VL, LLaVA 시리즈 등)
• 평가 방식: 정답이 있는 질문은 텍스트 LLM 을 통해 정답 여부를 판별하고, 정답이 여러 개인 'Predict Operation' 유형은 모델이 생성한 조작 시퀀스를 시뮬레이션하여 최종 상태가 일치하는지 확인합니다.
• 비교 분석: 'Thinking' 모드 활성화/비활성화, 비디오를 텍스트로 변환 (vid2txt) 하는 조건, 비디오 프레임 제거 등 다양한 변인을 통해 모델의 한계를 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 제안: 시각적 인식과 심층 추론이 동시에 요구되는 VIDEOREASONBENCH를 최초로 도입했습니다. 이는 모델이 다중 조작을 순차적으로 기억하고 단계별 추론을 수행해야 하는 고난이도 과제를 제공합니다.
2. 현행 MLLM 의 한계 규명: 대부분의 최첨단 (SOTA) MLLM 이 이 벤치마크에서 극도로 낮은 성능을 보임을 발견했습니다.
   • 효율형 모델 (<10B): 2% 미만.
   • 플래그십 모델 (72B+ 및 GPT-4o): 10% 미만.
   • 최신 'Thinking' 모델 (o4-mini, Seed1.5-VL): 약 10~11%.
   • Gemini-2.5-Pro만 유일하게 56% 의 높은 정확도를 기록하며 두드러졌습니다.
3. 사고 연쇄 (CoT) 의 중요성 입증: 기존 벤치마크에서는 긴 사고 연쇄가 성능 향상에 미미한 영향을 미쳤으나, VIDEOREASONBENCH에서는 **확장된 사고 예산 (Thinking Budget)**이 성능 향상에 필수적임을 증명했습니다.
4. 시각 의존성 강조: 비디오 정보를 제거하거나 (텍스트만 제공) 프레임의 50% 를 잘라내면 기존 벤치마크보다 VIDEOREASONBENCH 에서 성능 저하가 훨씬 극심하게 발생하여, 이 벤치마크가 시각적 콘텐츠에 얼마나 의존하는지 확인했습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • Human Baseline: 인간 평가자도 평균 223 초 소요되며 73.8% 의 정확도를 보였습니다. 이는 과제의 난이도를 보여줍니다.
  • 모델별 성능:
    • Gemini-2.5-Pro-0506: 56.0% (가장 우수).
    • Gemini-2.5-Flash (Thinking): 27.4% → 56.0% (Thinking 활성화 시 급격한 향상).
    • GPT-4o: 6.9%.
    • Qwen2.5-VL-72B: 7.2%.
• Thinking Budget 분석 (Figure 5):
  • 기존 벤치마크 (Video-MME 등) 는 Thinking 토큰을 늘려도 정확도 향상 (+2.5% 미만) 이 미미했습니다.
  • 반면 VIDEOREASONBENCH 는 Thinking 토큰 증가에 따라 정확도가 약 9% 상승했습니다.
• 시각 정보 의존도 (Table 3):
  • 비디오를 텍스트 요약으로만 대체했을 때, 기존 벤치마크는 10~30% 정도 성능이 떨어졌으나, VIDEOREASONBENCH 는 96.4% 이상의 성능 저하를 보였습니다. 이는 모델이 시각적 세부 사항을 직접 관찰하고 추적해야 함을 의미합니다.
• 오류 사례 분석: 대부분의 모델은 초기 상태를 기억하지 못하거나 (Reasoning 부재), 중간 단계의 시각적 변화를 잘못 인식하여 (Visual Perception 오류) 최종 답을 틀렸습니다.

5. 의의 및 결론 (Significance)

• 비디오 추론의 새로운 기준: 단순한 시각 인식이나 지식 기반 질문을 넘어, 시각적 세부 사항을 기반으로 한 다단계 논리적 추론을 평가할 수 있는 표준 벤치마크를 제시했습니다.
• 모델 발전 방향 제시: 현재 대부분의 MLLM 은 복잡한 비디오 추론에 취약하며, 이를 극복하기 위해서는 **정밀한 시간적 인식 (Fine-grained temporal perception)**과 심층적인 사고 연쇄 (Extended CoT) 능력이 필수적임을 시사합니다.
• 연구의 방향성: 이 벤치마크는 개방형 (Open-world) 비디오에서의 추론 능력을 테스트하고, 더 나은 비디오 추론 훈련 목표를 설정하는 데 중요한 테스트베드 역할을 할 것으로 기대됩니다.

요약하자면, 이 논문은 **"기존 벤치마크로는 파악되지 않았던 MLLM 의 복잡한 비디오 추론 능력의 한계를 드러냈으며, 이를 해결하기 위해서는 시각적 정보의 정밀한 처리와 긴 사고 연쇄가 필수적임"**을 입증한 중요한 연구입니다.