1. 문제 정의 (Problem)

기존의 비디오 대규모 언어 모델 (Video LLMs) 은 다양한 지각 기반 이해 작업에서는 뛰어난 성능을 보이지만, 복잡한 비디오 추론 작업에서는 한계를 드러냅니다. 주요 문제는 다음과 같습니다.

• 추론 능력 부족 및 할루시네이션: 모델이 비디오의 실제 콘텐츠보다는 사전 학습된 언어 지식에 의존하여 추론하는 경향이 강합니다. 이로 인해 중요한 시각적 단서를 놓치고 할루시네이션 (거짓 정보 생성) 이 발생합니다.
• 비효율적인 SFT 데이터: 기존 방법들은 강력한 모델 (예: Qwen2.5-VL-72B) 이 생성한 추론 과정 (rationale) 을 작은 모델 (예: 7B) 에게 학습시킵니다. 그러나 작은 모델은 시공간적 지각 능력이 부족하여, 강력한 모델의 추론 패턴을 그대로 모방하기 어렵고, 오히려 언어 지식에만 의존하게 됩니다.
• 일률적인 보상 설계: 강화 학습 (RL) 단계에서 모든 정답에 동일한 보상을 부여하면, 복잡한 추론이 필요한 질문과 단순한 지각 질문을 구분하지 못해 모델이 불필요하게 복잡한 추론을 하거나 (Overthinking), 필요한 추론을 하지 못하는 문제가 발생합니다.

2. 제안 방법 (Methodology)

저자들은 Video-ToC라는 새로운 비디오 추론 프레임워크를 제안하며, 이는 **트리 기반 시각적 단서 국소화 (Tree-guided Visual Cue Localization)**와 **추론 요구도 기반 보상 (Reasoning-demand Reward)**을 핵심으로 합니다.

가. 데이터 구축 파이프라인 (SFT 및 RL)

• Video-ToC-SFT-1k (지도 미세 조정용):
  • 트리 구조 데이터: 비디오를 여러 클립으로 분할하고, 이를 시맨틱 상관관계에 따라 계층적 트리 구조로 구성합니다.
  • 추론 궤적 생성: 질문을 해결하는 데 필수적인 클립 (리프 노드) 을 식별한 후, 루트 노드 (전체 비디오) 에서 해당 클립까지의 경로를 역추적 (Backtracking) 하여 '시각적 단서 국소화' 과정을 생성합니다.
  • 자연어 요약: 생성된 계층적 추론 궤적을 LLM 이 요약하여 단계별 (Step-by-step) 추론 텍스트 (Rationale) 를 만듭니다. 이는 모델이 비디오의 세부 사항을 점진적으로 탐색하는 방식을 학습하게 합니다.
• Video-ToC-RL-2k (강화 학습용):
  • 추론 요구도 (Reasoning Demand) 측정: 특정 질문에 대해 모델이 추론 없이 직접 답변할 때의 오답률 (또는 정답률) 을 기반으로 질문의 복잡도를 수치화합니다.
  • 데이터 구성: 추론이 필요한 질문과 불필요한 질문을 구분하여 RL 학습 데이터를 구성합니다.

나. 강화 학습 전략 (RL with GRPO)

• 알고리즘: GRPO (Group Relative Policy Optimization) 를 사용합니다.
• 추론 요구도 보상 (Reasoning-demand Reward):
  • 기존 이진 보상 (정답/오답) 대신, 질문의 **추론 요구도 (Reasoning Demand)**에 비례하는 보상을 부여합니다.
  • 공식: $R_{rd} = e^{-\frac{\alpha}{M}}$ (여기서 $\alpha$는 추론 없이 정답을 맞춘 횟수, $M$은 총 시도 횟수).
  • 의미: 모델이 추론 없이 쉽게 정답을 낼 수 있는 질문 ($\alpha$가 높음) 에는 보상을 낮추고, 추론이 필수적인 질문 ($\alpha$가 낮음) 에는 높은 보상을 주어, 모델이 상황에 맞게 추론을 활성화하도록 유도합니다.
  • 효과: 불필요한 과잉 추론을 방지하고, 복잡한 문제 해결 시에는 집중적인 추론을 장려합니다.

3. 주요 기여 (Key Contributions)

1. Video-ToC 프레임워크: 트리 구조를 활용한 시각적 단서 국소화 메커니즘을 도입하여, 모델이 미세한 시각적 세부 사항을 체계적으로 탐색하고 지각 능력을 향상시킵니다.
2. 자동화된 데이터 파이프라인 및 데이터셋:
   • Video-ToC-SFT-1k: 계층적 추론 패턴을 학습시키기 위한 1,000 개의 고품질 SFT 데이터셋.
   • Video-ToC-RL-2k: 추론 요구도에 따른 보상 학습을 위한 2,000 개의 RL 데이터셋.
3. 새로운 보상 설계: 질문의 난이도와 추론 필요성을 정량화하여 동적으로 보상을 조정하는 메커니즘을 제안함으로써, 모델의 추론 전략을 최적화합니다.

4. 실험 결과 (Results)

저자는 6 개의 비디오 이해 벤치마크 (VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass, VideoMME) 와 1 개의 할루시네이션 벤치마크 (VideoHallucer) 에서 실험을 수행했습니다.

• 성능 향상: Video-ToC 는 베이스라인 (Qwen2.5-VL-7B) 과 기존 최첨단 방법 (Video-R1) 을 모두 능가하는 성능을 보였습니다. 특히 추론 벤치마크 (MMVU 등) 와 일반 벤치마크에서 일관된 성능 개선을 기록했습니다.
• 할루시네이션 감소: Video-R1 은 강력한 모델의 추론을 모방하려다 할루시네이션이 심화되었으나, Video-ToC 는 단계별 시각적 단서 탐색을 통해 할루시네이션을 효과적으로 줄였습니다 (VideoHallucer 벤치마크에서 평균 정확도 향상).
• Ablation Study:
  • SFT Cold Start: Video-ToC-SFT-1k 를 통한 초기 학습이 없으면 RL 만으로는 성능 향상이 미미했습니다.
  • 트리 구조의 효과: 단순한 단서 국소화 (Single-Cue) 보다 트리 기반 국소화 (Tree-of-Cue) 가 추론 정확도를 크게 향상시켰습니다.
  • 보상 설계: 추론 요구도 기반 보상이 일률적인 정확도 보상보다 모델의 추론 능력을 더 효과적으로 강화했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 LLM 의 추론 능력을 향상시키기 위해 **구조화된 시각적 탐색 (Structured Visual Search)**과 **상황 인식 보상 (Context-aware Reward)**의 중요성을 강조합니다.

• 지각과 추론의 균형: 모델이 단순히 언어 지식에 의존하는 것을 방지하고, 비디오 콘텐츠의 미세한 시각적 단서를 체계적으로 찾아내는 능력을 배양시킵니다.
• 효율적인 학습: 소량의 고품질 데이터 (1k SFT, 2k RL) 만으로도 모델의 추론 능력을 극대화할 수 있음을 입증하여, 대규모 데이터 수집의 비효율성을 해결하는 방향을 제시합니다.
• 실용성: 복잡한 비디오 이해 작업뿐만 아니라 할루시네이션을 줄이는 데에도 효과적이어서, 신뢰할 수 있는 멀티모달 AI 개발에 중요한 기여를 합니다.

결론적으로, Video-ToC 는 비디오 기반 추론 작업에서 어떻게 시각적 정보를 체계적으로 탐색하고, 질문의 복잡도에 맞춰 추론을 조절할 것인가에 대한 새로운 패러다임을 제시합니다.