Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning

1. 문제 정의 (Problem Statement)

기존의 멀티모달 대규모 언어 모델 (MLLM) 이 비디오 이해 태스크에서 추론 (Reasoning) 능력을 향상시키기 위해 '생각의 사슬 (Chain-of-Thought, CoT)' 기법을 적용하려는 시도에는 다음과 같은 한계점이 존재했습니다.

• 시간적 정합성 부족 (Temporal Inconsistency): 기존 방법들은 비디오의 특정 프레임과 추론 과정을 명확하게 연결하지 못했습니다. 이로 인해 모델이 비디오의 시간적 흐름을 왜곡하거나, 특정 사건이 발생한 시점을 잘못 인식하는 '시간적 할루시네이션'이 발생했습니다.
• 복잡한 파이프라인 의존성: 많은 기존 연구 (VideoCoT, VideoEspresso 등) 는 핵심 프레임 (Key Frames) 을 추출하기 위해 보조 모델 (Auxiliary Models) 이나 다단계 추론 파이프라인을 사용했습니다. 이는 계산 비용을 증가시키고, 전체적인 시간적 맥락 (Context) 을 잃을 수 있으며, 추론 과정의 투명성을 떨어뜨립니다.
• 데이터 생성의 비효율성: 고품질의 프레임 기반 추론 데이터를 수집하는 과정은 인간의 주석 (Annotation) 이나 복잡한 LLM 파이프라인에 의존하여 비용이 많이 들고 확장성이 제한적이었습니다.

2. 제안 방법론: Chain-of-Frames (CoF)

저자들은 비디오 이해를 위한 새로운 추론 패러다임인 Chain-of-Frames (CoF) 를 제안합니다. 이는 텍스트 기반의 CoT 를 비디오 도메인에 자연스럽게 적용한 것으로, 다음과 같은 핵심 특징을 가집니다.

• 단일 단계 추론 (Single-stage Inference): 보조 모델이나 복잡한 프레임 추출 파이프라인 없이, 비디오 프레임과 텍스트 프롬프트를 한 번에 입력받아 답변을 생성합니다.
• 명시적인 프레임 참조 (Explicit Frame References): 추론 과정 (Reasoning Trace) 에서 답변을 도출하는 데 사용된 특정 프레임 번호 (예: "Frame 7", "Frame 12") 를 명시적으로 언급하도록 합니다. 이는 모델이 시각적 증거와 추론 단계를 직접 연결하도록 유도합니다.
• 프레임 식별자 활용: 시간戳 (Timestamp) 대신 프레임의 순서 번호 (Frame ID) 를 사용하여 비디오 길이나 샘플링 주파수에 구애받지 않는 일관된 표현을 사용합니다.

3. 핵심 기여 및 데이터셋 (Key Contributions & Data)

논문은 CoF 를 학습시키기 위한 대규모 데이터셋 COF-DATA 를 구축하고 이를 기반으로 모델을 학습시켰습니다.

• COF-DATA 구축:
  • 실제 비디오 (COF-DATA_real): VIDEOESPRESSO 데이터셋의 프레임 단위 캡션을 활용하여 LLM(Llama-3.1) 을 통해 질문, 답변, 프레임 참조 추론 쌍을 생성했습니다.
  • 합성 비디오 (COF-DATA_synth): CLEVRER 데이터셋의 정밀한 객체 속성 (위치, 속도, 충돌 등) 을 활용하여 수동 템플릿으로 질문과 추론을 자동 생성했습니다. 이는 비용 효율적이고 확장 가능한 데이터 생성을 가능하게 했습니다.
  • 데이터 규모: 총 164,186 개의 샘플로 구성되었으며, 실제 비디오와 합성 비디오 데이터를 혼합하여 학습했습니다.
• 모델 학습: InternVL2.5-4B, InternVL3-8B, Phi-3.5-Vision 등 최신 오픈소스 비디오 LLM 들을 COF-DATA 로 파인튜닝 (Fine-tuning) 하여 CoF 모델을 개발했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (VSI-Bench, Video-MME, MVBench, VidHal, EventHall) 에서 CoF 모델은 기존 모델 및 최신 SOTA 모델들을 능가하는 성능을 보였습니다.

• 베이스라인 모델 대비 향상:
  • CoF-InternVL3-8B 는 원래 InternVL3-8B 보다 평균 정확도가 5.1% 향상되었습니다.
  • CoF-InternVL2.5-4B 는 3.8% 향상되었으며, 단순 CoT 프롬프팅이나 QA 만으로 파인튜닝한 모델보다 모든 벤치마크에서 우월한 성능을 보였습니다.
• SOTA 모델 대비 경쟁력:
  • CoF-InternVL3-8B 는 파라미터 수가 훨씬 적은 모델임에도 불구하고, GPT-4o, Gemini-1.5-Pro 등 폐쇄형 SOTA 모델들과 경쟁하거나 일부 벤치마크 (VSI-Bench, MVBench) 에서 더 좋은 결과를 기록했습니다.
• 합성 데이터의 효과:
  • 놀랍게도 합성 데이터 (Synthetic Data) 만으로 학습된 모델이 실제 비디오 데이터로 학습된 모델보다 대부분의 벤치마크에서 더 높은 성능을 보였습니다. 이는 모델이 합성 데이터에서 추론 논리를 효과적으로 학습하여 실제 세계의 복잡한 시나리오에도 잘 전이 (Transfer) 됨을 의미합니다.
• 할루시네이션 감소: VidHal 및 EventHallusion 벤치마크에서 시간적 할루시네이션을 줄이는 데 큰 기여를 했습니다.

5. 의의 및 결론 (Significance)

이 연구는 비디오 이해 분야에서 다음과 같은 중요한 의의를 가집니다.

1. 간소화된 아키텍처: 복잡한 보조 모델이나 다단계 파이프라인 없이, 단일 단계 추론으로 프레임 기반의 정밀한 시간적 추론을 가능하게 하여 계산 효율성과 확장성을 높였습니다.
2. 해석 가능성 (Interpretability): 모델이 어떤 프레임의 시각적 정보를 바탕으로 결론을 내렸는지 (Frame References) 를 추론 과정에 명시함으로써, 모델의 결정 과정을 인간이 쉽게 이해하고 검증할 수 있게 했습니다.
3. 효율적인 데이터 전략: 합성 데이터를 활용한 저비용 고효율 데이터 생성 파이프라인을 제시하여, 대규모 비디오 추론 데이터셋 구축의 병목 현상을 해결했습니다.
4. 범용성: InternVL 시리즈뿐만 아니라 Phi-3.5-Vision 등 다양한 아키텍처에서도 CoF 기법이 효과적임을 입증했습니다.

결론적으로, Chain-of-Frames는 비디오 LLM 이 시간적 맥락을 정확하게 이해하고, 시각적 증거에 기반한 신뢰할 수 있는 추론을 수행할 수 있도록 하는 강력한 프레임워크로 자리 잡았습니다.