Structured Causal Video Reasoning via Multi-Objective Alignment

1. 문제 정의 (Problem Statement)

기존의 비디오 - 언어 모델 (Video-LLMs) 은 비디오 이해 및 추론 과정에서 다음과 같은 근본적인 한계를 겪고 있습니다.

• 비구조화된 추론 (Unstructured Reasoning): 기존 모델들은 텍스트 기반의 '생각의 사슬 (Chain-of-Thought, CoT)'을 비디오에 적용할 때, 중요한 시각적 단서가 방대한 텍스트 설명에 묻히거나 비선형적인 서술로 변질되는 경향이 있습니다.
• 인과성 및 시간적 맥락의 부재: 비디오의 핵심은 시간적 인과 관계 (Temporal Causality) 에 있습니다. 그러나 기존 모델들은 종종 개별 프레임을 검색하는 수준에 그치거나, 인과 관계를 약하게 모델링하여 추론의 신뢰도가 떨어집니다.
• 인지적 격차: 인간의 비디오 이해는 개체, 행동, 시간적 관계를 구조화된 정신적 표현 (Mental Representation) 으로 먼저 구성한 후 추론을 수행합니다. 반면, 현재 모델들은 즉각적인 연역적 추론에만 의존하여 비효율적이고 취약한 추론 과정을 보입니다.
• 다목적 최적화의 어려움: 강화 학습 (RL) 단계에서 구조적 완전성 (Fact extraction), 인과적 충실도 (Causal fidelity), 그리고 추론 길이 (Reasoning length) 간의 상충 관계 (Trade-off) 를 기존 단일 스칼라 보상이나 표준 GRPO(Group Relative Policy Optimization) 로 해결하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 인간의 인지 과정을 모방한 "구조화 우선 (Structure-First)" 패러다임을 제안하며, 이를 구현하기 위해 4 단계 훈련 파이프라인과 새로운 알고리즘을 도입했습니다.

A. 구조적 사건 사실 (Structured Event Facts)

추론 단계 이전에 비디오에서 중요한 사건과 인과 관계를 압축적으로 표현한 Structured Event Facts를 생성하도록 강제합니다. 이는 추론의 명확한 제약 조건 (Explicit Constraint) 으로 작용합니다.

• 포맷: 시간, 인물, 인간 행동, 장면, 객체, 카메라, 인과적 사건 캡션 등을 포함하는 고정된 스키마를 따릅니다.
• 역할: 추론 과정이 핵심 단서에 집중하도록 유도하고, 중간 증거를 검증 가능하게 만듭니다.

B. 4 단계 훈련 파이프라인

모델이 복잡한 추론을 학습할 수 있도록 다음과 같은 점진적인 단계를 거칩니다.

1. Fact Training (Stage 1): 모델이 비디오에서 정확한 사실 정보 (사건, 객체, 행동 등) 를 추출하여 구조화된 형식으로 출력하도록 학습합니다.
2. Format Warm-Start (Stage 1.5): 사실 추출은 그대로 유지하되, <thinking> 및 <answering> 태그 형식을 엄격히 따르도록 하여 구조적 형식에 대한 적응을 돕습니다.
3. Thinking Warm-Start (Stage 2): 사실 정보를 기반으로 복잡한 질문 (시간적 정위, 시각적 추론 등) 에 대해 인과적 추론 과정을 생성하도록 학습합니다.
   • 추론 단계: 1) 전역 검색 및 국소화 (Global Search), 2) 인과적 검증 (Causal Verification), 3) 최종 정렬 (Final Alignment) 의 3 단계로 구성됩니다.
4. RL 기반 Post-training (Stage 3): 강화 학습을 통해 모델의 성능을 최종적으로 정렬합니다.

C. Pareto-Frontier guided Advantage Balancing (P-FAB) 알고리즘

RL 단계에서 발생하는 다목적 보상 간의 충돌 (예: 사실의 밀도 vs 추론 길이) 을 해결하기 위해 제안된 핵심 알고리즘입니다.

• 기존 GRPO 의 한계: 여러 보상을 단순 가중합하거나 평균화하면 희귀하지만 중요한 신호가 묻히거나, 최적화 방향이 모호해질 수 있습니다.
• P-FAB 의 접근: 다중 경사 하강 알고리즘 (MGDA) 에서 영감을 받아, 각 보상 성분을 독립적인 목표로 간주합니다.
  • 표준화된 보상 공간에서 **파레토 프론티어 (Pareto-Frontier)**를 따라가는 최적의 가중치 벡터 ($\alpha^*$) 를 Frank-Wolfe 알고리즘을 통해 계산합니다.
  • 이를 통해 모든 목적 함수를 동시에 개선하는 공통 하강 방향을 찾으며, 희귀한 목표 (예: 정확한 인과성) 가 쉽게 달성되는 목표 (예: 단순 형식 준수) 에 의해 압도되지 않도록 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. CausalFact-60K 데이터셋: 비디오의 구조화된 사실 정보와 인과적 추론을 학습시키기 위해 구축된 대규모 데이터셋입니다. 고밀도의 사건 캡션과 엄격한 시간적 정위를 포함합니다.
2. 구조화된 추론 프레임워크: 비구조화된 CoT 의 한계를 극복하기 위해, 사실 추출을 선행하고 이를 기반으로 인과적 추론을 수행하는 새로운 아키텍처를 제안했습니다.
3. P-FAB 알고리즘: 다목적 강화 학습 환경에서 보상 간의 상충 관계를 해결하고, 파레토 최적 해를 탐색하여 모델의 안정적이고 균형 잡힌 학습을 가능하게 하는 새로운 최적화 기법입니다.
4. Factum-4B 모델: 위 방법론을 기반으로 훈련된 4B 파라미터 규모의 강력한 비디오 - 언어 모델입니다.

4. 실험 결과 (Results)

Factum-4B 는 다양한 벤치마크에서 기존 SOTA(State-of-the-Art) 모델들을 능가하는 성능을 보였습니다.

• 시간적 정위 (Temporal Grounding):
  • Charades-TimeLens 및 ActivityNet-Captions에서 정밀한 시간 구간 예측 성능이 크게 향상되었습니다. 특히 ActivityNet 에서 R1@0.5(48.4%) 및 R1@0.7(28.1%) 점수를 기록하며, 7B 규모의 모델 (Time-R1-7B 등) 보다 우수한 성능을 보였습니다.
  • 1fps(초당 1 프레임) 라는 낮은 프레임률 설정에서도 고품질 결과를 달성하여 효율성을 입증했습니다.
• 일반 비디오 이해 (General Video Understanding):
  • VideoMME, MLVU, ETBench, NExT-GQA 등 다양한 벤치마크에서 최상위 성능을 기록했습니다.
  • 특히 ETBench의 TVG(시간적 비디오 정위) 및 TEM(시간적 사건 매칭) 태스크에서 66.1% 및 26.8% 의 점수를 얻어, 구조화된 사고 과정이 일반 이해 능력까지 향상시킴을 보여주었습니다.
  • 일부 태스크에서는 GPT-4o 와 같은 독점 모델보다 높은 성능을 기록하기도 했습니다.
• Ablation Study:
  • 'Facts'나 'Thinking' 단계 중 하나를 제거할 경우 성능이 급격히 하락하여, 두 요소 모두 필수적임을 입증했습니다.
  • P-FAB 를 사용한 모델이 표준 GRPO 를 사용한 모델보다 특히 그룹 크기 (Group Size) 가 클 때 더 큰 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 이해 분야에서 **인지적 격차 (Cognitive Gap)**를 해소하는 중요한 진전을 이루었습니다.

• 해석 가능성 (Interpretability): 모델이 단순히 답을 도출하는 것이 아니라, 구조화된 사실과 인과적 검증 과정을 통해 '왜' 그 답을 도출했는지 명확하게 설명할 수 있게 되었습니다.
• 신뢰성 (Reliability): 인과적 검증 단계를 통해 환각 (Hallucination) 을 줄이고, 시간적 정위 및 인과 추론과 같은 까다로운 작업에서 높은 신뢰도를 확보했습니다.
• 확장성: P-FAB 알고리즘은 다목적 최적화 문제를 해결하는 새로운 패러다임을 제시하여, 향후 복잡한 멀티모달 작업에서의 RL 학습에 중요한 기여를 할 것으로 기대됩니다.

결론적으로, Factum-4B는 구조화된 사실 기반 추론과 다목적 정렬 기법을 결합하여, 제한된 리소스 (4B 파라미터, 낮은 프레임률) 로도 인간 수준의 세밀한 비디오 이해와 인과 추론을 가능하게 하는 강력한 모델임을 입증했습니다.