EgoVITA: 시선 중심 (Egocentric) 비디오 추론을 위한 계획 및 검증 학습

이 논문은 EgoVITA (Egocentric Video Intelligence and Thinking Agent) 라는 새로운 프레임워크를 제안합니다. 이는 시선 중심 (1 인칭) 비디오 이해의 핵심 과제인 절차적 추론 (procedural reasoning) 문제를 해결하기 위해 고안된 것으로, 다중 모달 대규모 언어 모델 (MLLM) 이 부분적 관측 가능성과 지속적으로 변화하는 시점 하에서 어떻게 효과적으로 추론할 수 있는지를 다룹니다.

1. 문제 정의 (Problem)

시선 중심 비디오 (Egocentric Video) 는 사용자의 시점에서 촬영되어 카메라의 지속적인 움직임, 부분적 가시성 (partial observability), 빈번한 가림 (occlusion) 이 발생합니다. 이러한 환경에서 MLLM 은 다음과 같은 한계를 보입니다:

• 시각적 불일치: 논리적으로 그럴듯하지만 시각적 사실과 일치하지 않는 답변 생성.
• 공간 - 시간 추론 부재: 사물의 상태 변화나 행동의 시간적 흐름을 올바르게 예측하지 못함.
• 일반화 저하: 시선 중심 데이터로 미세 조정 (SFT) 하면 3 인칭 (Exocentric) 비디오 태스크에서의 성능이 급격히 떨어지는 '카타스트로픽 포기 (catastrophic forgetting)' 현상 발생.

기존 방법들은 대규모 데이터셋에 의존하거나 희소 (sparse) 한 규칙 기반 보상을 사용하여 이러한 문제를 완전히 해결하지 못했습니다.

2. 방법론 (Methodology)

EgoVITA 는 시선 중심 추론을 계획 (Planning) 과 검증 (Verification) 의 두 단계로 분해하여 구조화된 '계획 - 검증 (Plan-then-Verify)' 프로세스를 도입합니다.

2.1 프레임워크 구조

1. 시선 중심 계획 (Egocentric Planning): 모델은 1 인칭 관점에서 미래의 행동 시퀀스 (예: "칼을 집어 든다", "도마 위에 놓는다") 를 생성합니다. 이는 인과적 행동 순서를 예측하는 단계입니다.
2. 외부 시점 검증 (Exocentric Verification): 생성된 계획을 3 인칭 관점 (외부 관찰자) 에서 재검증합니다. 이 단계는 장면의 레이아웃, 사물의 affordance(사용 가능성), 공간적 관계를 분석하여 계획이 물리적으로 타당한지, 그리고 비디오의 시각적 증거와 일치하는지 확인합니다.
3. 최종 답변 생성: 계획과 검증 결과를 종합하여 최종 답변을 도출합니다.

2.2 학습 전략: 강화 학습 (GRPO)

모델은 그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 사용하여 훈련됩니다. 단일 정답이 아닌 여러 추론 경로를 샘플링하여 상대적 품질에 따라 정책을 업데이트합니다.

핵심 보상 신호 (Dense Rewards)

기존의 희소 보상 (정답 여부만 확인) 대신, 중간 추론 과정을 강화하는 두 가지 밀집 (dense) 보상 신호를 도입했습니다:

• 예측적 교차 모달 그라운딩 (ACMG, Anticipatory Cross-Modal Grounding):
  • 계획된 행동 구문 (clause) 을 미래의 시각적 프레임과 정렬시킵니다.
  • 텍스트 임베딩을 'Anticipation Head'를 통해 시각 임베딩 공간으로 투영하고, 미래 N 프레임 (N=16) 중 가장 유사한 프레임과의 코사인 유사도를 최대화하도록 보상합니다.
  • 이는 모델이 현재 프레임뿐만 아니라 미래의 시각적 상태를 예측하고 행동과 일치하도록 유도합니다.
• 신뢰도 보상 (Confidence Reward):
  • 3 인칭 검증 단계의 일관성을 강화합니다.
  • 초기 단계에서는 교사 모델 (Teacher Model) 이 생성한 검증 논리를 기준으로 학습하고, 이후에는 자체 생성된 검증 경로 중 가장 높은 점수를 받은 것과 낮은 점수를 받은 것을 비교하여 (Self-ranking) 검증의 질을 높입니다.

2.3 외부 시점 정규화 (Exocentric Regularization)

시선 중심 데이터만 학습하면 3 인칭 태스크 성능이 떨어지는 것을 방지하기 위해, RL 훈련 주기마다 MSRVTT 와 같은 3 인칭 비디오 QA 데이터셋을 사용하여 경량화된 정규화 (Cross-entropy loss) 를 수행합니다. 이를 통해 모델이 시선 중심 전문성을 유지하면서도 3 인칭 일반화 능력을 보존합니다.

3. 주요 기여 (Key Contributions)

1. 계획 - 검증 분해 프레임워크: 1 인칭 예측과 3 인칭 검증을 명시적으로 분리하여 상호 피드백을 가능하게 함. 별도의 동기화된 Ego-Exo 데이터 쌍 없이도 교차 관점 일관성을 학습.
2. 밀집 보상 메커니즘: 미래 시각적 관측과의 인과적 정렬 (ACMG) 과 3 인칭 검증 일관성을 강화하는 새로운 보상 설계.
3. 성능 및 일반화: 시선 중심 벤치마크에서 SOTA 성능을 달성하면서도 3 인칭 태스크에서의 성능 저하를 방지 (또는 개선) 하는 단일 통합 모델 구현.

4. 실험 결과 (Results)

Qwen2.5-VL-7B, InternVL3.5-8B, Qwen3-VL-8B 등 다양한 기반 모델에 적용하여 평가되었습니다.

• 시선 중심 벤치마크 (Egocentric Benchmarks):
  • EgoBlind: +7.7 점 향상 (Qwen2.5-VL 기준).
  • EgoOrient: +4.4 점 향상.
  • EgoPlan, EgoThink, EOC-Bench: 모든 태스크에서 유의미한 성능 개선.
• 외부 시점 벤치마크 (Exocentric Benchmarks):
  • MVBench, Video-MME, LVBench 등에서 기존 SFT 방식은 성능이 하락했으나, EgoVITA 는 오히려 성능을 유지하거나 향상시켰습니다 (예: Video-MME 에서 +2.7 점).
• 비교 분석:
  • 약 47k 개의 훈련 샘플로 학습된 EgoVITA 는 500 만 개 이상의 샘플로 학습된 기존 방법 (EgoThinker) 보다 시선 중심 성능이 우수하고, 3 인칭 성능 저하 없이 더 높은 효율성을 보였습니다.
  • Ablation Study: ACMG 와 신뢰도 보상을 모두 사용할 때 가장 큰 성능 향상을 보였으며, 계획 단계나 검증 단계 중 하나를 제거하면 각각 시선 중심 또는 외부 시점 성능이 저하됨을 확인했습니다.

5. 의의 및 결론 (Significance)

EgoVITA 는 MLLM 이 시선 중심 비디오에서 겪는 '할루시네이션 (Hallucination)'과 '시간적 추론 실패' 문제를 해결하기 위해 계획과 검증을 분리하고, 미래 시각적 증거를 예측적으로 활용하는 새로운 패러다임을 제시합니다.

• 기술적 의의: 희소 보상에 의존하던 기존 강화 학습 접근법을 넘어, 밀집 보상 (Dense Reward) 을 통해 복잡한 절차적 추론을 학습하는 방법을 정립했습니다.
• 실용적 의의: 시각 보조 기술, 개인 기억 비서, 보조 기술 등 시선 중심 비디오가 필수적인 분야에서 더 안전하고 정확한 AI 에이전트 개발의 기반을 마련했습니다.
• 일반화: 시선 중심과 외부 시점이라는 상반된 관점 간의 지식 전이 (Knowledge Transfer) 문제를 해결하여, 하나의 모델이 다양한 관점에서 유연하게 추론할 수 있음을 입증했습니다.

결론적으로 EgoVITA 는 부분적 관측과 동적인 시점 변화가 있는 환경에서 MLLM 의 추론 능력을 획기적으로 향상시킨 선구적인 연구로 평가됩니다.