Video Understanding: From Geometry and Semantics to Unified Models

1. 문제 정의 (Problem)

비디오 이해 (Video Understanding) 는 정적인 이미지 이해와 달리 시간적 연속성, 시점 변화, 운동에 의한 가림 (occlusion), 그리고 프레임 간의 장기 의존성 (long-range dependencies) 을 모델링해야 하므로 본질적으로 훨씬 더 복잡한 문제입니다. 기존 연구들은 주로 다음과 같은 세 가지 방향으로 분리되어 진행되었습니다:

1. 저수준 기하학 (Low-level Geometry): 깊이, 카메라 모션, 점 대응 관계 등 물리적 구조를 복원하는 작업.
2. 고수준 의미론 (High-level Semantics): 객체, 행동, 상호작용, 언어 기반 개념 등을 인식하고 추론하는 작업.
3. 분리된 파이프라인: 기하학과 의미론을 별도의 모델로 처리하거나 특정 작업 (Task-specific) 에만 최적화된 파이프라인을 사용.

이러한 분리된 접근법은 복잡한 현실 세계의 비디오를 이해하는 데 한계가 있으며, 특히 물리적 일관성 (기하학) 과 의미적 일관성 (의미론) 을 동시에 요구하는 통합된 애플리케이션 (예: 비디오 생성, 로봇 제어, 복잡한 질의응답) 에 적합하지 않습니다. 따라서 본 논문은 이 세 가지 관점을 통합하여 비디오 이해의 진화하는 지형을 체계적으로 조명하고, 향후 통합 비디오 파운데이션 모델 (Unified Video Foundation Models) 로의 전환을 제시하는 것을 목표로 합니다.

2. 방법론 및 주요 내용 (Methodology & Key Content)

논문은 비디오 이해를 세 가지 보완적인 관점으로 구조화하여 기존 연구들을 종합합니다.

가. 저수준 비디오 기하학 이해 (Low-level Video Geometry Understanding)

비디오 입력으로부터 물리적으로 근거한 표현 (깊이, 카메라 포즈, 광학 흐름, 점 추적) 을 복원하는 방법을 다룹니다.

• 진화 방향:
  • 추론 시간 정렬 (Inference-time alignment): 멀티뷰 제약을 통해 프레임 간 일관성을 확보하지만 계산 비용이 높음.
  • 순전파 예측 (Feed-forward prediction): 네트워크 내에서 시간적 추론을 수행하여 효율성을 높임 (예: DepthFormer, MAMo).
  • 확산 기반 접근 (Diffusion-based): 사전 학습된 생성 모델을 활용하여 높은 공간적 디테일과 시간적 안정성을 확보 (예: DepthCrafter).
• 통합 기하학 모델 (Joint Feed-forward Geometry Models): 단일 네트워크에서 깊이, 카메라 포즈, 점 맵 등 여러 기하학적 원시 데이터를 동시에 예측하는 모델 (예: DUSt3R, VGGT) 의 등장. 이는 개별 작업별 모델을 통합하여 일반화 성능을 높이고 3D 재구성을 가능하게 함.

나. 고수준 비디오 의미론 이해 (High-level Video Semantic Understanding)

비디오 내의 의미 있는 엔티티와 사건을 인식, 국소화, 추론하는 작업을 다룹니다.

• 주요 작업:
  • 비디오 분할 (Segmentation): 사전 정의된 클래스, 오픈 보카불러리 (Open-vocabulary), 클래스 무관 (Class-agnostic) 분할로 확장. SAM2 와 같은 파운데이션 모델의 도입으로 제로샷 (Zero-shot) 성능이 비약적으로 상승.
  • 비디오 객체 추적 (Tracking): RGB 기반에서 멀티모달 (Depth, Thermal, Event 등) 및 언어 기반 추적으로 발전. 단일 아키텍처로 다양한 센서 입력을 처리하는 통합 추적기 (Unified Trackers) 와 상태 공간 모델 (SSM, 예: Mamba) 을 활용한 장기 추적 연구가 활발함.
  • 비디오 시간적 그라운딩 (Temporal Grounding): 자연어 쿼리에 해당하는 비디오 구간을 찾는 작업. 기존 제안 기반 (Proposal-based) 방법에서 MLLM(멀티모달 대형 언어 모델) 기반의 추론 및 훈련 없는 (Training-free) 방법으로 진화.

다. 통합 비디오 이해 모델 (Unified Video Understanding Models)

기하학적 이해와 의미론적 추론을 단일 프레임워크 내에서 동시에 수행하는 모델들을 다룹니다.

• 비디오 질의응답 (VideoQA): 단순한 사실 인식을 넘어 공간적 기억, 인과적 추론, 장기적 서사 이해를 요구. '공간적 초감각 (Spatial Supersensing)' 개념이 등장하며, 단순한 프레임 처리를 넘어 세계 모델 (World Model) 로서의 예측 능력을 강조.
• 통합 이해 및 생성 (Understanding & Generation): 비디오 이해 (QA, Grounding) 와 생성 (Synthesis, Editing) 을 하나의 모델로 통합.
  • 아키텍처 유형:
    1. 조립식 시스템 (Assembled Systems): LLM 이 외부 전문가 모델을 호출하여 결과를 통합 (실용성 중시).
    2. 자기회귀 (AR) 통합 모델: 텍스트, 이미지, 비디오를 단일 토큰 스트림으로 매핑하여 다음 토큰 예측으로 학습 (단순성 중시).
    3. 하이브리드 통합 모델: 공통 백본을 사용하되 확산 (Diffusion) 또는 플로우 매칭 (Flow Matching) 목표를 도입하여 생성 품질과 시간적 일관성 향상.

3. 주요 기여 (Key Contributions)

1. 체계적인 분류 체계 제시: 비디오 이해 연구를 '저수준 기하학', '고수준 의미론', '통합 모델'이라는 세 가지 상호 보완적인 관점으로 재구성하여 연구 동향을 명확히 파악할 수 있는 지도를 제공함.
2. 통합 모델의 중요성 강조: 분리된 파이프라인의 한계를 지적하고, 기하학적 일관성과 의미적 제어를 동시에 만족하는 통합 파운데이션 모델이 차세대 비디오 이해의 핵심임을 주장.
3. 미래 방향성 제시:
   • 능동적 예측 세계 모델 (Active Predictive World Models): 수동적 관찰을 넘어 미래 상태를 예측하고 반사실적 추론 (Counterfactual reasoning) 을 수행하는 모델로의 전환 필요성 강조.
   • 메커니즘으로서의 메모리 (Memory as a First-class Principle): 초장기 비디오 처리를 위해 효율적인 메모리 메커니즘 (스트리밍, 점진적 업데이트) 이 설계의 핵심 요소임을 강조.
   • 불확실성 인식 계획 (Uncertainty-aware Planning): 결정론적 예측을 넘어 불확실성 하에서의 의사결정 및 에이전트 행동으로의 확장 필요성 제기.

4. 결과 및 성과 (Results)

• 성능 향상: 최신 파운데이션 모델 (SAM2, DUSt3R, MLLM 등) 의 도입으로 비디오 분할, 추적, 깊이 추정 등 개별 작업에서 기존 SOTA(State-of-the-Art) 를 크게 상회하는 성능을 달성함. 특히 오픈 보카불러리 및 제로샷 설정에서의 성능이 획기적으로 개선됨.
• 효율성 개선: 자기회귀 (AR) 모델과 상태 공간 모델 (SSM) 의 도입으로 장시간 비디오 처리 시 발생하는 계산 비용 (Quadratic complexity) 문제를 완화하고 실시간 추론 가능성을 높임.
• 통합의 가능성: 텍스트, 이미지, 비디오를 통합하여 이해와 생성을 동시에 수행하는 모델 (예: Show-o2, TUNA, UniVideo 등) 이 등장하며, 물리적 일관성을 갖춘 비디오 생성과 의미론적 제어의 결합이 가능해짐을 보임.

5. 의의 및 중요성 (Significance)

이 논문은 컴퓨터 비전 분야에서 비디오 이해가 단순한 '인식 (Recognition)' 단계에서 '추론 (Reasoning)'과 '생성 (Generation)'을 아우르는 통합된 '세계 모델 (World Model)' 단계로 진화하고 있음을 명확히 보여줍니다.

• 학술적 의의: 기하학과 의미론을 분리하여 연구하던 기존 패러다임을 통합하여, 두 영역이 서로 어떻게 상호작용하며 강화되는지에 대한 통찰을 제공함.
• 실용적 의의: 로봇 공학, 자율 주행, 콘텐츠 생성 등 복잡한 현실 세계 응용 분야에서 신뢰할 수 있는 비디오 에이전트 개발을 위한 이론적 기반과 기술적 로드맵을 제시함.
• 미래 비전: 불확실성을 고려한 계획 수립과 능동적 상호작용이 가능한 차세대 AI 시스템 구축을 위한 핵심 과제를 정의함으로써, 향후 연구 방향을 설정하는 데 중요한 기준이 됨.

요약하자면, 이 논문은 비디오 이해 기술이 기하학적 정밀도와 의미론적 추론을 통합하여 생성 및 계획 능력을 갖춘 통합 파운데이션 모델로 나아가고 있는 현재와 미래를 종합적으로 조망한 중요한 서베이입니다.