InternVideo-Next: Towards General Video Foundation Models without Video-Text Supervision

1. 문제 제기 (Problem Statement)

기존의 대규모 비디오 - 텍스트 사전 학습 (Pretraining) 은 강력한 성능을 보이지만, 다음과 같은 한계를 가지고 있습니다:

• 노이즈가 많은 합성 캡션 의존성: 인터넷에서 크롤링된 비디오 - 텍스트 쌍은 노이즈가 많고, 의미론적 범위가 제한적입니다.
• 암묵적 세계 지식의 부재: 객체의 운동 (Motion), 3D 기하학적 구조, 물리적 단서 (Physical cues) 와 같은 비디오에 내재된 암묵적인 세계 지식을 학습하는 데 실패합니다.
• 자기지도 학습 (Self-supervised) 의 한계: 반면, 마스킹 비디오 모델링 (MVM) 은 시공간 구조를 직접 활용하지만, 일반 작업 (예: Kinetics-400) 에서 텍스트 감독 방법보다 성능이 떨어집니다.

저자들은 이 격차가 데이터의 부족이 아니라 아키텍처적 문제에서 비롯된다고 지적합니다:

1. 픽셀 수준의 재구성 (Pixel Reconstruction): 저수준 픽셀 재구성은 수렴 (Convergence) 이 어렵고, 저수준 요구사항이 고수준 의미 추상화와 충돌합니다.
2. 잠재 예측 (Latent Prediction): 잠재 공간 예측은 종종 '단순한 해결책 (Shortcut learning)'을 유도하여 진정한 시공간 역학이나 인과 관계를 학습하지 못하게 합니다.

2. 방법론 (Methodology)

저자는 기존 인코더 - 디코더 구조를 인코더 - 예측기 - 디코더 (Encoder-Predictor-Decoder, EPD) 프레임워크로 재해석하고, 이를 해결하기 위해 InternVideo-Next라는 2 단계 사전 학습 방식을 제안합니다.

핵심 아키텍처: EPD (Encoder-Predictor-Decoder)

• Encoder: 비디오에서 시공간 표현을 추출합니다.
• Predictor: 가시 토큰을 기반으로 마스킹 영역의 잠재 표현을 예측합니다. 이는 '잠재 세계 모델 (Latent World Model)' 역할을 합니다.
• Decoder: 예측기의 잠재 출력을 타겟 공간 (픽셀 또는 잠재) 으로 매핑합니다.

2 단계 학습 전략

Stage 1: 의미론적 가이드 픽셀 재구성 (Semantic-Guided Pixel Reconstruction)

• 목표: 픽셀 수준의 디테일과 고수준 의미 추상화를 모두 보존하는 일관된 잠재 공간을 구축합니다.
• 조건부 확산 디코더 (Conditional Diffusion Decoder): 기존의 선형 디코더 (Linear Decoder) 는 잠재 공간이 픽셀 공간에서 선형적으로 분리 가능하도록 강제하여 의미 추상화를 해칩니다. InternVideo-Next 는 이를 경량 조건부 확산 디코더로 대체하여, 잠재 공간의 고수준 의미를 유지하면서도 픽셀 수준의 정밀도를 복원합니다.
• 의미 정렬 손실 (Semantic Alignment Loss): 비디오 - 텍스트 데이터의 노이즈를 피하기 위해, **SigLIP(이미지 - 텍스트 모델)**의 프리트레인된 인코더를 'Teacher'로 사용하여 이미지 수준의 의미 사전 지식 (Semantic Priors) 을 주입합니다.
• 초기화: 예측기 (Predictor) 는 프리트레인된 텍스트 디코더 (Text Decoder) 가중치로 초기화되어 의미적 연결성을 강화합니다.

Stage 2: 의미 일관성 잠재 예측 (Semantically Coherent Latent Prediction)

• 목표: Stage 1 에서 구축된 일관된 잠재 공간 내에서 시공간 역학, 인과 관계, 3D 기하학적 지식을 학습합니다.
• 잠재 예측 목표: 학생 모델 (Student) 이 마스킹 영역의 Teacher(Stage 1 에서 학습된 가중치로 고정됨) 의 잠재 표현을 예측하도록 학습합니다.
• 단순한 해결책 방지: Teacher 를 고정 (Frozen) 하고 Stage 1 에서 학습된 의미 풍부하고 디테일 보존적인 초기화를 사용함으로써, 모델이 단순한 통계적 상관관계가 아닌 진정한 예측적 세계 지식을 학습하도록 유도합니다.
• 마스킹 전략: Stage 2 에서는 시공간적으로 연속된 큰 블록을 마스킹하는 Multi-block Masking을 사용하여 예측 난이도를 높이고 강건한 학습을 유도합니다.

3. 주요 기여 (Key Contributions)

1. EPD 프레임워크 제안: 기존 MVM 의 한계를 극복하기 위해 인코더, 예측기, 디코더를 분리하여 잠재 공간의 특성을 명확히 분석하고 최적화했습니다.
2. 2 단계 학습 스케줄링:
   • Stage 1: 확산 디코더와 이미지 의미 사전 지식을 결합하여 '의미 - 디테일' 균형을 맞춘 잠재 공간을 생성.
   • Stage 2: 고정된 Teacher 를 통해 단순한 해결책 없이 진정한 세계 지식 (운동, 물리, 3D) 을 학습.
3. 텍스트 감독 없이 SOTA 달성: 명시적인 비디오 - 텍스트 감독 없이도, 텍스트 감독을 받은 기존 모델들 (InternVideo2, V-JEPA 등) 을 능가하는 성능을 달성했습니다.
4. 범용 세계 이해 모델: 단순한 행동 인식뿐만 아니라, 깊이 추정 (Depth Estimation), 객체 추적, 3D 공간 지능 등 비디오에 내재된 물리적/기하학적 지능을 학습함을 증명했습니다.

4. 실험 결과 (Results)

InternVideo-Next 는 공개된 레이블 없는 비디오 데이터 (K-Mash 등) 로만 학습되었으며, 다양한 벤치마크에서 State-of-the-Art (SOTA) 성능을 기록했습니다.

• 행동 인식 (Action Recognition):
  • Kinetics-400: 텍스트 감독을 받은 모델들을 능가하며 (Base 기준 85.9%, Large 기준 88.4%), 특히 **Something-Something V2 (SSv2)**와 같은 미세한 운동 인식 작업에서 압도적인 성능 (SSv2 73.0%) 을 보였습니다.
  • Zero-shot 인식: 텍스트 - 비디오 검색 및 분류 작업에서도 기존 모델보다 우수한 성능을 보였습니다.
• 3D 및 물리적 지능 (World Understanding):
  • 단안 깊이 추정 (Monocular Depth Estimation): ScanNet 및 KITTI 데이터셋에서, 별도의 비디오 전용 깊이 모델 (VideoDepthAnything) 과 유사하거나 더 나은 성능을 보였습니다. 이는 모델이 비디오에서 3D 기하학적 지식을 효과적으로 학습했음을 의미합니다.
  • 객체 추적 (Object Tracking): Waymo Open 데이터셋에서 객체 수준의 운동 추적을 가장 잘 수행했습니다.
• 멀티모달 및 대화형 작업:
  • Zero-shot 텍스트 - 비디오 검색: LiT 스타일 파인튜닝을 통해 경쟁력 있는 성능을 보였습니다.
  • 비디오 챗 (Video Chat): MVBench 및 Perception Test와 같은 챗 중심 벤치마크에서 기존 모델들을 상회하여, 차세대 멀티모달 비디오 LLM 의 기반 인코더로 적합함을 입증했습니다.

5. 의의 및 결론 (Significance)

InternVideo-Next 는 텍스트 감독 없이도 비디오 자체의 시공간 구조와 암묵적 세계 지식을 학습할 수 있는 새로운 패러다임을 제시합니다.

• 효율성: 텍스트 - 비디오 정렬에 필요한 고비용의 주석 데이터 없이도, 공개된 대규모 비디오 데이터만으로 학습 가능합니다.
• 확장성: 단순한 행동 인식을 넘어, 로봇 공학 (Embodied AI), 물리적 추론, 차세대 멀티모달 LLM 등 다양한 분야에 적용 가능한 **범용 비디오 기초 모델 (General Video Foundation Model)**로서의 가능성을 열었습니다.
• 기술적 통찰: 픽셀 재구성과 잠재 예측을 대립적인 개념이 아닌, 서로 보완적인 2 단계 프로세스로 통합하여 비디오 이해의 본질적인 과제를 해결했습니다.

이 연구는 비디오가 단순한 이미지 시퀀스가 아니라, 물리 법칙과 인과 관계가 내재된 '세계의 창 (Window into the physical world)'임을 증명하고, 이를 이해하는 AI 모델 개발을 위한 강력한 기반을 마련했습니다.