Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models

기술 요약: 고정된 이미지 기반 모델을 활용한 데이터 효율적 비디오 사전 학습을 향해

문제 제기
비디오 기반 모델은 현재 다양한 비디오 이해 작업에서 최첨단 (SotA) 성능을 달성하고 있지만, 종종 수백만에서 수십억 개의 클립에 이르는 방대한 비디오 데이터셋에 대한 엔드 투 엔드 사전 학습에 의존합니다. 이 접근법은 데이터 수집, 저장, 그리고 계산 자원에 상당한 비용을 초래합니다. 반면, 현대의 이미지 기반 모델은 수십억 개의 이미지로 훈련된 강력한 공간 표현을 제공하며 전례 없는 능력을 달성했습니다. 본 연구가 제기하는 핵심 연구 질문은, 이러한 기존 공간 표현을 재사용하고 사전 학습 노력을 시간적 추론에만 국한함으로써 경쟁력 있는 비디오 모델을 구축할 수 있는지 여부입니다. 저자들은 사전 훈련된 이미지 기반 모델을 고정하고 스트리밍 비디오를 처리하기 위해 순환 시간 모듈만 훈련하는 경량 학습 패러다임을 탐구하여, 비디오 사전 학습에 필요한 데이터와 계산 요구 사항을 잠재적으로 줄이려는 목표를 가집니다.

방법론
제안된 프레임워크는 비디오 이해를 위한 공간 학습과 시간 학습을 분리하여, 다음 세 가지 주요 구성 요소로 구성됩니다:

1. 고정된 이미지 인코더: 이 모델은 공간 특징 추출기로 사전 훈련된 이미지 기반 모델 (주로 DINOv3 이지만, DINOv2, SigLIP2, 그리고 지도 학습된 ViT 들도 평가됨) 을 활용합니다. 이 인코더는 훈련 중에 완전히 고정되며, 그 안을 통해 그래디언트가 흐르지 않습니다.
   • 다중 깊이 특징 추출: 고정된 인코더의 깊이에 분포된 정보를 활용하기 위해, 프레임워크는 네 개의 균등하게 간격이 떨어진 ViT 깊이 (1/4, 1/2, 3/4, 그리고 1) 에서 패치 토큰을 추출합니다. 이러한 특징들은 잔차 연결을 가진 훈련 가능한 레이어별 MLP 를 통해 적응된 후 평균화되어 입력 표현을 형성하며, CLS 및 레지스터 토큰이 보충됩니다.
2. 순환 시간 모듈: 경량 시간 모듈은 프레임별 특징을 순차적이고 인과적으로 (미래 프레임을 접근하지 않고) 처리합니다. 이 모듈은 프레임 간에 은닉 상태를 유지합니다. 저자들은 네 가지 다른 아키텍처를 평가합니다:
   • RVMRNN: RVM 베이스라인에서 채택된 크로스 어텐션을 갖춘 GRU 게이트 순환 코어.
   • Mamba: 공간 토큰에서 독립적으로 작동하는 선택적 상태 공간 모델 (SSM).
   • MambaMix: 프레임 내 패치 간 상호작용을 가능하게 하기 위해 공간 자기 어텐션 블록과 교차된 Mamba.
   • GatedMambaMix (GMMix): GRU 게이팅과 유사하게 시간 정보 흐름을 제어하기 위해 학습된 게이팅 메커니즘을 통합한 MambaMix 의 확장.
3. 주의 기반 읽기 (Attentive Readout): 작업별 헤드가 예측을 생성합니다. 저자들은 시간적 맥락이 순환 상태 내에서 엄격하게 누적되고 읽기 단계에서 보충되지 않도록 보장하는 "스트리밍" 프로토콜을 사용합니다. 여기서 읽기 단계는 현재 프레임의 출력 ($h_t$) 만을 받습니다.

주요 기여

1. 고정된 공간 표현을 통한 시간 학습에 대한 실증적 연구: 저자들은 이미지 백본이 고정되어 있더라도 여러 이미지 인코더, 시간 아키텍처, 그리고 다양한 비디오 작업 (동작 인식, 객체/점 추적, 깊이 추정, 카메라 포즈 추정) 에서 효과적인 시간적 추론이 나타난다는 것을 입증합니다.
2. 데이터 효율적 비디오 사전 학습에 대한 증거: 결과는 현대 이미지 기반 모델이 이미 비디오 이해를 위한 충분한 공간 용량을 보유하고 있음을 시사합니다. 이는 공간 학습과 시간 학습을 크게 분리하여 시간 모듈만 비디오 사전 학습이 필요한 미래 패러다임을 지지합니다.

실험 결과
본 연구는 Something-Something v2 (SSv2), Waymo Open, Perception Test (PT), ScanNet, 그리고 NuScenes 를 포함한 벤치마크에서 프레임워크를 평가합니다.

• 공간 인코더의 경쟁력: 고정된 이미지 사전 훈련 인코더 (특히 DINOv3 와 DINOv2) 는 비디오 사전 훈련된 RVM 인코더와 일관되게 대등하거나 더 나은 성능을 보입니다. 예를 들어, SSv2 에서 DINOv3 는 66.9% 의 정확도를 달성한 반면, 비디오 사전 훈련된 RVM 인코더는 62.7% 였습니다. Waymo 에서 이미지 인코더는 RVM 인코더 (85.0–85.5 mIoU 대 83.4 mIoU) 를 능가했습니다.
• 시간 모듈 성능: 고정된 DINOv3 인코더와 짝을 이룰 때, 테스트된 모든 시간 아키텍처는 고정된 RVM 베이스라인 (고정된 비디오 사전 훈련 인코더와 시간 코어를 가짐) 보다 훨씬 뛰어난 성능을 보였습니다. 예를 들어, DINOv3 + GMMix 는 정규화된 평균 99.4 를 달성한 반면, 고정된 RVM-L 은 77.7 이었습니다.
• 특징 추출 전략: 고정된 인코더의 다중 깊이 특징을 활용하는 것은 최종 레이어 토큰만 사용하는 것에 비해 모든 시간 아키텍처에서 일관되게 성능을 향상시켰습니다.
• 시간 역학의 전이성: 비디오 (RVM 에서) 로 사전 훈련된 가중치로 시간 모듈을 초기화하는 것은 다른 고정된 인코더 (DINOv3) 와 짝을 이루더라도 성능 향상을 제공했습니다. 이는 학습된 시간 역학이 부분적으로 인코더에 무관함을 나타냅니다.
• 데이터 효율성: SSv2 훈련 데이터의 25% 만으로 DINOv3 + GMMix 를 훈련한 결과 (56.5%), 데이터의 100% 로 훈련된 고정된 RVM (46.9%) 을 능가하는 성능을 보였습니다.
• 최첨단 (SotA) 과의 비교: ViT-L 규모에서 제안된 모델 (DINOv3 + GMMix) 은 정규화된 평균 99.1 을 달성하여, 시간 모듈에 대한 대규모 비디오 사전 학습이 없음에도 불구하고 RVM-L (89.3), V-JEPA-L (88.5), 그리고 VideoMAE-L (88.9) 과 같은 비디오 기반 모델들을 초과했습니다.

의의 및 주장
저자들은 이 작업을 순환 비디오 모델을 위한 새로운 사전 학습 패러다임을 향한 "진행 중인 작업"으로 위치시킵니다. 그들은 그들의 발견이 다음에 대한 초기 실증적 증거를 제공한다고 주장합니다:

1. 강력한 이미지 기반 모델이 존재한다면 공간 인코더에 대한 대규모 비디오 사전 학습은 엄격하게 필요하지 않습니다.
2. 공간 인코더가 충분히 강력하다면 대규모 비디오 사전 학습 없이도 강력한 비디오 이해가 가능합니다.
3. 단일 고정된 이미지 인코더가 경량 작업별 시간 헤드를 위한 공유 백본으로 작동하는 모듈식 접근법은 엔드 투 엔드 비디오 사전 학습보다 데이터 및 계산 효율적인 대안을 제공합니다.

이 논문은 명시적으로 시간 모듈 자체에 대한 대규모 비디오 사전 학습을 아직 수행하지 않았다고 지적하며, 대신 그러한 미래 작업에 대한 투자를 정당화하기 위해 분리된 접근법의 타당성을 검증합니다. 저자들은 현재 결과가 유망하지만, 향후 작업은 이 분리된 패러다임의 잠재력을 완전히 실현하기 위해 비디오 데이터로 시간 모듈을 사전 학습해야 한다고 결론지었습니다.