TrackMAE: Video Representation Learning via Track Mask and Predict

TrackMAE: 트랙 마스크 및 예측을 통한 비디오 표현 학습

1. 문제 정의 (Problem)

기존의 마스크된 비디오 모델링 (Masked Video Modeling, MVM) 은 자기지도 학습 (Self-Supervised Learning) 에서 강력한 패러다임으로 자리 잡았으나, 다음과 같은 근본적인 한계가 존재합니다.

• 운동 정보의 암시적 인코딩: 기존 MVM 은 주로 무작위 튜블 (tubelet) 마스킹과 픽셀 재구성을 통해 운동 정보를 간접적으로만 학습합니다.
• 세부 운동 인식 부족: 이로 인해 학습된 표현은 색상이나 질감 같은 저수준의 외관 통계 (appearance statistics) 에 치중하게 되며, 미세한 시간적 역학 (temporal dynamics) 을 포착하는 데 어려움을 겪습니다.
• 운동 중심 태스크의 저조한 성능: Kinetics-400 과 같은 외관 중심 데이터셋에서는 좋은 성능을 내지만, Something-Something V2 나 FineGym 과 같이 정밀한 시간적 모델링이 필수적인 '운동 중심 (motion-centric)' 태스크에서는 성능이 떨어집니다.
• 기존 개선안의 한계: 최근 연구들은 마스크 영역을 운동이 많은 부분으로 Bias 하거나 (Motion-aware masking), 특징 공간 (Feature space) 재구성을 도입하는 등의 시도를 했으나, 여전히 운동 정보 자체를 명시적인 학습 신호 (Explicit signal) 로 사용하지는 않아 운동 민감도 개선에 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 TrackMAE를 제안하여, 기존 MVM 패러다임에 운동 예측 (Motion Prediction) 을 명시적인 재구성 목표로 추가하고, 이를 활용하여 마스킹 전략을 개선합니다.

• 핵심 아이디어:

  • 점 추적기 (Point Tracker) 활용: CoTracker3 와 같은 오프더셸 (off-the-shelf) 점 추적기를 사용하여 입력 비디오의 희소 점 (sparse points) 을 추적하고 운동 궤적 (trajectories) 을 추출합니다.
  • 이중 재구성 목표 (Dual Reconstruction Objectives):
    1. 공간 재구성 (Spatial Reconstruction): 기존과 마찬가지로 마스크된 튜블의 픽셀 또는 특징 (CLIP, DINO 등) 을 재구성합니다.
    2. 운동 예측 (Motion Prediction): 추출된 점 추적 궤적의 변위 (displacement) 를 마스크된 위치에서 예측하도록 추가적인 손실 함수를 도입합니다.
  • 운동 인식 마스킹 (Motion-Aware Masking): 무작위 마스킹 대신, 추출된 궤적 정보를 활용하여 고운동 영역 (High-motion) 과 저운동/정적 영역 (Low-motion) 에서 가시 토큰 (visible tokens) 을 균등하게 샘플링하는 전략을 사용합니다. 이는 모델이 운동이 없는 부분과 있는 부분 모두에서 맥락을 학습하도록 유도합니다.

• 아키텍처:

  • 인코더: 가시 토큰을 입력받아 잠재 표현을 생성하는 공통 ViT 인코더.
  • 디코더: 두 개의 분리된 디코더를 사용합니다.
    • Ψ_spatial: 공간 특징 (픽셀 또는 CLIP 특징) 재구성.
    • Ψ_motion: 운동 궤적 변위 예측.
  • 업샘플링 (Upsampling): 희소한 점 추적 (예: 14x14 그리드) 의 계산 비용을 줄이면서도 밀집된 운동 타겟을 얻기 위해, 추출된 희소 궤적을 공간적으로 보간 (upsampling) 하여 더 밀집된 운동 타겟을 생성합니다.

• 손실 함수:
  $$\mathcal{L} = \mathcal{L}_{spatial} + \lambda \cdot \mathcal{L}_{motion}$$
  여기서 $\mathcal{L}_{spatial}$은 픽셀 또는 특징 재구성 손실, $\mathcal{L}_{motion}$은 궤적 변위 예측 손실입니다.

3. 주요 기여 (Key Contributions)

1. TrackMAE 제안: 추적된 점 궤적 예측을 기반으로 명시적인 운동 인식을 갖춘 새로운 마스크된 비디오 사전 학습 (pretraining) 방식 제안.
2. 운동 인식 마스킹 전략 개선: 무작위 튜블 마스킹을 대체하여, 고운동 및 저운동 영역에서 가시 토큰을 균등하게 샘플링하는 새로운 마스킹 전략 도입.
3. 광범위한 평가 및 SOTA 달성: 다양한 데이터셋과 태스크 (선형 프로빙, 전체 파인튜닝, SEVERE 벤치마크) 에서 기존 최첨단 (SOTA) 비디오 SSL 방법론들을 일관되게 능가하는 성능 입증.

4. 실험 결과 (Results)

TrackMAE 는 Kinetics-400(K400) 에서 사전 학습 후 다양한 벤치마크에서 평가되었습니다.

• 선형 프로빙 (Linear Probing):
  • 운동 중심 태스크: Something-Something V2 (SSv2) 와 FineGym 에서 기존 MVM 기반 방법론 (VideoMAE, MGM, MGMAE 등) 보다 크게 향상된 Top-1 정확도를 기록했습니다. 특히 픽셀 재구성 기반 TrackMAE 는 SSv2 에서 23.6% (기존 21.7% 대비) 의 성능을 보였습니다.
  • 특징 재구성: CLIP 특징을 타겟으로 할 때 TrackMAE 는 SMILE(기존 SOTA) 을 능가하며 SSv2 에서 27.3%, FineGym 에서 31.8% 의 정확도를 달성했습니다.
• 전체 파인튜닝 (Full Finetuning):
  • K400 및 SSv2 데이터셋에서 전체 파인튜닝 시에도 모든 설정에서 SOTA 성능을 기록했습니다. 특히 K400→SSv2 크로스 도메인 전이에서 72.8% 의 정확도를 보여 SMILE(72.1%) 보다 우월했습니다.
• SEVERE 벤치마크 (일반화 능력):
  • 도메인 시프트 (Domain shift), 샘플 효율성 (Sample efficiency), 행동 세분성 (Action granularity), 태스크 시프트 (Task shift) 등 4 가지 일반화 요소를 평가한 SEVERE 벤치마크에서 TrackMAE 는 일관되게 강력한 성능을 보여주었습니다. 이는 학습된 표현이 운동과 외관 모두에 대해 강건하고 일반화 능력이 높음을 의미합니다.
• 추적기 내성 (Robustness):
  • 추적기에서 발생하는 노이즈 (공간적/시간적 잡음) 에 대해 모델이 강건하게 작동함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 운동 정보의 명시적 활용: 비디오 표현 학습에서 운동 정보를 단순히 암시적으로 학습하는 것을 넘어, 추적된 궤적 자체를 예측 목표로 삼음으로써 모델이 시간적 역학을 더 정밀하게 이해하도록 유도했습니다.
• 효율성과 성능의 균형: CoTracker3 와 같은 외부 모듈을 사용하지만, 희소 추적 후 업샘플링을 통해 계산 비용을 크게 증가시키지 않으면서도 밀집된 운동 정보를 학습할 수 있게 했습니다.
• 범용성: 픽셀 재구성과 고수준 특징 (CLIP) 재구성 모두에서 운동 예측 타겟이 보완적인 역할을 하여, 외관 중심과 운동 중심 태스크 모두에서 우수한 성능을 발휘함을 입증했습니다.

결론적으로 TrackMAE 는 비디오 자기지도 학습 분야에서 운동 민감도 (Motion Sensitivity) 와 일반화 능력 (Generalization) 을 동시에 향상시킨 새로운 표준을 제시한 연구로 평가됩니다.