1. 문제 정의 (Problem)

• 미래 예측의 불확실성: 미래는 본질적으로 확률적 (stochastic) 이며, 하나의 과거에서 여러 가지 가능한 미래가 존재합니다. 따라서 단일 시간 단계의 정확도만으로는 예측 모델의 성능을 평가하기 어렵습니다.
• 기존 평가의 한계: 현재 컴퓨터 비전 모델 평가는 주로 '지각 (Perception)' (과거 및 현재 프레임 이해) 에 초점을 맞추고 있습니다. 그러나 지각 능력이 뛰어난 모델이 반드시 미래 상태를 잘 예측 (Forecasting) 하는지는 명확하지 않습니다.
• 비교의 부재: 다양한 추상화 수준 (픽셀, 깊이, 객체 궤적 등) 과 다양한 사전 학습 모델 (이미지 기반, 비디오 기반, 생성형, 대비 학습 등) 을 통합적으로 비교하여 예측 능력을 평가할 수 있는 표준화된 프레임워크가 부족했습니다.

2. 제안 방법론 (Methodology)

저자들은 동결된 (Frozen) 비전 백본 모델의 예측 능력을 평가하기 위해 확산 기반 (Diffusion-based) 통합 평가 프레임워크를 제안합니다.

• 핵심 아이디어:

  • 모델 자체를 미세 조정 (Fine-tuning) 하지 않고, 사전 학습된 **동결된 비전 백본 (Frozen Vision Backbone)**의 잠재 공간 (Latent Space) 에서 미래 특성을 예측합니다.
  • 이를 통해 백본 모델 자체의 예측 능력을 격리하여 평가할 수 있습니다.

• 2 단계 평가 프로세스:

  1. Readout Head 학습 (지각 단계): 고정된 비디오 표현 (Representations) 에서 특정 작업 (픽셀, 깊이, 포인트 트랙, 바운딩 박스) 의 출력을 해독하기 위한 경량의 어텐션 기반 읽기 헤드를 학습합니다. 이는 기존 프레임에 대해 훈련되며, 예측 중에는 고정됩니다.
  2. 확산 모델 학습 (예측 단계): 고정된 과거 프레임의 잠재 인코딩을 조건 (Condition) 으로 받아, 잠재 공간 (Latent Space) 에서 미래의 궤적 (Trajectory) 을 직접 예측하는 경량 확산 (Diffusion) 모델을 훈련합니다.
     • 확률적 불확실성을 포착하기 위해 단일 점이 아닌 다양한 미래 샘플을 생성합니다.
     • 픽셀 공간이 아닌 잠재 공간에서 작동하므로 아키텍처에 구애받지 않고 다양한 모델 (이미지/비디오, 생성/지각) 을 비교 가능합니다.

• 평가 지표:

  • 예시별 지표 (Per-example Metrics): PSNR, MARE, Jaccard Distance, IoU 등을 사용하여 10 개의 샘플에 대한 평균, 최솟값, 최댓값을 보고합니다.
  • 분포 기반 지표 (Distributional Metrics):
    • Fréchet Distance (FD): 예측된 미래 궤적 분포와 실제 데이터 (Ground Truth) 분포 간의 거리를 측정하여 다양성과 현실성을 평가합니다.
    • 분산 (Variance): 예측된 미래가 실제 데이터만큼 다양한지 (정적이지 않은지) 를 확인합니다.

3. 주요 기여 (Key Contributions)

1. 통합 평가 프레임워크: 다양한 추상화 수준 (픽셀 → 깊이 → 포인트 → 객체 박스) 과 다양한 사전 학습 모델 (DINOv2, VideoMAE, WALT 등 9 개 모델) 을 동일한 프레임워크에서 비교 평가할 수 있는 벤치마크를 구축했습니다.
2. 확산 기반 예측 모듈: 고정된 표현 공간에서 미래 궤적을 모델링하는 확산 모델을 도입하여, 미래의 확률적 특성을 효과적으로 포착하고 평가합니다.
3. 광범위한 실험 및 통찰: 9 개의 다양한 비전 모델과 4 가지 예측 작업을 통해 예측 능력과 지각 능력 간의 상관관계, 모델 유형별 차이 등을 체계적으로 분석했습니다.

4. 실험 결과 (Results)

• 지각과 예측의 상관관계: 전반적으로 예측 성능은 지각 성능과 강한 상관관계를 보이지만, 최상위 모델들 사이에서는 이 관계가 깨지기도 합니다. 즉, 지각이 가장 뛰어난 모델이 항상 예측이 가장 뛰어난 것은 아닙니다.
• 생성형 모델의 우위: WALT(비디오 합성 모델) 는 마스킹 기반 자기 지도 학습 모델 (VideoMAE, 4DS 등) 보다 픽셀 및 깊이 예측에서 동등하거나 더 나은 성능을 보였습니다. 특히 저수준 (Low-level) 예측에서 강점을 보였습니다.
• 언어 Supervision 의 한계: 언어-비전 대비 학습 (Contrastive Learning, 예: SigLIP, VideoPrism) 을 받은 모델은 예측 성능 향상에 일관된 도움을 주지 못했습니다. 이는 미래 예측에 언어 정보가 필수적이지 않음을 시사합니다.
• 비디오 vs 이미지 모델: 비디오로 사전 학습된 모델이 이미지만으로 학습된 모델 (DINOv2, SigLIP 등) 보다 모든 추상화 수준에서 일관되게 우수한 성능을 보였습니다. 이는 시간적 맥락 (Temporal Context) 학습의 중요성을 강조합니다.
  • 예외: 깊이 예측 (Depth) 에서 DINOv2 가 좋은 성능을 보였으나, 이는 사용된 데이터셋 (ScanNet) 이 움직임이 적어 동적 정보가 덜 필요했기 때문으로 분석됩니다.
• N-WALT 의 한계: WALT 를 그대로 예측에 사용하는 방식 (N-WALT) 은 픽셀 예측에는 탁월하지만, 포인트 트랙이나 객체 박스 같은 고수준 의미론적 작업에서는 성능이 떨어졌습니다. 이는 픽셀 예측 목표가 고수준 특징의 일반화를 보장하지 못함을 보여줍니다.

5. 의의 및 결론 (Significance)

• 미래 예측 능력의 재정의: 이 연구는 "미래를 예측할 수 있는 능력"이 단순히 지각 능력이 뛰어난 것과는 별개이며, 시간적 역동성 (Temporal Dynamics) 을 내재화한 표현이 필요함을 증명했습니다.
• 모델 선택 가이드: 미래 예측이 필요한 작업 (자율 주행, 로봇 공학 등) 에서는 이미지 기반 모델보다 비디오 기반 모델이나 생성형 비디오 모델이 더 적합한 백본임을 시사합니다.
• 평가 기준의 확장: 단일 정답이 없는 미래 예측 문제를 평가하기 위해, 단일 시간 단계의 정확도뿐만 아니라 분포 기반의 다양성과 현실성을 평가하는 것이 필수적임을 강조했습니다.
• 향후 연구 방향: 고정된 표현 공간에서 확산 모델을 통해 예측하는 패러다임을 제시함으로써, 향후 더 긴 시간 범위 (Long-horizon) 의 예측이나 복잡한 시나리오 연구에 대한 강력한 베이스라인을 제공합니다.

이 논문은 컴퓨터 비전 모델이 단순히 "현재를 보는 것"을 넘어 "미래를 상상하고 계획하는" 능력을 갖추기 위해 어떤 특성이 필요한지에 대한 중요한 통찰을 제공합니다.