논문 요약: Seeing Fast and Slow: Learning the Flow of Time in Videos

이 논문은 컴퓨터 비전 분야에서 **'시간의 흐름 (Flow of Time)'**을 학습 가능한 시각적 개념으로 정의하고, 이를 감지 (perceive) 하며 조작 (manipulate) 할 수 있는 모델을 개발하는 것을 목표로 합니다. 기존 비디오 모델들이 표준 프레임레이트 (24~60 fps) 데이터에 의존하여 시간의 속성 (속도, 가속도 등) 을 이해하지 못했던 한계를 극복하기 위해, 저자들은 자기지도학습 (self-supervised) 기법을 활용하고 대규모 슬로우모션 데이터셋을 구축하여 시간 제어 및 초해상도 기술을 제안합니다.

---

1. 문제 정의 (Problem)

현재의 비디오 이해 및 생성 모델들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 시간 추론 능력 부재: 비디오가 가속되거나 감속되었는지 판단하거나, 재생 속도를 예측하는 데서 실패합니다. 최신 VLM(Video-Language Models) 은 종종 속도를 잘못 예측하거나 환각 (hallucination) 을 일으킵니다.
• 생성 제어의 한계: 텍스트 프롬프트에 "슬로우 모션"과 같은 지시를 넣더라도, 모델이 물리적 운동의 실제 속도를 내재화하지 못해 의도한 속도로 영상을 생성하지 못합니다.
• 데이터 부족: 시간의 연속성을 학습하기 위해서는 다양한 재생 속도 (1000 fps 이상부터 표준 속도까지) 를 아우르는 데이터가 필요하지만, 기존 데이터셋은 표준 프레임레이트 위주이거나 메타데이터가 불완전하여 학습에 활용하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 시간의 흐름을 이해하고 제어하기 위해 자기지도학습 (Self-Supervised Learning) 기반의 접근법을 제시합니다.

A. 시간 흐름 감지 (Perceiving the Flow of Time)

1. 속도 변화 감지 (Speed Change Detection):
   • 원리: 비디오의 재생 속도가 변하면 오디오의 피치 (pitch) 도 비례하여 변한다는 '시간 - 주파수 스케일링 (Time-frequency scaling)' 원리를 활용합니다.
   • 학습: 오디오 피치 변화를 감지하여 시각적 속도 변화 구간을 자동으로 라벨링합니다. 이렇게 생성된 라벨로 VideoMAEv2 기반의 비주얼 속도 변화 탐지기를 학습시킵니다 (추론 시에는 오디오 없이 시각 정보만 사용).
2. 재생 속도 추정 (Playback Speed Estimation):
   • 원리: 시간 재샘플링에 대한 **등변성 (Equivariance)**을 이용합니다. 비디오를 $k$배 가속하면 모델의 예측 속도도 $k$배가 되어야 한다는 관계를 자기지도 신호로 사용합니다.
   • 학습: 원본 비디오와 가속된 비디오를 모델에 입력하여 예측 속도가 비례 관계 ($\log f_\theta(V_k) \approx \log(k \cdot f_\theta(V))$) 를 따르도록 손실 함수를 설계합니다.
   • 보정 (Calibration): 절대적인 속도 값을 얻기 위해 소수의 Ground-Truth 데이터 (예: Adobe240FPS) 를 사용하여 보정합니다.
   • 반복 예측 (Iterative Prediction): 극단적으로 느린 모션은 한 번에 정확히 예측하기 어렵기 때문에, 예측된 속도로 비디오를 가속하여 다시 예측하는 과정을 반복하여 정밀도를 높입니다.

B. 데이터 구축: SloMo-44K

• 위 모델들을 활용하여 유튜브, 비메오 등에서 수집한 자연계 (in-the-wild) 슬로우모션 비디오를 자동으로 필터링하고 주석 (speed annotation) 을 달았습니다.
• SloMo-44K: 44,632 개의 클립, 1,800 만 프레임으로 구성된 현재까지 가장 큰 범용 슬로우모션 데이터셋입니다. 10,000+ fps 까지 다양한 속도와 장면 다양성을 포함합니다.

C. 시간 흐름 조작 (Manipulating the Flow of Time)

1. 속도 조건부 비디오 생성 (Speed-conditioned Video Generation):
   • Wan2.1-I2V 모델을 기반으로, 목표 재생 속도를 로그 간격의 버킷 (bucket) 으로 변환하여 임베딩하고, 시간 단계 (timestep) 및 잠재 공간 (latent) 특징에 주입합니다.
   • 텍스트/이미지 프롬프트와 함께 **구체적인 재생 속도 (예: 0.01x ~ 1.0x)**를 조건으로 받아 물리적 운동을 해당 속도로 생성합니다.
2. 극단적 시간 초해상도 (Extreme Temporal Super-Resolution):
   • 저프레임레이트 (Low-FPS) 이고 모션 블러 (motion blur) 가 있는 영상을 고프레임레이트의 선명한 영상으로 변환합니다.
   • SloMo-44K 데이터를 이용해 저프레임레이트와 모션 블러를 합성하여 학습함으로써, 실제 촬영 환경과 유사한 조건에서도 선명한 프레임 보간을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 시간의 학습 가능한 개념화: 오디오 피치와 시간 재샘플링을 활용한 자기지도학습을 통해, 라벨 없이도 시간 속도를 감지하고 추정하는 모델을 개발했습니다.
2. SloMo-44K 데이터셋: 기존 데이터셋보다 70 배 이상 많은 비디오와 150 배 이상 많은 프레임을 포함하는 대규모 범용 슬로우모션 데이터셋을 구축했습니다.
3. 시간 제어 및 초해상도 기술:
   • 사용자가 지정한 속도로 물리적 운동을 생성하는 속도 조건부 생성 모델.
   • 모션 블러가 있는 저화질 영상을 고화질 고프레임레이트 영상으로 변환하는 시간 초해상도 모델을 제안했습니다.

4. 실험 결과 (Results)

• 속도 변화 감지: 테스트 데이터에서 **92.4%**의 정확도를 달성하여, 기존 VLM(Gemini 2.5, 59.5%) 및 광학 흐름 기반 방법 (80.4%) 을 압도했습니다.
• 재생 속도 추정: 인간 전문가의 성능 (Pearson 상관관계 0.880) 에 근접하는 0.735의 상관관계를 보였으며, 기존 방법들보다 오차를 크게 줄였습니다.
• 시간 초해상도:
  • 모션 블러가 있는 입력 (Blurred-input) 에서 기존 방법들 (FILM, LDMVFI 등) 보다 FloLPIPS, FVD 등 모든 메트릭에서 우수한 성능을 보였습니다.
  • 인간 선호도 조사 (User Study) 에서 **80.3%**의 승률을 기록하며, 생성된 영상의 자연스러움과 디테일에서 우위를 점했습니다.
• 속도 조건부 생성: 텍스트 프롬프트만으로는 속도를 제어하기 어렵지만, 제안된 모델은 명시적인 속도 조건에 따라 광학 흐름 (optical flow) 크기가 비례적으로 변하는 등 의도한 속도로 영상을 생성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 비디오 학습에서 **시간을 조작 가능한 차원 (manipulable dimension)**으로 확립했다는 점에서 의미가 있습니다.

• 실제 세계 모델링: 모델이 물리적 사건의 전개 속도를 학습함으로써 더 정교한 '세계 모델 (World Models)'을 구축할 수 있는 기반을 마련했습니다.
• 응용 분야: 시간 조작이 가능한 생성 모델은 영상 편집, 특수 효과 제작뿐만 아니라, 위조 영상 탐지 (Video Forensics) 및 과학적 분석 등 다양한 분야에 활용될 수 있습니다.
• 데이터의 중요성: 표준 프레임레이트 데이터만으로는 시간의 본질을 학습할 수 없으며, 다양한 속도의 고프레임레이트 데이터가 필수적임을 입증했습니다.

요약하자면, 이 논문은 **"보이지 않는 시간의 흐름을 어떻게 학습하고 제어할 것인가"**에 대한 체계적인 해법을 제시하며, 컴퓨터 비전과 생성 모델의 새로운 지평을 열고 있습니다.