1. 문제 정의 (Problem)

이 논문은 이벤트 카메라 (Event Camera) 를 활용한 모션 추정 (Motion Estimation) 과 비디오 프레임 보간 (Frame Interpolation) 의 두 가지 주요 과제를 다룹니다.

• 기존 방법의 한계: 기존 이벤트 기반 모션 추정 방법 (예: ETAP, MATE) 은 대규모 합성 데이터 (Synthetic Data) 에 의존합니다. 그러나 합성 데이터는 실제 세계의 복잡한 동적 장면 (객체 상호작용, 빈번한 가림 현상 등) 을 충분히 반영하지 못하며, 합성된 이벤트와 실제 이벤트 간의 시뮬레이션 - 실제 간극 (Sim-to-Real Gap) 이 큽니다. 특히 합성 데이터 생성 과정에서 발생하는 주기적 아티팩트와 연속적인 모션 역학의 단순화가 실제 성능 저하의 원인이 됩니다.
• 데이터 부족: 실제 이벤트 - RGB 쌍 데이터는 양과 다양성 측면에서 매우 부족하며, 모션에 대한 정밀한 어노테이션 (Ground Truth) 이 존재하지 않아 학습이 어렵습니다.
• 목표: 소량의 어노테이션이 없는 실제 데이터만으로 이벤트 기반 모션 추정기를 학습시키고, 이를 통해 고품질의 프레임 보간을 가능하게 하는 것입니다.

2. 제안 방법 (Methodology)

저자들은 TETO (Tracking Events with Teacher Observation) 라는 프레임워크를 제안합니다. 이는 사전 훈련된 RGB 추적기 (Teacher) 의 지식을 증류 (Distillation) 하여, 소량의 실제 이벤트 데이터로 학생 모델 (Student) 을 학습시키는 Teacher-Student 구조입니다.

A. 모션 추정기 (Motion Estimator)

1. 데이터 큐레이션 및 페이셜 레이블 생성:
   • 약 25 분 분량의 정렬된 실제 이벤트-RGB 데이터를 엄격한 기준 (센서 정렬, 모션 다양성, 고해상도 등) 으로 선별합니다.
   • 가상 레이블 (Pseudo-labels): 사전 훈련된 강력한 RGB 추적기 (AllTracker) 를 사용하여 실제 RGB 프레임에서 궤적 (Trajectory) 과 밀도 광학 흐름 (Optical Flow) 을 생성합니다.
2. 모션 인식 데이터 큐레이션 (Motion-aware Data Curation):
   • 카메라의 자기 운동 (Ego-motion) 이 전체 모션의 대부분을 차지하는 문제를 해결하기 위해, Teacher 가 예측한 광학 흐름을 RANSAC 을 통해 전역 아핀 모델 (Global Affine Model) 로 분해합니다.
   • 잔차 흐름 (Residual Flow) 을 기반으로 독립적으로 움직이는 객체 영역을 식별하고, 쿼리 포인트 (Query Points) 를 이 영역에서 과샘플링하여 객체 모션 학습을 극대화합니다.
3. 아키텍처 및 증류:
   • Concentration Network: 이벤트 스택 (Event Stacks) 을 3 채널 RGB 와 호환되는 표현으로 변환하는 U-Net 기반 네트워크를 도입합니다.
   • AllTracker 기반: 변환된 이벤트를 입력받아 사전 훈련된 AllTracker 아키텍처를 미세 조정 (Fine-tuning) 합니다.
   • 학습 목표: 궤적 추적 손실 (Trajectory Loss) 과 광학 흐름 일관성 손실 (Flow Consistency Loss) 을 동시에 최소화하며, Teacher 의 지식을 이벤트 모달리티에 전이합니다.

B. 모션 인식 비디오 프레임 보간 (Motion-aware Video Frame Interpolation)

추정된 모션 정보를 활용하여 비디오 Diffusion Transformer 를 조건부 (Conditioning) 로 제어합니다.

1. 광학 흐름 (Optical Flow): 경계 프레임의 잠재 공간 (Latent Space) 을 와핑 (Warping) 하여 coarse spatial alignment 를 제공합니다.
2. 점 궤적 (Point Trajectories): Diffusion Transformer 의 Self-Attention 메커니즘을 지도 학습하여 미세한 기하학적 대응 관계를 유지하도록 합니다.
3. 이벤트 모션 마스크 (Event Motion Mask): 학습된 모델 없이 원시 이벤트 (Raw Events) 만으로 동적 영역을 식별하는 마스크를 생성하여, 생성 모델의 역량을 동적 영역에 집중시킵니다.

3. 주요 기여 (Key Contributions)

1. 소량 데이터 학습: 약 25 분의 어노테이션 없는 실제 데이터만으로 SOTA 수준의 이벤트 모션 추정기를 학습시켰습니다. 이는 기존 합성 데이터 기반 방법 (수 시간~수십 시간 학습) 에 비해 데이터 효율성이 압도적으로 높습니다.
2. 지식 증류 프레임워크: RGB 추적기의 강력한 대응 관계 매칭 능력을 이벤트 도메인으로 전이하면서, 이벤트 고유의 연속적인 시간 정보 (저조도, 고속 모션) 를 학습할 수 있도록 설계했습니다.
3. 고품질 프레임 보간: 추정된 모션 정보 (궤적, 흐름, 이벤트 마스크) 를 Diffusion 모델에 명시적 모션 사전 지식 (Explicit Motion Priors) 으로 제공하여, 기존 방법보다 우수한 프레임 보간 품질을 달성했습니다.
4. 새로운 평가 지표: 정밀한 어노테이션이 없는 동적 장면 평가를 위해 OATS (Object-Adherent Trajectory Score) 를 제안했습니다.

4. 실험 결과 (Results)

• 점 추적 (Point Tracking):
  • EVIMO2 벤치마크에서 합성 데이터로 학습된 기존 방법 (ETAP 등) 을 능가하는 SOTA 성능을 기록했습니다.
  • InivTAP 및 DrivTAP 와 같은 새로운 실제 데이터셋에서도 우수한 성능을 보였습니다.
• 광학 흐름 (Optical Flow):
  • DSEC 데이터셋에서 제로샷 (Zero-shot) 및 도메인 내 (In-domain) 미세 조정 모두에서 기존 비지도/자기지도 학습 방법보다 우수한 성능을 보였습니다.
• 프레임 보간 (Frame Interpolation):
  • BS-ERGB 및 HQ-EVFI 데이터셋에서 FID, LPIPS 등 지각적 품질 지표에서 모든 기존 방법 (TimeLens-XL, CBMNet 등) 을 상회했습니다.
  • 특히 고속 모션이나 가림 현상이 있는 영역에서 흐림 (Blur) 이나 고스트 (Ghosting) 아티팩트가 현저히 감소했습니다.
• 데이터 효율성: 합성 데이터 기반 방법들이 수 시간에서 5 시간 이상의 데이터를 사용하는 반면, TETO 는 25 분의 실제 데이터만으로 동등하거나 더 나은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

• 데이터 패러다임의 전환: 이벤트 카메라 분야에서 "대규모 합성 데이터"에 의존하던 관행에서, "고품질의 소량 실제 데이터 + 지식 증류"로 패러다임을 전환했습니다.
• 실제 적용 가능성: 합성 데이터의 한계 (Sim-to-Real Gap) 를 극복하여, 실제 로봇, 자율주행, 고속 촬영 등 다양한 환경에서 신뢰할 수 있는 모션 추정이 가능함을 입증했습니다.
• 멀티모달 시너지: 이벤트 카메라의 연속적인 시간 정보와 RGB 의 공간적/시각적 정보를 효과적으로 결합하여, 기존 센서만으로는 불가능했던 저조도나 고속 모션 상황에서도 견고한 성능을 발휘함을 보여줍니다.

요약하자면, TETO 는 소량의 실제 데이터와 Teacher-Student 증류 기법을 통해 이벤트 기반 모션 추정의 한계를 극복하고, 이를 통해 고품질의 비디오 생성을 가능하게 하는 획기적인 프레임워크입니다.