UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models

이 논문은 사전 훈련된 비디오 확산 모델의 생성적 사전 지식을 활용하여 이벤트 카메라의 희소 데이터로부터 고품질 비디오 프레임을 재구성하고, 이를 제로샷 방식으로 프레임 보간 및 예측까지 확장하는 통합 프레임워크 'UniE2F'를 제안합니다.

핵심

1. 문제 상황: "깜빡이는 불빛만 보는 카메라"

일반적인 카메라는 매 순간의 전체 그림을 찍습니다. 하지만 이벤트 카메라는 다릅니다. 이 카메라는 "무언가 움직이거나 밝기가 변했을 때"만 반응합니다. 마치 어둠 속에서 손전등을 비추며 움직이는 사람만 보는 것과 같습니다.

• 장점: 매우 빠르고, 배터리가 오래 가고, 눈이 부신 곳에서도 잘 보입니다.
• 단점: 정지해 있는 배경이나 색상은 보이지 않습니다. 결과물은 마치 점들만 흩뿌려진 점묘화처럼, 전체적인 모양은 알 수 있지만 디테일과 색감이 완전히 사라진 상태입니다.

2. 해결책: "마법 같은 그림책 (Diffusion Model)"을 활용하다

연구팀은 이 불완전한 점들 (이벤트 데이터) 을 가지고 선명한 영상을 만들려고 했습니다. 이를 위해 그들은 **이미지 생성 AI(확산 모델)**라는 '마법 같은 그림책'을 가져왔습니다.

• 비유: 이 그림책은 수만 개의 영화 장면을 이미 보고 배운 '지식'이 가득 차 있습니다. "차가 지나가면 바퀴가 어떻게 돌아가는지", "사람이 걷는 모습은 어떤지"를 이미 알고 있는 상태죠.
• 작동 원리: 연구팀은 이 '지식'이 가득 찬 그림책을 이벤트 카메라의 점들 (이벤트 데이터) 에 맞춰 **재교육 (Fine-tuning)**시켰습니다. 이제 그림책은 "이 점들이 모이면 아마도 이런 장면이겠지?"라고 추론할 수 있게 된 것입니다.

3. 핵심 기술 1: "발자국 추적 (인터프레임 잔여 가이드)"

그림책이 추론만 한다면, 때로는 엉뚱한 장면을 그릴 수도 있습니다. (예: 차가 날아다니는 등) 이를 막기 위해 연구팀은 **'발자국'**을 남기는 전략을 썼습니다.

• 비유: 이벤트 카메라는 "이곳에서 밝기가 변했다!"라고 알려줍니다. 연구팀은 이 정보를 이용해 **"이전 프레임과 다음 프레임 사이의 차이 (잔여)"**를 계산합니다.
• 효과: 마치 detective(탐정) 가 범인의 발자국을 따라가듯, AI 가 "이전 장면과 비교했을 때 이 부분이 변해야 해"라고 스스로를 수정하게 만듭니다. 이를 통해 영상의 흐름이 자연스럽고 디테일이 살아나게 됩니다.

4. 핵심 기술 2: "한 번에 여러 일 처리 (유니버설 프레임워크)"

기존에는 영상을 다시 만들기, 중간 장면을 채우기, 미래를 예측하기 위해 각각 다른 AI 모델을 따로 만들어야 했습니다. 하지만 UniE2F 는 하나의 모델로 모든 일을 해결합니다.

• 영상 복원: 이벤트 데이터만 있으면 빈 화면을 채웁니다.
• 중간 장면 채우기 (인터폴레이션): 시작과 끝만 주어지면, 그 사이의 움직임을 자연스럽게 만들어냅니다. (예: 슬로우 모션 효과)
• 미래 예측: 시작 장면만 주어지면, 그다음에 일어날 일을 예측하여 만들어냅니다.

이 모든 것이 추가 학습 없이 (Zero-shot) 가능합니다. 마치 똑똑한 요리사가 레시피 (이벤트 데이터) 만 보고도 시작 재료 (첫 장면) 나 끝 재료 (마지막 장면) 를 보고도 요리를 완성하는 것과 같습니다.

5. 결론: 왜 이것이 중요한가요?

이 기술은 자율주행차, 로봇, 고속 촬영 등에 혁신을 가져올 수 있습니다.

• 기존 카메라는 빠른 물체를 찍으면 흐릿해지지만, 이 기술은 그 흐릿한 흔적 (이벤트) 을 보고 선명한 영상을 만들어냅니다.
• 비록 계산량이 많아 조금 무겁기는 하지만, 불완전한 정보에서 최고의 화질을 뽑아내는 능력은 기존 어떤 방법보다 뛰어납니다.

한 줄 요약:

"이벤트 카메라라는 '점들만 남은 스케치'를, AI 가 가진 '방대한 영상 지식'과 '발자국 추적 기술'을 결합하여, 마치 마법처럼 선명하고 자연스러운 '완성된 영화'로 되살려낸 혁신적인 기술입니다."

기술 요약

1. 문제 정의 (Problem)

이벤트 카메라 (Event Cameras) 는 높은 동적 범위 (HDR), 초고속 시간 해상도, 저전력 소비 등의 장점을 가지고 있어 고속 객체 추적 및 저조도 환경에서 탁월한 성능을 보입니다. 그러나 이벤트 카메라는 절대적인 강도가 아닌 상대적인 밝기 변화 (Intensity Changes) 만을 기록하기 때문에 다음과 같은 근본적인 한계가 존재합니다.

• 공간 정보 및 정적 텍스처 손실: 움직임이 없는 정적 영역이나 밝기 변화가 없는 부분은 데이터가 생성되지 않아 공간 정보가 심각하게 손실됩니다.
• 희소성 (Sparsity): 기존 방법들은 이러한 희소한 이벤트 데이터로부터 고화질의 비디오 프레임을 복원하는 데 어려움을 겪으며, 복원된 이미지가 실제 장면의 풍부한 디테일과 색상 정보를 제대로 반영하지 못합니다.
• 작업의 분리: 기존 연구들은 프레임 복원 (Reconstruction), 프레임 보간 (Interpolation), 프레임 예측 (Prediction) 을 별도의 작업으로 처리하여, 각각에 대한 전용 모델이 필요했습니다.

2. 제안 방법론 (Methodology)

저자들은 사전 학습된 비디오 확산 모델 (Video Diffusion Model, 구체적으로 Stable Video Diffusion, SVD) 의 강력한 생성적 사전 지식 (Generative Prior) 을 활용하여 희소한 이벤트 데이터로부터 고품질의 비디오 프레임을 복원하는 통합 프레임워크 UniE2F를 제안합니다.

핵심 구성 요소:

1. 이벤트 기반 미세 조정 (Event-conditioned Fine-tuning):

   • 사전 학습된 SVD 모델을 이벤트 데이터를 조건 (Condition) 으로 입력받아 미세 조정합니다.
   • 이벤트 스트림을 3 채널의 이벤트 표현 (Event Representation) 으로 변환하여 확산 모델의 조건부 입력으로 사용합니다. 이를 통해 모델이 이벤트 데이터와 RGB 프레임 간의 매핑을 학습하도록 합니다.

2. 이벤트 기반 프레임 간 잔차 가이드 (Event-based Inter-Frame Residual Guidance):

   • 이벤트는 픽셀 강도 변화의 임계값에 의해 발생하므로, 누적된 이벤트와 프레임 간의 잔차 (Residual) 간에는 물리적 상관관계가 존재합니다.
   • 확산 과정의 역방향 (Reverse Diffusion) 샘플링 단계 (특히 마지막 $\tau$ 단계) 에서, ResNet 을 사용하여 이벤트 데이터로부터 프레임 간 잔차를 예측합니다.
   • 예측된 잔차와 실제 복원된 프레임 간의 오차를 계산하여 잔차 손실 (Residual Loss) 을 정의하고, 이를 경사 하강법 (Gradient Descent) 을 통해 잠재 공간 (Latent Space) 의 노이즈를 업데이트하는 데 활용합니다.
   • 이는 복원의 정확도를 높이면서도 생성 다양성을 유지하도록 물리적 제약을 가합니다.

3. 제로샷 (Zero-shot) 보간 및 예측 확장:

   • 추가적인 학습 없이 (Zero-shot manner) 비디오 프레임 보간 및 예측 작업에 모델을 적용합니다.
   • 보간 (Interpolation): 첫 번째와 마지막 프레임의 정보를 prior 로 활용합니다.
   • 예측 (Prediction): 첫 번째 프레임의 정보만 활용합니다.
   • 스코어 함수 변조 (Score Function Modulation): 추정된 클린 잠재 변수 (Clean Latent) 와 주어진 참조 프레임 (Reference Latent) 간의 편차 (Deviation) 를 기반으로 스코어 함수를 수정하여, 역방향 샘플링 과정을 안내합니다. 이를 통해 시간적 일관성과 시각적 충실도를 갖춘 중간 또는 미래 프레임을 생성합니다.

3. 주요 기여 (Key Contributions)

• 통합 프레임워크 제안: 이벤트 기반 프레임 복원, 보간, 예측을 하나의 통합된 확산 모델 기반 프레임워크 (UniE2F) 로 통합하여, 작업별 전용 모델의 필요성을 제거했습니다.
• 물리적 상관관계 기반 가이드: 이벤트 데이터와 프레임 간 잔차 간의 물리적 관계를 활용하여 잔차 가이드를 도입함으로써 복원 정확도를 획기적으로 향상시켰습니다.
• 이론적 분석: 제안된 정규화 기반 이벤트 물리 메커니즘이 오차 상한선 (Error Upper Boundary) 을 최소화하는 데 도움이 된다는 것을 이론적으로 증명했습니다.
• 제로샷 성능: 추가 학습 없이도 기존 방법들보다 우수한 보간 및 예측 성능을 달성하여 모델의 강력한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: TrackingNet 기반의 합성 데이터셋과 HS-ERGB, HQF, IJRR, MVSEC 등의 실제 세계 데이터셋에서 평가되었습니다.
• 정량적 성능:
  • 프레임 복원: 실제 세계 데이터셋에서 MSE 0.0612, SSIM 0.4990 을 기록하여 기존 최첨단 방법들 (E2VID, FireNet, ETNet 등) 보다 모든 지표에서 우수한 성능을 보였습니다.
  • 보간 및 예측: 합성 및 실제 데이터셋에서 보간 (VFI) 및 예측 (VFP) 작업에서도 기존 방법들을 압도하는 성능을 달성했습니다. 특히 Zero-shot 설정에서도 경쟁력 있는 결과를 보였습니다.
• 정성적 성능: 복원된 프레임이 기존 방법들 (단색 또는 흐릿한 결과) 에 비해 선명한 색상, 풍부한 텍스처, 그리고 구조적 디테일을 잘 보존하고 있음을 시각적으로 확인했습니다.
• 강건성: 이벤트 노이즈가 추가된 상황에서도 높은 복원 품질을 유지하며, 희소한 이벤트 스트림에서도 이벤트가 발생한 영역의 구조를 효과적으로 복원했습니다.

5. 의의 및 결론 (Significance)

• 생성적 AI 와 이벤트 비전의 융합: 대규모 사전 학습된 비디오 확산 모델 (SVD) 의 생성적 능력을 이벤트 비전 분야에 성공적으로 적용하여, 정보 손실이 큰 이벤트 데이터로부터 고충실도 비디오를 생성하는 새로운 패러다임을 제시했습니다.
• 다목적 활용성: 하나의 모델로 복원, 보간, 예측이라는 세 가지 핵심 작업을 모두 처리할 수 있어 시스템의 효율성과 유연성을 크게 높였습니다.
• 실용적 가치: 고속 모션 블러가 없는 고해상도 비디오 생성, 자율 주행, 과학적 관측 등 다양한 분야에서 이벤트 카메라의 활용 범위를 확장할 수 있는 기반을 마련했습니다.

한계점 및 향후 과제:
현재 방법은 대규모 확산 모델을 기반으로 하여 계산 비용과 GPU 메모리 사용량이 기존 비확산 (Non-diffusion) 방법보다 높습니다. 저자들은 향후 모델 증류 (Distillation), 가지치기 (Pruning), 일관성 모델 (Consistency Model) 기반 가속화 등을 통해 추론 속도를 개선하고 실시간 적용 가능성을 높일 계획임을 밝혔습니다.