💻 computer science

LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

LongE2V는 미세 조정된 비디오 확산 모델과 자기회귀적 언롤링(autoregressive unrolling) 및 적응형 컨텍스트 스위칭(adaptive context switching)과 같은 특화된 메커니즘을 활용하여 고품질의 시간적 일관성을 갖춘 이벤트 기반 비디오 재구성, 예측 및 프레임 보간을 우수한 일반화 성능과 함께 달성하는 새로운 프레임워크이다.

원저자: Cheng-De Fan, Chun-Wei Tuan Mu, Chen-Wei Chang, Chin-Yang Lin, Kun-Ru Wu, Yu-Chee Tseng, Yu-Lun Liu

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cheng-De Fan, Chun-Wei Tuan Mu, Chen-Wei Chang, Chin-Yang Lin, Kun-Ru Wu, Yu-Chee Tseng, Yu-Lun Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 빠르고 매우 민감한 카메라를 가지고 있다고 상상해 보세요. 이 카메라는 일반적인 사진을 찍지 않습니다. 매 초마다 전체 이미지를 캡처하는 대신, 장면 속에서 무언가가 움직이거나 밝기가 변할 때만 아주 작고 보이지 않는 불꽃(sparks)을 포착합니다. 마치 장면의 '색상'이나 '형태'는 잊어버린 채 오직 '액션'만을 보는 카메라와 같습니다. 이것이 바로 **이벤트 카메라(event camera)**입니다.

문제는 무엇일까요? 흩어진 불꽃들을 다시 매끄럽고 다채로운 영상으로 되돌리는 것은, 마치 몇 조각의 찰흙 부스러기만을 가지고 부서진 꽃병을 재건하려는 것과 같습니다. 기존의 방식들은 사라진 조각들을 추측하려고 노력했지만, 대개 흐릿하고 탁한 영상을 만들어냈습니다. 다른 화려한 신기술들은 미래 전체를 예측하려고 시도했지만, 영상이 길어질수록 혼란에 빠져 기괴하고 알록달록한 악몽 속으로 표류하곤 했습니다.

여기에 등장한 것이 바로 국립 양밍 교통대학교 연구진이 개발한 새로운 접근 방식인 LongE2V입니다. LongE2V를 수백만 개의 레시피를 이미 암기하고 있는 숙련된 요리사(사전 학습된 비디오 모델)라고 생각해 보세요. 이 요리사는 이제 오직 이 작은 불꽃들을 재료 삼아 요리하는 법을 배우고 있습니다.

세 가지 마법 같은 기술

LongE2V는 단순히 한 가지 일만 하는 것이 아닙니다. 하나의 주방에서 세 가지 서로 다른 요리 과제에 도전합니다.

재구성 (Reconstruction, "복원" 기술): 시작 사진 없이 불꽃의 흐름만을 입력으로 줍니다. 모델은 아무것도 없는 상태에서 장면이 어떻게 생겼을지 추측해야 합니다. 기존의 요리사들(E2VID 등)은 단순히 '평균적인' 색상을 추측하여 흐릿한 결과물을 냈지만, LongE2V는 실제 영화가 어떻게 보이는지에 대한 기억을 활용하여 선명하고 고해상도의 질감을 그려내며, 영원히 사라진 듯 보였던 디테일까지 복구해 냅니다.
예측 (Prediction, "미래" 기술): 시작 사진 한 장과 불꽃의 흐름을 준 뒤, "다음에 무슨 일이 일어날까?"라고 묻습니다. 일반적인 AI에게 긴 영화를 예측하게 하면, 보통 현실에서 벗어나 색상이 틀어지거나 형태가 녹아내리는 등 이상한 방향으로 흘러가 버립니다. LongE를 사용하면 "단계별" 전략을 사용합니다. 마치 운전자가 백미러를 계속 확인하며 도로를 벗어나지 않도록 체크하는 것처럼, 모델은 자신의 작업물을 끊임없이 점검합니다. 덕side로 현실에서 벗어나지 않고 긴 시퀀스를 생성할 수 있습니다.
프레임 보간 (Frame Interpolation, "채우기" 기술): 시작 사진과 끝 사진을 준 뒤, 그 사이를 채워달라고 요청합니다. 자동차가 빠르게 지나가는 장면을 상상해 보세요. 차가 프레임에 들어오는 사진과 나가는 사진은 있지만, 그 중간의 흐릿한 과정이 필요합니다. 기존 방식들은 차를 단순히 번지게 만들어 유령 같은 잔상을 만들었습니다. 반면 LongE2V는 시간을 여행하는 편집자처럼 작동합니다. 불꽃이 앞뒤로 움직이는 것을 살펴본 뒤, 그것들을 완벽하게 결합하여 유령 현상 없는 매끄러운 움직임을 만들어 냅니다.

"표류(Drift)"를 피하는 방법

긴 영상을 만드는 데 있어 가장 큰 적은 **표류(drift)**입니다. 당신이 이전 단계의 그림을 보면서 긴 선을 그리려고 노력한다고 상상해 보세요. 만약 첫 번째 단계에서 작은 실수를 했다면, 두 번째 단계에서 이를 수정하려 하겠지만, 그 수정이 세 번째 단계에서 새로운 실수를 낳게 됩니다. 곧 당신의 선은 지그재그 모양의 엉망진창이 될 것입니다.

LongE2V는 두 가지 영리한 기술로 이를 해결합니다.

자기회귀적 언롤링 (Autoregressive Unrolling): 모델은 단순히 완벽한 예시로부터 배우는 대신, 자신의 실수 자체를 예측하며 연습합니다. 생성 과정에서 발생하는 오류를 스스로 수정하는 법을 배움으로써, 긴 시간 동안 궤도를 유지하며 더 잘 수행할 수 있게 됩니다.
적응형 컨텍스트 스위칭 (Adaptive Context Switching): 때때로 모델은 과거의 기억(영상의 시작 부분)에 너무 집착하여 새로운 불꽃을 무시하곤 합니다. LongE2V는 "현실 점검" 기능을 갖추고 있습니다. 현재의 장면이 과거와 얼마나 여전히 관련이 있는지 계산합니다. 만약 연결 고리가 너무 약해지면, 모델은 똑똑하게도 즉각적인 과거에 집중하도록 초점을 전환하여 영상이 엉망이 되는 것을 방지합니다.

"제로샷(Zero-Shot)"의 놀라움

이 부분이 가장 흥미로운 부분입니다. 연구진은 오직 재구성과 예측 작업만을 통해 LongE2V를 학습시켰습니다. 프레임 보간법을 명시적으로 가르친 적이 없습니다. 그런데 시작 프레임과 끝 프레임을 건네주자, 모델은 추가 학습 없이도 스스로 중간 과정을 채워내는 법을 알아냈습니다. 이는 마치 개에게 공 물어오기를 가르쳤더니, 당신이 원반을 던지는 것을 보고 스스로 원반 잡는 법을 터득한 것과 같습니다. 이를 **제로샷 적응(zero-shot adaptation)**이라고 하며, 이는 모델이 매우 유연하다는 것을 의미합니다.

할 수 없는 것 (한계점)

논문은 이 마법이 멈추는 지점에 대해서도 솔직하게 밝히고 있습니다. 입력되는 불꽃이 너무 희소하면(마치 벽돌 두 개만 가지고 집을 재건하려는 것처럼), 영상의 품질이 떨어집니다. 또한, 카메라에 "핫 픽셀(hot pixels, 항상 켜져 있는 노이즈 점)"이 있는 경우, 모델이 이 노이즈 점을 영상에 그대로 남겨두어 마치 이미지 위의 영구적인 흉터처럼 보이게 할 수도 있습니다.

증거

연구팀은 ECD, MVSEC, HQF와 같은 실제 데이터셋을 통해 LongE2V를 테스트했습니다. 결과는 엄격한 수학적 점수(PSNR, SSIM, LPIPS)로 측정되었습니다. 재구성 작업에서 LongE2V는 세 가지 데이터셋 모두에서 기존의 최고 방법들을 제치고, ECD 데이터셋에서 최고 LPIPS 점수인 0.139(낮을수록 좋음)를 달яви했습니다. 예측 작업에서는 경쟁자들을 압도하며 ECD에서 24.40의 PSNR을 기록했습니다(다음 순위는 20.33).

프레임 보간의 경우, BS-ERGB와 HQF 데이터셋에서 테스트를 진행했습니다. 이 작업을 위해 훈련되지 않았음에도 불구하고, 특정 보간 전용 전문가 모델들을 이겼으며, BS-ERGB에서 0.124의 LPIPS를 기록하여 복잡한 움직임과 미세한 디테일(읽을 수 있는 텍스트 등)을 기존 방식보다 훨씬 더 잘 처리한다는 것을 증명했습니다.

요약하자면, LongE2V는 이벤트 카메라의 혼란스러운 불꽃을 매끄럽고 안정적이며 놀라울 정도로 긴 영상으로 바꿔주는 다재다능하고 고충실도(high-fidelity)를 가진 엔진입니다. 그러면서도 중심을 잃지 않고 허공으로 표류하지 않습니다.

기술 요약: LongE2V

문제 정의

희소한 이벤트 스트림으로부터 고품질 비디오를 복원하는 것은 본질적으로 부적정(ill-posed)인 문제입니다. 이벤트 카메라는 마이크로초 단위의 해상도와 높은 동적 범위를 제공하지만, 강도(intensity) 정보가 없고 비동기적인 데이터를 생성하여 표준 비전 알고리즘과 호환되지 않습니다. 기존 솔루션들은 세 가지 주요 과제에 직면해 있습니다:

복원(Reconstruction): 회귀 기반 방식(예: E2VID)은 "평균으로의 회귀(regression-to-the-mean)" 현상으로 인해 질감이 흐릿해지고 고주파 세부 사항이 손실되는 문제가 발생합니다.
예측(Prediction): 생성 모델을 이용한 장기 시계열 비디오 예측은 종종 심각한 오차 누적과 시간적 드리프트(temporal drift)를 유발하여, 시간이 지남에 따라 색상 변화와 구조적 불안정성을 초래합니다.
프레임 보간(Frame Interpolation): 기존의 보간 네트워크는 복잡하고 빠른 역학 관계를 처리하는 데 어려움을 겪으며, 고스트 현상(ghosting artifacts)을 생성하고 구조적 무결성을 유지하지 못합니다.
또한, 대부분의 최첨단(Sotech) 접근 방식은 작업별(task-specific)로 설계되어 복원, 예측, 보간을 위한 별도의 아키텍처를 필요로 하며, 이는 유연성과 효율성을 제한합니다.

방법론

저자들은 LongE2V를 제안합니다. 이는 사전 학습된 비디오 확산 모델(특히 CogVideoX I2V)을 활용하여 이벤트 기반 비디오 복원, 예측, 프레임 보간을 통합적으로 처리하는 프레임워크입니다. 핵심 아키텍처는 이러한 작업들을 이벤트 복셀(event voxels)에 의해 구동되는 조건부 생성 문제로 취급합니다.

주요 기술 구성 요소

이벤트 표현 및 증강:
- 비동기 이벤트 스트림을 $B=3$ 개의 시간적 빈(temporal bins)을 가진 복셀 그리드( $V \in \mathbb{R}^{B \times H \times W}$ )로 이산화합니다.
- 이벤트 복셀 밀도 증강(Event Voxel Density Augmentation): 다양한 센서 해상도에 대한 강건성을 확보하기 위해, 학습 과정에서 이벤트 복셀의 무작위 크기 조정(종횡비 유지)과 비제로 통계량(non-zero statistics)에 기반한 정규화를 포함합니다. 이는 학습과 추론 사이의 밀도 불일치를 방지합니다.
자기회귀적 언롤링(Autoregressive Unrolling) 및 적응형 컨텍스트 스위칭(Adaptive Context Switching):
- 학습(Ground Truth 컨텍스트 사용)과 추론(예측된 컨텍스트 사용) 사이의 도메인 차이를 해결하기 위해, 저자들은 자기회귀적 언롤링 전략을 채택했습니다. 모델은 처음에 GT 컨텍스트로 학습된 후, 자신의 예측값을 컨텍스트로 사용하는 방식으로 반복적으로 미세 조정됩니다.
- 적응형 컨텍스트 스위칭: 긴 시퀀스에서의 오차 누적을 완화하기 위해, 모델은 현재 컨텍스트의 관련성을 동적으로 평가합니다. 현재 토큰이 컨텍스트 토큰에 주의(attention)를 기울이는 평균 어텐션 가중치( $\mu_{attn}$ )를 계산합니다. 만약 관련성이 임계값( $\tau=0.05$ ) 미만으로 떨어지면, 시스템은 "컨텍스트 스위치"를 트리거하여 현재 생성을 폐기하고, 컨텍스트를 직전의 선행 단계로 업데이트한 후 청크(chunk)를 재생성합니다. 이는 드리프트의 전파를 방지합니다.
재인코딩 정렬(Reencoding Alignment) 및 교차 잔차 수정(Cross Residual Correction) (보간용):
- 재인코딩 정렬: 잠재 공간(latent space)에서의 표준 시간적 뒤집기(temporal flipping)는 3D VAE 연산과 교환 법칙이 성립하지 않아 정렬 불일치를 유발합니다. 저자들은 예측된 잠재 변수를 픽셀 공간으로 디코딩하고, 이를 시간적으로 뒤집은 후 다시 인코딩하여 정밀한 양방향 일관성을 보장하는 방식을 제안합니다.
- 교차 잔차 수정: 디코드-플립-인코드 루프 과정에서의 정보 손실을 보상하기 위해, 원래의 잠재 변수와 재인코딩된 잠재 변수 사이의 잔차를 계산합니다. 이 잔차들은 교차적으로 주입되어(순방향 잔차는 역방향 브랜치로, 그 반대도 마찬가지) 고주파 세부 사항을 복원하고 시간적 합의를 촉진합니다.
통합 학습 파이프라인:
- 백본은 고정된(frozen) 3D VAE와 확산 트랜스포머(DiT)로 구성됩니다.
- 첫 번째 투영 레이어(projection layer)는 이벤트 복셀 채널을 수용하도록 확장되어 전체 미세 조정되며, DiT 블록은 LoRA를 사용하여 미세 조정됩니다.
- 모델은 추가적인 미세 조정 없이 밀집된 모션 가이드로서 순방향 및 역방향 이벤트 스트림을 활용하여 프레임 보간을 위한 제로샷 적응을 지원합니다.

주요 기여

통합 아키텍처: LongE2V는 단일 미세 조정된 비디오 확산 모델 내에서 이벤트 기반 복원, 장기 예측, 프레임 보간을 모두 처리하는 최초의 접근 방식으로, 탁월한 데이터 효율성을 달-성합니다.
안정성 메커니즘: 자기회귀적 언롤링과 결합된 적응형 컨텍스트 스위칭의 도입은 매우 긴 시퀀스에서의 시간적 드리프트를 효과적으로 완화하며, 이는 기존의 확산 기반 예측 모델에서 지속적인 문제였습니다.
보간 일관성: 새로운 재인코딩 정렬 및 교차 잔차 수정 전략은 3D VAE 잠재 공간에서의 시간적 불일치를 해결하여 프레임 보간 시 발생하는 고스트 현상을 제거합니다.
강건성: 이벤트 복셀 밀도 증강은 모델이 서로 다른 센서 해상도 및 장면 깊이에 대해 일반화될 수 있도록 보장합니다.

실험 결과

본 방법은 실제 환경 벤치마크(ECD, MVSEC, HQF) 및 BS-ERGB 데이터셋에서 평가되었습니다.

복원(Reconstruction): LongE2V는 모든 데이터셋에서 SOTA 회귀 방식(E2VID, FireNet, HyperE2VID)을 능가합니다. 우수한 지각적 품질(가장 낮은 LPIPS)을 달성하며, 회귀 방식이 흐릿하게 만드는 고주파 질감을 복원합니다.
예측(Prediction): 장기 예측 작업에서 LongE2V는 VDM-EVFI를 크게 앞섭서며, 수천 프레임 동안 최소한의 드리프트와 구조적 충실도를 유지하는 반면, 베이스라인들은 심각한 색상 드리프트와 노이즈 누적을 겪습니다.
프레임 보간(Frame Interpolation): 제로샷(zero-shot) 설정(보간을 위한 미세 조정 없이)에서 평가되었을 때, LongE2V는 지도 학습 기반의 SOTA 베이스라인(CBMNet-Large, TLXNet+)을 능가합니다. 특히 큰 움직임과 미세한 텍스트가 있는 장면에서 고스트 현상이 적고 더 선명한 결과를 생성합니다.
피사체 일관성(Subject Consistency): VBench를 사용하여 측정했을 때, 복원 및 예측 변형 모델은 베이스라인에 비해 유의미하게 높은 피사체 일관성 점수(각각 0.7204 및 0.7187)를 기록하여 정체성과 구조의 보존을 확인했습니다.

의의 및 주장

본 논문은 강력한 파운데이션 비디오 모델의 사전 지식(prior)을 활용함으로써 뉴로모픽 센싱과 인간이 해석 가능한 비전 사이의 간극을 효과적으로 메운다고 주장합니다. 그 의의는 다음과 같습니다:

"장기 시계로(Long-Horizon)" 문제 해결: 오차 누적을 처리하기 위한 적응형 메커니즘을 도입함으로써, 이전의 이벤트 기반 확산 모델에는 부족했던 기능인 매우 긴 기간 동안의 안정적인 비디오 생성을 가능하게 했습니다.
작업 불가지론(Task Agnosticism): 단일 모델이 복원, 예측, 보간 작업에 유연하게 적응할 수 있음을 입증하여 특화된 아키텍처의 필요성을 줄였습니다.
제로샷 일반화: 작업별 미세 조정 없이 프레임 보간을 수행하는 능력은 학습된 이벤트-투-비디오 사전 지식의 강건성을 강조합니다.

저자들은 성능이 매우 희소하거나 품질이 낮은 이벤트 스트림에서 저하될 수 있으며, 모델이 노이즈(예: "핫 픽셀")에 민감할 수 있다는 한계를 인정했습니다. 향후 연구는 추론 가속화 및 더 효율적인 메모리 메커니즘 탐구에 집중될 예정입니다.