EventVGGT: Exploring Cross-Modal Distillation for Consistent Event-based Depth Estimation

본 논문은 이벤트 카메라의 고유한 시간적 연속성을 활용하여 비주얼 지오메트리 기반 트랜스포머 (VGGT) 로부터 시공간 및 다중 뷰 기하학적 사전 지식을 3 단계 증류 전략을 통해 전이함으로써, 기존 방법론의 시간적 불일치 문제를 해결하고 정밀한 단안 깊이 추정을 가능하게 하는 새로운 프레임워크인 EventVGGT 를 제안합니다.

핵심

🎥 1. 문제 상황: "눈이 먼 카메라 vs. 초고속 카메라"

일반적인 카메라 (RGB) 는 마치 고정된 프레임으로 영상을 찍는 영화처럼 작동합니다. 매 0.03 초마다 한 장의 사진을 찍어서 이어붙입니다. 하지만 빛이 너무 어둡거나, 물체가 너무 빠르게 움직이면 사진이 흐려지거나 아예 찍히지 않습니다.

반면, 이벤트 카메라는 초고속으로 움직이는 물체의 '움직임'만 포착하는 특수 센서입니다.

• 비유: 일반 카메라가 '사진첩'이라면, 이벤트 카메라는 '움직임의 흔적'을 남기는 초고속 카메라입니다.
• 장점: 빛이 거의 없는 밤이나, 눈이 부실 정도로 밝은 상황에서도, 물체가 매우 빠르게 지나가도 흐림 없이 움직임을 잡아냅니다.
• 단점: "어디에 무엇이 있는지"라는 정적인 모양 (색깔, 질감) 을 알기 어렵고, 데이터가 너무 조각조각 나 있어서 3D 거리를 재는 데는 매우 어렵습니다.

🧠 2. 해결책: "유능한 선생님 (VGGT) 과 열공하는 학생 (EventVGGT)"

이 논문은 이 어려운 이벤트를 해결하기 위해 **'지식 증류 (Distillation)'**라는 기술을 썼습니다.

• 선생님 (VGGT): 이미 수만 장의 고화질 사진 (RGB) 을 보고 세상을 완벽하게 이해하고 있는 초고성능 AI입니다. 이 AI 는 여러 각도에서 본 사진을 보고 3D 구조를 아주 잘 이해합니다.
• 학생 (EventVGGT): 이벤트 카메라의 '움직임 데이터'만 보고 세상을 이해해야 하는 초보 AI입니다.

핵심 아이디어:
기존 방법들은 학생에게 "이 프레임, 저 프레임"을 따로따로 가르쳐서 끊어지는 영상을 만들었습니다. 하지만 이 논문은 "이벤트 데이터를 마치 연속된 영화처럼" 보고, 유능한 선생님 (VGGT) 의 3D 공간 감각과 시간의 흐름을 그대로 배우게 했습니다.

🛠️ 3. 어떻게 배웠을까? (3 단계 훈련법)

학생이 선생님의 능력을 완벽하게 흡수하기 위해 세 가지 특별한 훈련을 시켰습니다.

① 교량 건설 (Cross-Modal Feature Mixture)

• 상황: 선생님은 '사진'을 보고, 학생은 '움직임'을 봅니다. 언어가 달라서 대화하기 어렵습니다.
• 해결: 선생님의 사진 데이터와 학생의 움직임 데이터를 섞어서 (Mix) 중간 언어를 만듭니다.
• 비유: 영어 (사진) 만 아는 선생님과 한국어 (움직임) 만 아는 학생이 대화할 때, **중국어 (혼합 데이터)**를 섞어서 서로의 뜻을 이해하게 만든 뒤, 선생님의 정답을 학생에게 가르치는 것입니다. 이렇게 하면 학생이 선생님의 '공간 감각'을 더 쉽게 배웁니다.

② 시간의 흐름 따라잡기 (Spatio-Temporal Feature Distillation)

• 상황: 기존 방법은 정지된 사진을 하나씩 비교했습니다. 하지만 이벤트는 '흐르는 물'처럼 연속적입니다.
• 해결: 단순히 "이 사진이 저 사진과 비슷해"가 아니라, **"이 사진에서 저 사진으로 변할 때, 모양이 어떻게 변했는지"**까지 비교합니다.
• 비유: 선생님이 "나무가 바람에 흔들리는 모습"을 보여줄 때, 학생은 단순히 나무 모양만 외우는 게 아니라, **나무가 흔들리는 '속도와 방향'**까지 정확히 따라 해야 합니다. 이렇게 하면 끊어지지 않는 자연스러운 3D 영상을 만들 수 있습니다.

③ 끊김 없는 영상 만들기 (Temporal Consistency Distillation)

• 상황: 이벤트 데이터는 너무 조각조각이라, 3D 거리를 재면 자꾸 **깜빡거림 (Flickering)**이 생깁니다.
• 해결: "지금의 거리"와 "다음 프레임의 거리"가 자연스럽게 변하는지를 검사합니다.
• 비유: 영화를 볼 때 한 장면에서 다음 장면으로 넘어갈 때, 배경이 갑자기 점프하거나 사라지면 어색하죠? 이 훈련은 영상이 매끄럽게 이어지도록 학생에게 "거리 변화의 흐름을 자연스럽게 하라"고 엄격하게 지도합니다.

🏆 4. 결과: "어둠 속에서도 선명한 3D 지도"

이 새로운 방법 (EventVGGT) 은 기존 기술들보다 훨씬 뛰어납니다.

• 정확도: 30 미터 떨어진 물체의 거리를 재는 오차를 53% 이상 줄였습니다. (기존 2.30m 오차 → 1.06m 오차)
• 강인함: RGB 이미지 (일반 카메라) 가 전혀 없는 상황에서도, 이벤트 데이터만으로도 일반 카메라와 함께 쓰는 방법들보다 더 잘 작동합니다.
• 제로샷 (Zero-shot): 훈련한 데이터 (시뮬레이션) 와 완전히 다른 실제 데이터 (밤길, 다른 도시) 에도 바로 적용되어 잘 작동합니다. 마치 한 번 배운 운전 기술을 새로운 차나 길에서도 바로 잘하는 것과 같습니다.

💡 요약

EventVGGT는 "움직임만 보는 특수 카메라"가 가진 약점을, "고화질 사진을 보는 초고성능 AI"의 공간 감각과 시간 흐름 이해 능력을 가르쳐서 해결했습니다.

마치 어둠 속에서도 흐트러지지 않는 3D 지도를 그릴 수 있게 되어, 자율주행차나 로봇이 밤이나 비, 빠른 상황에서도 안전하게 길을 찾을 수 있게 해주는 획기적인 기술입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 이벤트 카메라의 장점: 이벤트 카메라는 로그 강도 변화를 비동기적으로 인코딩하여, 기존 RGB 카메라보다 높은 시간 해상도와 동적 범위를 가집니다. 이는 고속 운동이나 극단적인 조명 조건 (어두운 밤, 강한 빛) 에서 강건한 3D 인식에 필수적입니다.
• 현재의 한계:
  • 데이터 부족: 이벤트 기반 단안 깊이 추정 (Monocular Depth Estimation) 의 발전은 밀도 있는 깊이 주석 (Dense Depth Annotations) 이 포함된 대규모 데이터셋의 부재로 인해 제한받고 있습니다.
  • 시간적 불일치 (Temporal Inconsistency): 최근 주석 없는 (Annotation-free) 방법론들은 비전 기반 모델 (VFMs) 에서 지식을 증류 (Distillation) 하는 방식을 사용하지만, 이벤트 스트림을 독립적인 프레임으로만 처리합니다.
  • 결과: 이러한 접근법은 이벤트 데이터의 고유한 시간적 연속성을 무시하여, VFMs 가 가진 강력한 시간적 사전 지식 (Temporal Priors) 을 활용하지 못합니다. 그 결과, 깊이 예측이 시간적으로 일관되지 않고 (flickering 등) 정확도가 낮아지는 문제가 발생합니다.

2. 제안 방법론: EventVGGT

저자들은 EventVGGT를 제안하며, 비동기 이벤트 스트림을 일관된 비디오 시퀀스로 명시적으로 모델링하고, Visual Geometry Grounded Transformer (VGGT) 라는 강력한 다중 뷰 (Multi-view) 기반 모델에서 시공간 및 다중 뷰 기하학적 사전 지식을 증류합니다.

핵심 아키텍처 및 3 단계 증류 전략

EventVGGT 는 RGB 기반의 VGGT (Teacher) 에서 이벤트 기반 학생 모델 (Student) 로 지식을 전달하기 위해 3 단계 증류 전략 (Tri-level Distillation Strategy) 을 사용합니다.

1. 교차 모달 특징 혼합 (Cross-Modal Feature Mixture, CMFM) - 출력 수준:

   • 문제: 밀집된 RGB 이미지와 희소/비동기 이벤트 스트림 간의 큰 모달리티 차이로 인해 직접적인 증류는 학습 불안정을 초래합니다.
   • 해결: RGB 특징과 이벤트 특징을 확률적으로 혼합 (예: 25% 의 RGB 특징을 이벤트 특징으로 교체) 하여 보조 깊이 예측 ($d_{mix}$) 을 생성합니다.
   • 목적: VGGT 가 생성한 고품질 RGB 깊이 지도로 이 보조 출력을 감독함으로써, 학생 모델이 이벤트 데이터를 RGB 와 기능적으로 동등하게 처리하도록 유도하고 모달리티 간 격차를 부드럽게 연결합니다.

2. 시공간 특징 증류 (Spatio-Temporal Feature Distillation, STFD) - 특징 수준:

   • 문제: 기존 방법들은 이벤트의 고주파수 시간적 역동성 (운동) 을 정적 프레임으로 처리하여 시간적 구조를 파괴합니다.
   • 해결: 프레임 내 공간적 구조뿐만 아니라 프레임 간 특징의 변화 (Temporal Changes) 를 증류합니다.
   • 방식: $L_{STFD}$ 손실 함수를 통해 학생 모델의 이벤트 특징 ($f_{evt}$) 과 VGGT 의 RGB 특징 ($f_{img}$) 간의 공간적 유사성뿐만 아니라, 인접 프레임 간의 특징 차이 ($f_{i+1} - f_i$) 도 정렬합니다. 이를 통해 학생 모델이 VGGT 의 시간적 추론과 일치하는 운동 민감 역동성을 학습하게 합니다.

3. 시간적 일관성 증류 (Temporal Consistency Distillation, TCD) - 시간 수준:

   • 문제: 이벤트 기반 밀도 예측은 프레임 간 깊이 값의 절대적 오차만 penalize 할 경우, 심한 깊이 깜빡임 (flickering) 이 발생합니다.
   • 해결: 절대 깊이 값 대신 프레임 간 깊이 변화율 (Inter-frame depth changes) 에 초점을 맞춥니다.
   • 방식: $L_{TCD}$ 손실 함수를 사용하여 학생 모델의 인접 프레임 간 깊이 변화 ($|d_{i+1} - d_i|$) 가 VGGT 의 시간적으로 일관된 변화와 일치하도록 강제합니다. 이는 물리적으로 불가능한 프레임 간 불연속성을 억제하고 안정적인 깊이 시퀀스를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 시공간 증류 프레임워크: 다중 뷰 기반 모델 (VGGT) 에서 시공간 사전 지식을 이벤트 기반 학생 모델로 증류하여, 시간적으로 일관된 주석 없는 깊이 추정을 가능하게 한 최초의 프레임워크입니다.
2. 종합적인 3 단계 증류 전략: 모달리티 격차 해소 (CMFM), 내부 표현 학습 (STFD), 시간적 안정성 확보 (TCD) 를 위한 체계적인 전략을 제안했습니다.
3. SOTA 성능 및 제로샷 일반화: EventScape 및 MVSEC 데이터셋에서 기존 최첨단 방법들을 압도하는 성능을 보였으며, 학습 데이터와 완전히 다른 도메인 (DENSE, MVSEC) 에 대한 강력한 제로샷 일반화 능력을 입증했습니다.
4. 확장성: 단일 깊이 추정뿐만 아니라 카메라 포즈 및 포인트 클라우드 추정과 같은 다른 3D 기하학 작업으로도 원활하게 확장 가능함을 보여주었습니다.

4. 실험 결과 (Results)

• EventScape 데이터셋:
  • 30m 거리에서 절대 평균 깊이 오차를 기존 최첨단 방법인 EventDAM(2.30m) 대비 53.9% 감소 (1.06m) 시켰습니다.
  • RGB 입력 없이 이벤트 데이터만으로도, RGB 와 이벤트를 모두 사용하는 기존 방법들 (SRFNet 등) 보다 우수한 성능을 기록했습니다.
• MVSEC 데이터셋 (실제 환경):
  • 극한의 조명 조건 (밤, 어두운 환경) 에서 EventDAM 보다 낮은 오차를 보이며, 프레임 단위 증류의 한계를 극복하고 연속적인 비디오 시퀀스 모델링의 우월성을 입증했습니다.
• 제로샷 일반화 (DENSE 데이터셋):
  • EventScape 에서만 학습하고 보지 못한 DENSE 데이터셋에서 평가 시, 기존 방법들보다 월등히 낮은 오차 (30m 에서 1.33m) 를 기록하며 뛰어난 도메인 적응 능력을 보였습니다.
• 성능 비교:
  • 원본 VGGT 를 이벤트 데이터에 직접 적용했을 때 발생하는 심각한 성능 저하를 EventVGGT 는 효과적으로 보완하여, 저조도 환경에서 RGB 카메라의 한계를 극복하고 VGGT 의 기하학적 지식을 성공적으로 전이했습니다.

5. 의의 및 결론 (Significance)

EventVGGT 는 이벤트 카메라의 고유한 장점 (고속 운동, 극한 조명) 과 최신 비전 기반 모델 (VGGT) 의 강력한 기하학적 추론 능력을 결합한 획기적인 접근법입니다.

• 기술적 의의: 이벤트 스트림을 단순한 프레임의 집합이 아닌 연속적인 비디오 시퀀스로 재정의하고, 이를 통해 시간적 일관성을 확보함으로써 이벤트 기반 3D 인식의 정확도와 안정성을 비약적으로 향상시켰습니다.
• 실용적 가치: 고가의 깊이 주석 데이터 없이도 고품질의 3D 정보를 얻을 수 있어, 자율 주행, 로봇 항법 등 실제 환경에서의 적용 가능성을 크게 높였습니다.
• 한계 및 향후 과제: VGGT teacher 모델로부터 유래된 원거리 깊이 압축 편향 (far-field depth compression bias) 이 여전히 존재하므로, 향후 밀도 있는 ground-truth 깊이를 통합하여 이를 보정하는 연구가 필요하다고 언급했습니다.

요약하자면, EventVGGT 는 모달리티 간 격차와 시간적 불일치라는 두 가지 핵심 난제를 해결하여, 이벤트 기반 깊이 추정 분야에서 새로운 기준 (SOTA) 을 제시한 연구입니다.