Extending Deep Event Visual Odometry with Sparse Point-Cloud Export

기술 요약: 희소 점군 내보내기를 통한 심층 이벤트 시각 오도메트리 확장

문제 제기
Deep Event Visual Odometry(DEVO)는 희소 패치 추적, 학습된 패치 선택, 재귀적 대응 관계 정제, 그리고 미분 가능한 번들 조정 (bundle adjustment) 을 결합함으로써, 단일 눈 이벤트 기반 오도메트리만으로도 고속 운동과 어려운 조명 조건에서 견고한 성능을 달성할 수 있음을 입증했습니다. 그러나 DEVO 는 주로 궤적 추정 시스템으로 설계되었습니다. 카메라 포즈를 최적화하기 위해 추적된 패치 위치와 추정된 깊이를 포함하는 희소 기하 구조를 내부적으로 유지하지만, 이러한 3 차원 정보는 최적화 루프 내에 잠재된 채로 남아 명시적인 출력으로 노출되지 않습니다. 많은 로봇 공학, 디버깅, 시각화 작업에서는 궤적 추정만으로는 부족하며, 장면 검사 및 하류 처리를 위해 내보낼 수 있는 3 차원 점군이 필요합니다. 기존 이벤트 기반 3 차원 재구성 방법들 (예: EMVS) 은 재구성을 별도의 문제로 취급하여 종종 전용 파이프라인이나 추가 센서 모달리티를 요구합니다.

방법론
제안된 작업은 핵심 시각 오도메트리 형식을 변경하지 않고 희소 점군 내보내기 파이프라인을 추가함으로써 DEVO 를 확장합니다. 이 접근법은 DEVO 가 이미 3 차원 재구성에 필요한 요소들, 즉 카메라 포즈와 추적된 패치에 연관된 희소 깊이 변수들을 추정하고 있다는 관찰에 기반합니다.

1. 내부 노출: 핵심 수정 사항은 DEVO 추론 파이프라인의 내부 관측 가능 변수들을 노출시키는 것입니다. 시스템은 헬퍼 함수들 (run_rgb, run_voxel_norm_seq, run_voxel) 에 옵트인 플래그 (return_observables=True) 를 추가하여 확장되었습니다. 이 기능이 활성화되면, 이러한 함수들은 카메라 포즈와 타임스탬프뿐만 아니라 현재 희소 점군과 깊이 추정치도 반환합니다.
2. 3 차원 생성: 내보내기 과정은 표준 역투영 (back-projection) 을 활용합니다. 이미지 좌표 $(u, v)$와 추정된 깊이 $z$를 가진 각 유효한 추적된 패치에 대해, 카메라 좌표계에서의 3 차원 점은 내재 행렬 $K$를 사용하여 계산됩니다 ($p_c = zK^{-1}[u, v, 1]^T$). 이러한 점들은 최적화된 카메라 포즈를 사용하여 공통된 세계 좌표계로 변환됩니다.
3. 파이프라인 및 후처리: 데이터 추출, 형식 변환 (.ply, .npy 로), 정리를 처리하기 위한 실용적인 워크플로우가 구현되었습니다. 파이프라인은 기본 오도메트리 추정치를 수정하지 않고 희소하고 노이즈가 많은 출력의 사용성을 향상시키기 위해 통계적 및 반경 이상치 제거와 같은 선택적 후처리 단계를 포함합니다.
4. 구현: 확장 작업은 원래 DEVO 코드베이스 구조를 유지하며, 전용 내보내기 스크립트 (scripts/export_pointcloud.py) 와 오케스트레이션 스크립트 (scripts/start_pipline.py) 를 추가했습니다. 다양한 환경에서 재현성을 보장하기 위해 Docker 컨테이너가 제공되었습니다.

주요 기여

• 희소 표현 노출: 이 프로젝트는 DEVO 를 확장하여 내부 희소 3 차원 표현을 내보낼 수 있는 점군 데이터로 노출시킴으로써, 궤적 전용 시스템을 기하학적 장면 출력을 제공하는 시스템으로 변환합니다.
• 실용적 내보내기 파이프라인: 점군 생성, 형식 변환, 정리를 위한 완전한 워크플로우 구현으로, 다양한 데이터셋 유형 (FPV, RPG, VECtor) 을 지원합니다.
• 한계 분석: 이벤트 기반 시각 오도메트리 프레임워크에서 희소 점군을 추출하는 유용성과 한계, 특히 밀도, 완전성, 누적 오도메트리 노이즈에 대한 민감성과 관련된 경험적 분석.

실험 결과
시스템은 고대비 기하학적 패턴이 있는 평면 보정 보드를 특징으로 하는 BOARD SLOW 이벤트 카메라 시퀀스에 대해 평가되었습니다. 내보낸 DEVO SLAM 점군은 DEVO 포즈와 정지 포즈를 모두 사용하여 생성된 EMVS 재구성과 비교되었습니다.

• 스케일 분리: 실험은 정지 포즈 EMVS 와 DEVO 포즈 EMVS 간의 재구성 품질 차이가 글로벌 스케일 불일치 (DEVO 궤적은 약 1.42 배 더 큼) 로 인해 발생하지 않음을 확인했습니다. 궤적과 깊이 범위를 일관되게 스케일링해도 DEVO 포즈 재구성 품질은 향상되지 않았습니다.
• 포즈 밀도: 재구성 품질에 영향을 미치는 주요 요인은 포즈 밀도였습니다. 정지 궤적은 4,171 개의 포즈를 제공하는 반면 DEVO 는 985 개의 포즈를 제공했습니다 (약 4.2 배 차이). 이 더 조밀한 샘플링은 EMVS 에 더 많은 독립적인 시점을 제공하여 더 선명한 재구성을 가능하게 했습니다.
• 기하학적 일관성: 내보낸 DEVO SLAM 구름은 EMVS 재구성과 높은 지역적 일관성을 보여주었습니다. 5 cm 임계값에서 ICP 정렬 후 F-스코어는 0.491 이었으며, 정밀도는 98.4% 였습니다. 이는 거의 모든 EMVS 점들이 내보낸 DEVO 구름 근처에 있음을 나타냅니다. 그러나 DEVO 는 전체 궤적에 걸쳐 희소 점들을 누적하는 반면 EMVS 는 국소적 준밀집 구조를 재구성하는 등 커버리지 특성 차이로 인해 재현율 (recall) 은 더 낮았습니다 (31.7%).
• 평면성과 노이즈: 두 방법 모두 지배적인 평면 보드 기하학을 복원했지만, DEVO SLAM 구름은 더 높은 평면 피팅 잔차 (EMVS 의 13.5 mm 대비 93.2 mm) 를 보였으며 더 많은 고립된 이상치를 포함했습니다. 이는 전체 시퀀스 동안 희소 오도메트리 상태와 포즈 드리프트가 누적된 결과로 귀결됩니다.
• 시각적 검증: 투영된 3 차원 점들은 보드에 인쇄된 모양 (다이아몬드, 사각형, 원) 의 가시 경계와 정렬되어, 내보낸 점들이 밝기 변화에 의해 유발된 실제 장면 기하학에 해당함을 확인했습니다.

의의 및 주장
이 논문은 제안된 확장이 기존 고성능 오도메트리 프레임워크 내의 잠재된 기하학적 정보를 노출시킴으로써 순수 시각 오도메트리와 완전한 3 차원 재구성 간의 격차를 성공적으로 메웠다고 주장합니다. 시스템은 DEVO 의 원래 강점 (고속 및 저조도 조건에서의 견고성) 을 유지하면서 장면 검사와 하류 처리를 위한 유용성을 추가합니다.

저자들은 EMVS 와 같은 전용 다중 뷰 스테레오 방법과 비교 가능한 밀집 표면 재구성이 아니라 희소 구조적 표현으로 출력을 겸손하게 규정합니다. 그 의의는 핵심 최적화 논리를 대체하지 않고도 이벤트 기반 시각 오도메트리 파이프라인을 확장하여 사용 가능한 3 차원 장면 기하학을 제공할 수 있음을 입증하는 데 있습니다. 이 작업은 결과적인 점군이 본질적으로 희소하고 오도메트리 노이즈에 민감하지만, 지역적으로 기하학적으로 유효하며 경량 기하학적 표현이 필요한 로봇 공학 워크플로우를 위한 가치 있는 중간 단계로 작용함을 강조합니다. 향후 작업은 완전성을 개선하기 위해 더 조밀한 시간적 융합과 전용 재구성 방법과의 긴밀한 통합에 초점을 맞출 것으로 제안됩니다.