NightSight: Passive Computation for Navigation in Dark Using Events

기술 요약: NightSight – 이벤트 기반 어둠 속 수동 계산을 통한 항법

문제 제기
소형 항공 로봇은 민첩성과 낮은 비용으로 인해 협소하고 위험하며 복잡한 환경에서의 수색 및 구조 작업에 이상적입니다. 그러나 완전한 어둠 속에서 자율 항법을 가능하게 하는 것은 여전히 큰 장애물입니다. 저조도 환경을 위한 기존 지각 시스템은 종종 무거운 LiDAR, 고출력 조명 (>10W), 또는 열화상 카메라에 의존하는데, 이는 소형 항공 플랫폼의 탑재량, 전력, 그리고 연산 제약 조건을 초과합니다. 또한, 구조화된 조명과 부호화된 광학 (예: AsterNav) 을 사용하는 기존 계산적 접근법은 프레임 기반 카메라를 주로 사용하는데, 이는 제한된 동적 범위와 저조도 조건에서 감소된 깊이 품질로 인해 어려움을 겪습니다. 핵심적인 과제는 경량화되고 자원이 제한된 시스템을 사용하여 완전한 어둠 (<1 밀리럭스) 에서 견고하고 실시간인 깊이 지각을 달성하는 것입니다.

방법론
저자들은 NightSight를 제안합니다. 이는 단일 눈 이벤트 카메라, 부호화된 조리개 렌즈, 그리고 적외선 (IR) 도트 프로젝터를 통합한 경량 지각 프레임워크입니다. 이 시스템은 광학 구성 요소가 능동적인 전기적 전력 없이 물리적 영역에서 신호를 처리하여 온보드 연산 부담을 줄이는 수동 계산 원리에 따라 작동합니다.

1. 광학 부호화: 시스템은 장면 위에 희박한 구조화된 IR 도트 패턴을 투사합니다. 이 패턴은 맞춤형 부호화된 조리개 렌즈를 통해 촬영됩니다. 표준 원형 조리개와 달리, 부호화된 조리개는 깊이 의존적 흐림 서명을 유발합니다. 장면의 깊이가 변함에 따라 투사된 도트는 조리개 모양의 확대/축소된 버전으로 나타납니다. 이는 흐림 패턴의 크기와 모양이 장면 기하학을 암시적으로 인코딩하는 강력한 물리 기반 단서를 생성합니다.
2. 이벤트 기반 감지: 이벤트 카메라 (실리콘 망막) 는 이러한 패턴을 포착합니다. 프레임 기반 카메라와 달리, 이벤트 카메라는 높은 동적 범위와 높은 시간 분해능을 제공하며 밝기 변화를 비동기적으로 포착합니다. 시스템은 초점이 맞은 날카로운 영역이 초점이 맞지 않은 흐린 영역보다 더 많은 이벤트를 생성한다는 사실을 활용합니다.
3. 학습 기반 디코딩: 합성곱 신경망 (CNN) 은 이러한 흐림 서명을 밀도 있는 메트릭 깊이 지도로 디코딩하도록 훈련됩니다.
   • 훈련 체계: 모델은 전적으로 합성 데이터로 훈련됩니다. 시뮬레이션은 구조화된 패턴을 단순한 평면 벽에 투사하는 과정을 포함합니다. 운동은 카메라를 진동시켜 이벤트 스트림을 생성하는 서보 구동 리니어 액추에이터를 사용하여 시뮬레이션되며, 이는 카메라 움직임을 모방합니다.
   • 일반화: 모델은 훈련 중 다양한 속도나 복잡한 3D 장면에 대해 명시적으로 훈련되지 않았음에도 불구하고, 실제 세계의 복잡한 환경에서 제로샷 (zero-shot) 일반화를 위해 테스트됩니다.
4. 하드웨어 구현: 시스템은 NVIDIA Jetson Orin Nano 에서 실행되어 20Hz 에서 실시간 추론을 달성합니다. 광학 구성에는 3D 프린팅된 부호화된 조리개 (핀홀, 완전히 열린 상태, Levin, Zhou1, Zhou2, 그리고 오징어 눈을 영감으로 한 W 자 모양 조리개를 포함한 다양한 디자인이 테스트됨) 가 장착된 16mm f/1.4 렌즈가 포함됩니다.

주요 기여

• 수동 계산 프레임워크: 이 논문은 이벤트 카메라, 구조화된 조명, 그리고 부호화된 조리개를 결합하여 완전한 어둠 속에서 항공 로봇을 위한 새로운 단일 눈 깊이 감지 접근법을 제시합니다. 이는 지각 파이프라인의 일부를 디지털 처리에서 수동 광학으로 전환합니다.
• 제로샷 일반화: 저자들은 단순한 평면 벽 설정에서 생성된 합성 데이터만으로 훈련된 모델이 재훈련 없이 다양한 장애물 크기, 모양, 질감을 가진 복잡하고 실제적인 장면으로 효과적으로 일반화될 수 있음을 입증합니다.
• 조리개 벤치마킹: 이 연구는 이벤트 기반 깊이 추정을 위한 다양한 부호화된 조리개 패턴의 효과를 평가하기 위해 벤치마킹을 수행하며, 깊이 단서를 최적화하는 특정 디자인을 식별합니다.
• 자원 효율성: 시스템은 저전력 임베디드 플랫폼 (Jetson Orin Nano) 에서 작동하면서도 정확한 메트릭 깊이 추정을 달성하여, 탑재량에 제약이 있는 소형 로봇에 적합합니다.

결과

• 정확도: 시스템은 2.5 미터의 깊이 범위에서 L1 오차 7.0 cm의 높은 정확도를 달성하며, 이는 2.80% 의 오차율에 해당합니다.
• 최적 구성: W 자 모양 부호화된 조리개(오징어 눈을 영감으로 함) 가 초점 평면에서 더 먼 깊이에서 특히 우수한 성능을 보였으며, 핀홀, 완전히 열린 상태, 그리고 기타 부호화된 조리개 디자인보다 우수한 결과를 나타냈습니다.
• 초점 거리 민감도: 실험은 0.50m 의 초점 거리 ($Z_f$) 가 가장 좋은 균형을 제공했으며, 반면 $Z_f = 0.25$m 는 작은 깊이 변화에 대한 과도한 민감도로 인해 더 높은 예측 오차를 초래함을 보여주었습니다.
• 실제 세계 검증: 완전한 어둠 (<1 밀리럭스) 에서의 실제 비행 테스트에서, 시스템은 원통형 장애물을 성공적으로 항법했습니다.
• 비교 성능: 극단적인 노출 설정 (1 초 셔터, ISO 25600) 을 갖춘 고성능 DSLR (Nikon D5600) 에서 실행된 최첨단 단일 눈 깊이 모델 (DepthPro) 과 비교했을 때, DSLR 은 장면 구조를 인식하지 못했습니다. 반면, NightSight 시스템은 이벤트 카메라의 높은 동적 범위에도 불구하고 의미 있는 장면 구조와 정확한 깊이를 복원하기 위해 구조화된 IR 조명이 필요했으며, 이는 완전한 어둠에서 능동 조명 구성 요소의 필요성을 부각시켰습니다.

의의 및 주장
이 논문은 NightSight 가 구조화된 조명, 부호화된 광학, 그리고 이벤트 기반 감지를 결합하여 완전한 어둠에서 견고한 지각을 가능하게 한다는 잠재력을 강조한다고 주장합니다. 곤충이 사용하는 생물학적 지각 전략과 유사한 간결성 (parsimony) 원칙을 준수함으로써, 시스템은 광범위한 디지털 계산이 아닌 물리적 상호작용 (광학) 을 통해 직접 작업 관련 정보를 추출합니다. 저자들은 이 접근법이 무거운 탑재량이나 고출력 조명을 필요로 하지 않고 어두운 환경에서 소형 항공 로봇을 위한 지각의 근본적인 과제를 해결하며, 기존 센서가 실패하는 시나리오에서 자율 항법을 위한 실현 가능한 경로를 제공한다고 주장합니다. 이 연구는 범위가 제한적이어서 접근법의 실현 가능성과 일반화 능력에 초점을 맞추고 있으며, 향후 연구는 복잡한 어두운 장면에서의 고속 항법을 위한 깊이 감지 범위를 늘리는 것을 목표로 한다고 명시하고 있습니다.