DENALI: A Dataset Enabling Non-Line-of-Sight Spatial Reasoning with Low-Cost LiDARs

1. 연구 배경 및 문제 정의 (Problem)

• 기존 LiDAR 의 한계: 모바일 기기나 로봇에 탑재된 저가형 소비자용 LiDAR 는 일반적으로 각 픽셀당 단일 깊이 값 (depth value) 만을 출력합니다. 이는 내부적으로 기록된 전체 시간 분해형 히스토그램 (full time-resolved histograms) 에서 가장 강한 반사 신호 (직접 반사, 1-bounce) 만을 추출한 결과입니다.
• 숨겨진 정보의 소실: 실제 센서는 직접 반사뿐만 아니라, 여러 표면을 반사하여 늦게 도착하는 다중 반사 (multi-bounce) 광자 신호도 기록합니다. 이 신호는 시야 밖 (Non-Line-of-Sight, NLOS) 에 있는 물체의 정보를 담고 있지만, 기존 하드웨어 및 알고리즘의 제약으로 인해 대부분 폐기됩니다.
• NLOS 재현의 난제: 기존의 NLOS 이미징 연구는 고가의 실험실용 스캐닝 LiDAR 와 초정밀 단일 광자 검출기에 의존합니다. 저가형 소비자용 LiDAR 는 공간 및 시간 해상도가 낮고, 잡음과 크로스토크 (crosstalk) 가 심하며, 빔이 집속되지 않은 플래시 (flash) 방식이라 기존 NLOS 재구성 알고리즘을 직접 적용하기 어렵습니다.
• 핵심 질문: "소비자용 LiDAR 가 이미 전체 광자 도착 히스토그램을 기록하고 있다면, 왜 이를 활용하여 저비용으로 NLOS 인식을 가능하게 하지 않는가?"

2. 방법론 (Methodology)

이 논문은 데이터 기반 (Data-driven) 접근법을 통해 저가형 LiDAR 로 NLOS 인식을 가능하게 하는 새로운 방향을 제시합니다.

A. DENALI 데이터셋 구축

• 데이터 수집: 저가형 소비자 LiDAR (ams TMF8828, 약 10 달러) 를 사용하여 72,000 개의 NLOS 장면을 촬영했습니다.
• 장면 구성:
  • 3-bounce 신호 유도: LiDAR 가 직접 보이지 않는 물체를 감지하기 위해, LiDAR → 반사벽 (relay wall) → 숨겨진 물체 → 반사벽 → LiDAR 경로로 빛이 이동하도록 실험 환경을 설계했습니다.
  • 다양성: 60 개의 서로 다른 물체 형태 (문자, 숫자, 기하학적 모양), 100 개의 위치, 2 가지 조명 조건 (조명 ON/OFF), 2 가지 LiDAR 해상도 (3x3, 8x8 픽셀) 를 포함합니다.
  • 디지털 트윈 (Digital Twin): 각 실제 촬영 장면에 대해 Mitsuba 3 시뮬레이터로 물리 기반 렌더링을 수행하여 정밀한 3D 지상 진실 (Ground Truth) 데이터를 생성했습니다.
• 데이터 규모: 총 72,000 개의 캡처, 262 만 개의 히스토그램 픽셀, 3 억 3 천 6 백만 개의 시간 비행 (ToF) 빈 (bin) 측정치로 구성됩니다.

B. 데이터 기반 NLOS 인식 태스크

저가형 LiDAR 의 능력을 평가하기 위해 세 가지 주요 태스크를 정의하고 다양한 모델 아키텍처를 벤치마크했습니다.

1. NLOS 물체 위치 추정 (Localization): 숨겨진 물체의 2D 평면 (x, y) 좌표를 연속적으로 예측.
2. NLOS 물체 분류 (Classification): 30 가지 클래스 중 물체의 모양 식별.
3. NLOS 크기 분류 (Size Classification): 물체가 4 인치인지 8 인치인지 이진 분류.

• 모델 아키텍처 비교:
  • MLP (공간/시간 구조 무관)
  • 1D CNN (시간 축만 활용)
  • 3D CNN (공간 및 시간 축 동시 활용)
  • Transformer (시간 토큰 기반 자기 주의 메커니즘)

3. 주요 기여 (Key Contributions)

1. DENALI 데이터셋 출시: 저가형 LiDAR 로부터 전체 히스토그램 신호를 포착한 최초의 대규모 실세계 NLOS 데이터셋을 공개했습니다.
2. 데이터 기반 NLOS 인식 가능성 입증: 고가의 장비 없이도 소비자용 LiDAR 히스토그램을 활용하여 정확한 NLOS 위치 추정, 모양 분류, 크기 추정이 가능함을 증명했습니다.
3. 성능 제한 요인 및 시뮬레이션 격차 분석:
   • 장면 요인: 물체의 크기와 반사벽과의 거리가 인식 성능에 결정적 영향을 미침.
   • 모델링 요인: 조명 조건에 따라 공간 오차 패턴이 달라지는 등, 현재 모델이 물체 속성, 기하학, 조명 효과를 명확히 분리해내지 못함을 발견.
   • Sim-to-Real 격차: 디지털 트윈을 통해 시뮬레이션과 실제 데이터 간의 불일치 (펄스 폭, 잡음, 지터 등) 를 정량화하고, 이를 해결하기 위한 방향을 제시했습니다.

4. 실험 결과 (Results)

• 성능:
  • 위치 추정: 최적 모델 (1D CNN) 은 RMSE 0.046m 의 정확도를 달성했습니다.
  • 물체 분류: Macro-F1 점수 0.38 을 기록했습니다.
  • 크기 분류: 95% 의 정확도로 4 인치와 8 인치 물체를 구분했습니다.
• 모델 성능 비교:
  • 1D CNN과 3D CNN이 가장 우수한 성능을 보였습니다. 이는 LiDAR 히스토그램 데이터에서 국소적인 시간 구조 (local temporal structure) 를 활용하는 것이 중요함을 시사합니다.
  • 흥미롭게도, 3D CNN 이 1D CNN 보다 성능이 크게 향상되지 않았습니다. 이는 저가형 LiDAR 의 낮은 공간 해상도 (3x3 또는 8x8) 로 인해 공간적 정보가 충분히 활용되지 못했기 때문으로 분석됩니다.
• 제한 요인:
  • 큰 물체 (8 인치) 가 작은 물체 (4 인치) 보다 훨씬 쉽게 감지되었습니다.
  • 반사벽에 너무 가까운 물체는 1-bounce 와 3-bounce 신호가 겹쳐 위치 추정이 어렵습니다.
  • 조명 조건에 따라 모델의 오차 패턴이 달라져, 조명과 물체/기하학적 요소를 분리하는 모델링의 필요성이 대두되었습니다.

5. 의의 및 향후 방향 (Significance)

• NLOS 인식의 대중화: 고가의 실험실 장비 없이도 일상적인 기기 (스마트폰, 로봇) 에 탑재된 LiDAR 를 통해 숨겨진 물체를 인식할 수 있는 가능성을 열었습니다.
• 데이터 중심 접근법의 전환: 기존 물리 기반 재구성 알고리즘의 한계를 넘어, 대규모 데이터와 딥러닝을 활용한 NLOS 인식의 새로운 패러다임을 제시했습니다.
• 시뮬레이션 및 센서 설계 개선: 디지털 트윈을 활용한 정량적 분석을 통해 시뮬레이션의 정확도를 높이고, 특정 태스크에 최적화된 LiDAR 센서 설계 (예: 타이밍 지터 허용 범위 등) 에 대한 통찰을 제공했습니다.

이 논문은 DENALI를 통해 저비용 LiDAR 기반의 확장 가능하고 배포 가능한 NLOS 비전 (NLOS Vision) 의 미래를 제시하며, ImageNet 이 컴퓨터 비전에 미친 영향과 유사하게 데이터 기반 NLOS 연구의 가속화를 기대하게 합니다.