기술 요약: 운동 유도 샘플링을 통한 소비자용 LiDAR 로 숨겨진 객체 이미징

문제 정의

카메라의 직접 시야에서 숨겨진 객체의 가시화를 가능하게 하는 비시선 (Non-line-of-sight, NLOS) 이미징은 전통적으로 광범위한 보정이 필요한 거대하고 고가의 연구 등급 하드웨어로 제한되어 왔습니다. 시간 비행 (Time-of-Flight, ToF) 센서가 소비자용 기기 (스마트폰, AR 헤드셋, 로봇) 에 점차 통합되고 있지만, 이러한 플랫폼에 NLOS 이미징을 적용할 때는 세 가지 주요 과제가 존재합니다:

1. 낮은 신호 대 잡음비 (SNR): 레이저 출력을 제한하는 눈 안전 제약과 동적 장면에 필요한 짧은 노출 시간으로 인해 발생합니다.
2. 개구 대 해상도 트레이드오프: 소비자용 센서는 낮은 공간 해상도와 제한된 대역폭을 가지므로, 가상 개구의 크기와 샘플링 밀도 사이에서 타협을 강요받습니다.
3. 운동 아티팩트: 카메라와 숨겨진 객체의 결합된 운동은 운동 흐림을 유발하며, 명시적으로 모델링되지 않을 경우 재구성 품질을 저하시킵니다.

기존 NLOS 방법들은 종종 이상화된 정적 조건이나 단일 샷 재구성을 가정하는데, 이는 소비자용 LiDAR 가 포착하는 잡음이 많고 해상도가 낮으며 동적인 데이터에는 불충분합니다.

방법론

저자들은 이러한 제약 사항을 해결하기 위해 운동 유도 개구 샘플링 (Motion-Induced Aperture Sampling, MAS) 모델과 다중 프레임 융합 전략을 제안합니다.

1. 운동 유도 개구 샘플링 (MAS) 모델

핵심 이론적 기여는 객체 형상, 객체 운동, 카메라 운동을 단일 측정 프레임워크로 통합하는 MAS 모델입니다.

• 원뿔형 광선 변환 (Light-Cone Transform, LCT): 이 모델은 숨겨진 장면의 시공간 임펄스 응답 (STIR) 을 변환하기 위해 LCT 를 활용합니다. 이 변환된 공간에서 객체의 체적 반사율과 측정된 STIR 간의 관계는 3 차원 합성곱이 됩니다.
• 분해: 모델은 시간 변화하는 STIR 을 정준 STIR(객체의 형상을 나타내며 시간 불변) 과 시간 의존적 이동(객체의 위치를 나타냄) 으로 분해합니다.
• 샘플링: 카메라는 공간 샘플링 함수로 작용합니다. 임의의 시간 $t$에서의 측정 신호는 객체의 운동에 의해 이동된 정준 STIR 을 카메라의 자세로 샘플링한 것으로 모델링됩니다. 이를 통해 시스템은 다른 변수들을 알려진 것으로 또는 제약된 것으로 간주하면서 하나의 미지 변수 (형상, 객체 위치, 또는 카메라 위치) 만을 복원하는 문제로 문제를 처리할 수 있습니다.

2. 파티클 필터링을 통한 다중 프레임 융합

낮은 SNR 과 해상도 한계를 극복하기 위해 저자들은 단일 샷 재구성 대신 파티클 필터링을 사용합니다. 이 접근법은 다음을 활용합니다:

• 버스트 촬영 원리: SNR 을 개선하기 위해 여러 프레임에 걸친 시점 중복성을 활용합니다.
• 합성 개구 레이더 원리: 재구성된 해상도를 개선하기 위해 시점 다양성을 활용합니다.
• 순차 추정: 알고리즘은 다음 단계를 통해 미지 변수 (예: 객체 위치) 의 사후 확률 분포를 추정합니다:
  1. 전파: 운동 사전 (예: 일정한 속도) 을 기반으로 상태를 예측합니다.
  2. 평가: MAS 모델을 사용하여 기대 측정치를 렌더링하고 정규화된 내적을 통해 실제 잡음이 포함된 측정치와 비교하여 파티클에 점수를 매깁니다.
  3. 재샘플링: 일관성이 없는 파티클을 제거하고 데이터와 일치하는 파티클을 유지하여 불확실성과 모호성을 효과적으로 모델링합니다.

3. 구체적 응용

이 프레임워크는 세 가지 미지 변수 (형상, 객체 위치, 카메라 자세) 중 두 가지를 고정함으로써 세 가지 고유한 작업에 적용됩니다:

• 3D 재구성: 알려진 카메라 자세와 정적 객체를 가정하며, 손으로 들고 이동하는 카메라 운동을 통해 측정을 융합하여 객체의 형상을 복원합니다.
• 객체 추적: 알려진 객체 형상을 가정하며, 실시간으로 단일 또는 여러 숨겨진 객체의 위치를 복원합니다.
• 카메라 위치 추정: 알려진 정적 숨겨진 객체를 가정하며, 숨겨진 객체를 시각적 랜드마크로 사용하여 카메라의 2 차원 이동 (및 잠재적으로 6 차원 자세) 을 복원합니다. 이는 표준 시각적 오도메트리가 실패하는 질감이 없는 환경에서 특히 유용합니다.

주요 결과

저자들은 표준 카메라 보정 이상의 추가 보정 없이 약 100 픽셀, 약 100 달러의 하드웨어 비용이 드는 스마트폰 등급 LiDAR 에서 이러한 능력을 입증했습니다.

• 3D 재구성: 자연스러운 손으로 들고 이동하는 운동을 사용하여 정적 숨겨진 객체 (인형과 확산 객체 포함) 의 성공적인 재구성.
• 추적: 인간的手를 포함한 단일 및 여러 숨겨진 객체의 실시간 추적. 시스템은 파티클 분포를 클러스터링하여 다중 객체 추적을 처리합니다.
• 위치 추정: 특징 부족으로 인해 기존 방법 (ICP, SfM) 이 실패하는 평면 질감 없는 벽 환경에서의 정확한 카메라 위치 추정.
• 확산 객체: 모델은 이상적인 공초점 이미징을 위해 후방 반사 특성을 가정하지만, 실증적 결과는 시스템이 SNR 이 낮고 모호성이 높기는 하지만 확산 객체에서도 작동함을 보여줍니다.
• 하드웨어 무관성: 이 방법은 최소한의 설정으로 상용 ST VL53L8CX 센서에서 성공적으로 시연되었습니다.

중요성과 주장

이 논문은 "연구 등급" NLOS 이미징에서 플러그 앤 플레이 소비자용 NLOS 이미징으로의 중요한 전환을 대표한다고 주장합니다.

• 민주화: 이 연구는 수만 달러와 몇 시간의 보정이 필요했던 NLOS 기능이 오프더셸 하드웨어 (<$100) 와 몇 초의 설정으로 달성될 수 있음을 보여줍니다.
• 실용성: 소비자용 센서의 특정 제약 (낮은 SNR, 운동, 해상도) 을 해결함으로써 로봇 공학 (코너 주변 항법), 증강 현실 (견고한 신체 자세 매핑), 특징 없는 환경에서의 위치 추정 등 실용적인 응용을 가능하게 합니다.
• 겸손한 한계: 저자들은 현재 모델이 강체 이동을 가정하며 복잡한 반사 특성 (BRDF) 이나 비강체 변형을 완전히 고려하지 않는다고 인정합니다. 또한 가상 개구로부터의 객체 거리가 멀어질수록 모호성이 증가하며, 세 가지 미지 변수 (형상, 객체 운동, 카메라 운동) 를 동시에 해결하는 것은 퇴화 사례로 인해 여전히 과제라고 지적합니다.

요약하자면, 이 논문은 운동 유도 샘플링 모델과 다중 프레임 융합과 결합된 소비자용 LiDAR 가 숨겨진 객체를 효과적으로 이미징할 수 있음을 입증하여, 일상적인 응용을 위한 접근 가능하고 실시간인 NLOS 이미징으로의 전환을 mark 합니다.