기술 요약: 포인트 클라우드의 유령: 과도 영역에서 LiDAR 의 글레어 제거

1. 문제 제기

LiDAR 기술이 거대하고 기계적으로 스캔하는 시스템에서 소형, 고체 상태, 카메라와 유사한 어레이 (특히 단일 광자 애벌랜치 다이오드 또는 SPAD 어레이를 활용하는 시스템) 로 급격히 전환되면서 치명적인 고장 모드가 등장했습니다: 내부 다중 경로 글레어 (internal-multipath glare).

이러한 "카메라화"된 센서에서는 밝거나 후방 반사 표면 (예: 도로 표지판, 번호판) 에서의 빛이 센서에 도달하기 전에 광학 어셈블리 내에서 여러 번의 내부 반사와 산란을 겪습니다. 전용 광학 경로와 순차적 발사로 이를 회피했던 기존 스캐닝 LiDAR 와 달리, 현대의 고밀도 픽셀 어레이는 이러한 산란된 빛이 인접 픽셀로 퍼지도록 허용합니다. 이 현상은 포인트 클라우드 내에 "유령"을 생성하여 실제 장면 기하학을 가리고 자율 시스템에 안전상 치명적인 위험을 초래합니다.

기존 솔루션은 다음과 같은 세 가지 주요 이유로 불충분합니다:

1. 타이밍: 많은 접근 방식은 아티팩트가 기하학적 데이터와 얽힌 후인 최종 포인트 클라우드에서 작동하여 분리가 어렵습니다.
2. 파일업 왜곡 (Pileup Distortion): 글레어를 유발하는 고강도 반환은 종종 심각한 광자 파일업 (photon pileup) (초기 광자가 후기 광자를 가리는 비선형 왜곡) 을 유발하며, 이는 표준 선형 글레어 제거 방법이 처리하지 못합니다.
3. 일반화: 학습 기반 방법은 종종 합성 데이터와 특정 기하학적 가정 (예: 팔각형 표지판) 에 의존하여, 광범위한 학습 데이터 없이는 복잡한 장면이나 다양한 후방 반사체 유형으로 일반화하는 데 어려움을 겪습니다.

2. 방법론

저자들은 포인트 클라우드 형성 이전에 과도 영역 (transient domain) (저수준 에코 검출) 에서 작동하는 학습이 필요 없는 물리 기반 접근법을 제안합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

A. 과도 글레어 모델링 (TGSF)

이 논문은 내부 글레어를 과도 히스토그램에 작용하는 선형적이고 장면과 무관한 연산자로 모델링합니다.

• 과도 글레어 확산 함수 (TGSF): $a(u, v, t, u', v', t')$로 정의되며, 이 연산자는 시간 $t'$에 단일 픽셀 $(u', v')$에서 온 광자가 내부 산란으로 인해 다른 픽셀과 시간 버킷에 어떻게 재분배되는지 설명합니다.
• 단순화: 실제로 내부 산란으로 인한 시간 지연은 센서 분해능에 비해 무시할 수 있습니다. 따라서 TGSF 는 시간 독립적인 글레어 확산 함수 (GSF), $a(u, u')$로 근사되어 에코 영역에서의 공간 컨볼루션 문제로 축소됩니다.

B. 파일업 보정

글레어를 처리하기 전에, 이 방법은 가장 밝은 반환의 강도와 비행 시간 (ToF) 을 왜곡시키는 광자 파일업을 보정합니다.

• 모멘트 기반 보정: 원시 히스토그램을 완전히 "왜곡 제거"하려는 시도 (계산적으로 어렵고 포화에 취약함) 대신, 시스템은 검출된 에코의 첫 세 가지 모멘트 (총 계수, 평균 ToF, 분산) 를 추출합니다.
• 룩업 테이블 (LUTs): 파일업 물리학의 순방향 모델을 사용하여, 저자들은 측정된 분산과 배경 잡음을 실제 입사 플럭스와 평균 이동에 매핑하는 LUT 를 생성합니다. 이를 통해 시스템은 정확한 글레어 예측에 필수적인 "공격자" 에코의 실제 ToF 와 강도를 복원할 수 있습니다.

C. 글레어 예측 및 억제

에코가 파일업 보정을 받으면, 알고리즘은 검출이 실제 반환인지 글레어 아티팩트인지의 가능성을 결정합니다.

1. 글레어 예측: 사전 보정된 GSF 를 사용하여, 시스템은 다른 모든 픽셀의 파일업 보정된 강도를 기반으로 각 픽셀 $u$와 에코 $k$에서의 예상 글레어 기여도 ($\bar{g}_{uk}$) 를 예측합니다.
   $$\bar{g}_{uk} = \sum_{u'} a(u, u') \left[ \sum_{k'} o(t_{u'k'} - t_{uk}) y_{u'k'} \right]$$
   여기서 $o(\delta t)$는 피팅 창 간의 시간적 중첩을 고려합니다.
2. 신뢰도 지표: 측정된 광자 수 $Y$가 예상 글레어 수 $N P_G$를 유의미하게 초과하는지 평가하기 위해 이항 확률 지표가 계산됩니다.
   $$C = \begin{cases} -\ln \mathbb{P}(Y; P_G, N) & \text{if } Y \geq N P_G \\ 0 & \text{if } Y < N P_G \end{cases}$$
   $C=0$인 에코는 글레어로 식별되고, $C>0$인 에코는 유효한 장면 반환으로 유지됩니다. 시스템은 최종 깊이 지도를 형성하기 위해 픽셀당 가장 높은 신뢰도의 에코를 선택합니다.

3. 주요 기여

이 논문은 네 가지 구체적인 기여를 합니다:

1. 고장 모드 식별: 기존 시스템의 희소 아티팩트와 구별되는 차세대 고체 상태 LiDAR 의 치명적이고 빈번한 고장 모드로서 내부 다중 경로 글레어를 명시적으로 식별합니다.
2. 과도 영역 공식화: 내부 다중 경로 글레어와 비선형 광자 파일업 왜곡을 동시에 고려하는 모델을 도입하며, 최종 포인트 클라우드가 아닌 과도 에코 공간에서 작동합니다.
3. 학습 불필요 알고리즘: 대규모 레이블 데이터셋이나 합성 학습 없이 GSF 를 활용하여 글레어로 인한 검출의 확률을 추정하는 알고리즘을 제안합니다.
4. 파이프라인 통합: 수정되지 않은 상업용 센서의 표준 LiDAR 신호 처리 파이프라인 (DSP) 에 원활하게 통합되어 포인트 클라우드 형성 이전에 작동하는 실용적인 방법을 입증합니다.

4. 실험 결과

이 방법은 다양한 후방 반사체 (정지 표지판, 번호판, 교통 원뿔, 안전 조끼) 가 포함된 다양한 장면에서 상업용 SP-LiDAR(ADS6311) 을 사용하여 평가되었습니다.

• 정량적 성능: 기준 딥러닝 방법 [5] 과 사진 기반 글레어 제거 접근법 [26] 과 비교하여, 제안된 방법은 훨씬 낮은 Root Mean Square Error(RMSE) 와 더 높은 $\delta_1$ 정확도 (정답의 1% 이내 픽셀 비율) 를 달성했습니다.
  • 예시: 정지 표지판이 있는 장면에서 기준 딥러닝 방법은 RMSE 가 0.48m 였으나, 제안된 방법은 0.11m 를 달성했습니다.
• 복잡성에 대한 강건성: 복잡한 기하학 (예: 교통 원뿔, 안전 조끼) 과 여러 후방 반사체에서 어려움을 겪었던 기준 방법과 달리, 제안된 방법은 테스트된 모든 모양과 구성에 걸쳐 효과적으로 일반화되었습니다.
• 파일업 처리: 실험 결과, 개별 시간 슬라이스에 적용된 사진 기반 글레어 제거 방법은 파일업이 심할 때 실패했는데, 이는 파일업이 직접 반환을 더 일찍의 시간 버킷으로 이동시켜 시간 영역에서 글레어 신호와 분리시키기 때문입니다. 제안된 에코 공간 방법은 글레어 추정 전에 파일업을 보정함으로써 이를 성공적으로 처리했습니다.
• 진짜 신호 보존: 이 방법은 "꽃피기 (bloom)" 아티팩트로 인해 표준 파이프라인에서 가려졌던 진짜이고 약한 신호 (예: 어린이를 나타내는 인형) 를 보존하면서 글레어를 성공적으로 억제했습니다.

5. 중요성과 주장

이 논문은 내부 글레어가 단순한 엣지 케이스가 아니라 LiDAR 의 "카메라화"에 대한 근본적인 도전이라고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 패러다임 전환: 글레어 완화를 사후 처리 (포인트 클라우드) 에서 전처리 (과도/에코 영역) 로 이동시켜, 아티팩트의 물리학이 가장 해결 가능한 영역에서 작동하도록 합니다.
• 고체 상태 아키텍처 활성화: 하드웨어 유발 문제에 대한 소프트웨어 솔루션을 제공함으로써, 글레어를 피하기 위해 역사적으로 사용되었던 비최적이고 거대한 스캐닝 아키텍처의 필요성을 줄입니다. 이는 고해상도, 저비용, 완전 고체 상태 LiDAR 의 채택을 가속화할 수 있습니다.
• 모듈성: 이 접근법은 기존 파일업 보정, 잡음 제거, 압축 기술과 호환되는 광자 처리 파이프라인의 모듈식 구성 요소로 설계되었습니다.

저자들은 한계를 인정하며, 이 방법은 각 센서에 대한 GSF 의 사전 보정이 필요하며 아직 강한 태양 배경이 있는 야외 장면에서 테스트되지 않았음을 지적합니다. 그러나 알고리즘 기반 글레어 제거는 기존 이미징의 잡음 제거와 유사하게 3D 지각 파이프라인의 표준 구성 요소가 될 수 있다고 주장합니다.