기술 요약: 가우스 서플 스플래팅을 통한 LiDAR 포인트 클라우드 완성 - SurfFill

1. 문제 정의

LiDAR 포인트 클라우드는 높은 전역 일관성과 정밀도로 인해 능동적 3D 재구성의 금표준으로 널리 간주됩니다. 그러나 얇은 구조물, 실루엣, 가장자리에서 체계적인 간극을 겪습니다. 식별된 주요 원인은 빔 발산입니다: 레이저 빔이 이동함에 따라 그 단면적이 확장되어 단일 빔이 기하학적 불연속점 근처의 전경과 배경 표면을 모두 조명하게 됩니다. 이로 인해 "혼합 픽셀"( spurious range measurements)이 발생하며, 이는 전처리 필터에 의해 이상치로 간주되어 제거됩니다.

결과적으로 LiDAR 스캔은 종종 미세한 기하학적 세부 사항을 결여합니다. 이미지 기반 재구성 방법 (예: 다중 뷰 스테레오, 신경 방사선장, 가우스 스플래팅) 은 특징이 풍부한 영역에서 이러한 세부 사항을 추론할 수 있지만, 특징이 희소한 영역에서는 실패하며 LiDAR 의 전역 정밀도를 갖추지 못합니다. 또한, 표준 형상 완성 방법 (종종 딥러닝 기반) 은 일반적으로 수천 개의 포인트를 가진 작고 객체 중심의 장면을 위해 설계되어 수백만 개의 포인트를 포함하는 대규모 빌딩 규모의 LiDAR 데이터셋으로 일반화하는 데 어려움을 겪습니다.

핵심 과제는 이상치를 도입하거나 잘 스캔된 영역의 정확도를 훼손하지 않고 이러한 간극을 채우기 위해 광도학적 재구성을 LiDAR 데이터와 통합하는 것입니다.

2. 방법론: SurfFill

저자들은 가우스 서플 기반 LiDAR 완성 방식인 SurfFill을 제안합니다. 파이프라인은 네 가지 주요 단계를 통해 작동합니다:

2.1. 모호성 휴리스틱 및 불확실성 매핑

LiDAR 데이터가 누락된 위치를 식별하기 위해, 이 방법은 잘 스캔된 영역과 간극 사이의 전이 영역을 분석합니다.

• 3D 모호성 휴리스틱: 저자들은 간극은 밀도가 0 이고 잘 스캔된 영역은 밀도가 높지만, 빔 발산 및 필터링으로 인한 전이 영역은 특징적인 낮지만 0 이 아닌 포인트 밀도를 보인다고 관찰합니다. 그들은 각 포인트에 대해 국소 k-최근접 이웃 (KNN) 밀도의 역수를 기반으로 모호성 점수 $p(x)$를 계산합니다. 높은 모호성 점수는 누락된 구조물에 인접한 전이 영역을 나타냅니다.
• 2D 불확실성 맵: 3D 신호를 보완하기 위해, 이 방법은 RGB 이미지에서 단안 표면 법선을 추정합니다. 이러한 법선에서의 큰 기울기는 LiDAR 데이터가 불완전할 가능성이 있는 기하학적 경계를 나타냅니다. 이는 최적화를 안내하는 불확실성 맵 $U$를 생성합니다.

2.2. 전처리 및 초기화

• 비균일 다운샘플링: 입력 LiDAR 포인트 클라우드는 비균일하게 다운샘플링됩니다. 높은 모호성 점수 (전이 영역) 를 가진 포인트는 재구성을 위한 시드 역할을 하도록 높은 밀도로 유지됩니다. 잘 스캔된 영역은 컴퓨팅 자원을 절약하기 위해 공격적으로 얇게 만들어집니다.
• 가우스 서플 초기화: 다운샘플링된 포인트를 사용하여 가우스 서플 모델이 초기화됩니다. 가우스의 초기 스케일은 모호한 영역에서 더 정밀한 재구성을 장려하기 위해 국소 모호성 점수를 기반으로 설정됩니다.

2.3. 집중형 가우스 서플 최적화

최적화 과정은 처음부터 전체 장면을 재구성하는 대신 누락된 영역을 완성하는 데 초점을 맞추도록 제약됩니다.

• 적응형 밀도 제어 (ADC): 표준 ADC 모듈이 수정됩니다. 평균 화면 공간 기울기 대신 최대 기울기가 희소한 RGB 데이터를 더 잘 처리하기 위해 분할 및 복제에 사용됩니다. "was-densified" 플래그가 새로 생성된 가우스를 추적합니다.
• 훈련 뷰 샘플링: 뷰는 투영된 고모호성 포인트의 수를 기반으로 샘플링되어 관심 영역을 포함하는 이미지를 우선시합니다.
• 손실 함수: 목적 함수는 표준 광도학적 손실과 특정 정규화 항을 결합합니다:
  • 기울기 손실 ($L_g$): 가장자리 재구성을 장려합니다.
  • 스케일 정규화 ($R_s$): 가우스가 너무 커지는 것을 방지하여 미세한 세부 사항이 보존되도록 합니다.
  • 마스크된 깊이/법선 손실: 잘 스캔된 영역에서 미세한 구조물이 평활화되는 것을 방지하기 위해 모호한 영역에만 적용됩니다.
  • 불확실성 마스킹: 불확실성 맵 $U$가 손실에 가중치를 부여하는 데 사용되어 최적화를 불확실한 영역으로 유도합니다.

2.4. 필터링 및 샘플링

훈련 후, 유효한 완성 포인트를 추출하기 위해 가우스 모델이 필터링됩니다:

• 이상치 제거: 큰 스케일 (플로터) 이나 낮은 불투명도를 가진 가우스는 폐기됩니다.
• 모호성 필터링: 밀도가 증가되지 않았거나 낮은 모호성 (잘 스캔된 영역에 있음을 나타냄) 을 가진 가우스는 제거됩니다.
• 거리 필터링: 가우스를 원래 LiDAR 스캔과 비교하는 중요한 단계입니다. 임계값 ($t_{min} = 0.01$ m) 보다 가까운 포인트는 정확한 LiDAR 데이터를 중복 생성하는 것을 방지하기 위해 제거됩니다. $t_{max}$보다 먼 포인트는 이상치로 제거됩니다.
• 샘플링: 필터링된 가우스에서 포인트가 샘플링되며, 얇은 구조물의 간극을 연결하기 위해 인접한 가우스 사이에서도 샘플링이 수행됩니다.

2.5. 대규모 확장

빌딩 규모의 장면 (수천만 개의 포인트) 을 처리하기 위해 저자들은 분할 정복 전략을 사용합니다. 장면을 축 정렬된 조각으로 세분화하여 각 조각을 카메라 및 포인트의 부분 집합으로 독립적으로 처리합니다. 이는 여러 GPU 에서의 병렬 처리를 가능하게 하고 GPU 메모리 제한을 우회합니다.

3. 주요 기여

1. LiDAR 아티팩트 분석: 체계적인 간극의 근본 원인으로서 빔 발산을 식별하고, 완성을 위한 전이 영역을 감지하기 위한 밀도 기반 모호성 휴리스틱을 제안합니다.
2. 집중형 가우스 서플 스플래팅: 모호성 휴리스틱을 가우스 서플 최적화에 통합하여, 제약된 밀도 증가, 스케일 정규화, 그리고 LiDAR 완성을 위해 특별히 설계된 필터링 파이프라인을 특징으로 합니다.
3. 대규모 처리: 실현 가능한 시간 내에 빌딩 규모 LiDAR 데이터셋 (예: 7300 만 포인트) 의 완성을 가능하게 하는 청킹 전략의 적용.
4. 성능: 합성 및 실제 시나리오 모두에서 기존 재구성과 형상 완성 기술을 능가하는 방법의 입증.

4. 결과

이 방법은 합성 장면 (다락방, 주방, 박물관) 과 실제 데이터셋 (ScanNet++, Tanks&Temples, 및 사용자 정의 캡처) 에서 평가되었습니다.

• 정량적 성능: SurfFill 은 평균 챔퍼 거리 0.0055 m와 F1 점수 0.9176을 달성하여 2DGS(0.0618 m 챔퍼), 3DGS, Neuralangelo, COLMAP 과 같은 베이스라인을 크게 능가했습니다.
• 정밀도 vs 재현율: COLMAP 은 비교 가능한 재현율 (비슷한 수의 누락된 포인트 발견) 을 달성했지만, SurfFill 은 우수한 정밀도 (0.986 대 0.789) 를 보여주어 재구성된 포인트가 공간적으로 더 정확하고 노이즈가 적음을 나타냈습니다.
• 정성적 결과: 이 방법은 원래 LiDAR 스캔에서 누락되었던 울타리 막대, 의자 다리, 후크와 같은 미세한 세부 사항을 성공적으로 재구성했습니다. 잘 스캔된 평평한 영역에는 최소한의 노이즈만 도입되었습니다.
• 효율성: 이 방법은 단일 GPU 에서 약 3 시간 (또는 6 개 GPU 사용 시 약 70 분) 에 빌딩 규모의 장면을 처리하며, 일부 NeRF 기반 방법의 수일에 비해 빠릅니다.
• 애블레이션 연구: 필터링 단계를 제거하면 F1 점수가 약 2.5% 감소하여 정확한 영역에서의 노이즈를 방지하는 데 그 중요성이 부각되었습니다. 스케일 정규화와 불확실성 맵은 질감 영역에서 재구성을 안정화하는 데 결정적이었습니다.

5. 중요성 및 주장

본 논문은 SurfFill 이 LiDAR 의 높은 정밀도와 광도학적 재구성의 높은 세부 사항 사이의 간극을 효과적으로 메운다고 주장합니다. LiDAR 의 특정 아티팩트 패턴 (전이 영역) 을 활용하여 집중형 가우스 서플 최적화를 안내함으로써, 이 방법은 원래 스캔의 무결성을 훼손하지 않고 누락된 기하학적 구조를 복원합니다.

저자들은 그들의 접근 방식이 대규모에서 실패하는 직접적인 형상 완성 방법과 LiDAR 간극 충전을 위한 특정 제약이 부족한 표준 가우스 스플래팅과 구별된다고 강조합니다. 이 방법은 물리적 센서 제한으로 인해 LiDAR 데이터가 불완전한 고충실도 대규모 3D 모델이 필요한 응용 분야에서 특히 중요합니다.

인정된 한계:

• 이 방법은 전이 영역의 존재에 의존합니다. 구조물이 흔적 없이 완전히 제거된 경우 복원할 수 없습니다.
• 상당한 포즈 노이즈가 있거나 뷰 구성이 희소한 장면 (예: 브리지 장면) 에서 성능이 저하됩니다.
• 이 방법은 어두운 반사 표면을 특별히 대상으로 하지 않습니다. 광도학적 방법도 그곳에서 어려움을 겪기 때문입니다. 대신 기하학을 착각 (hallucinate) 하는 대신 이러한 영역을 변경되지 않은 상태로 정확하게 둡니다.
• 완성된 포인트는 원래 LiDAR 전처리의 균일한 간격을 갖지 않아 시각적으로는 더 노이즈가 많은 것처럼 보일 수 있지만 기하학적으로는 정확합니다.