Incremental Semantics-Aided Meshing from LiDAR-Inertial Odometry and RGB Direct Label Transfer

1. 문제 정의 (Problem)

대규모 및 복잡한 실내 환경 (예: 문화 유산 건물) 에서 LiDAR-관성 측정 장치 (IMU) 스캔을 기반으로 기하학적 고충실도 (High-fidelity) 메시를 재구성하는 것은 여전히 큰 도전 과제입니다. 주요 문제는 다음과 같습니다.

• LiDAR 점군 희소성 (Sparsity): 먼 거리나 구조적 경계에서 점 데이터가 부족하여 구멍 (holes) 이 발생하거나 세부 사항이 손실됩니다.
• 기하학적 드리프트 (Geometric Drift): 장거리 주행 시 위치 추정 오차가 누적되어 재구성된 구조가 왜곡됩니다.
• 고정된 융합 파라미터: 기존 방식은 모든 표면 유형에 동일한 절단 거리 (truncation distance) 와 가중치를 적용하여, 얇은 구조물 (난간 등) 이 과부드러워지거나 (over-smoothing) 불필요한 표면이 생성되는 등의 아티팩트를 유발합니다.
• RGB-D 의 한계: 기존 의미론적 (Semantic) 재구성 방법들은 주로 RGB-D 센서에 의존하며, 근거리와 잘 텍스처링된 환경에 국한되어 있어 LiDAR 가 적합한 대규모 실내 환경에는 적용하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 LiDAR-관성 주행 (LIO) 맵에 RGB 이미지에서 추출한 의미론적 라벨을 직접 전송하여, 이를 메시 재구성에 활용하는 모듈식 증분 (Incremental) 파이프라인을 제안합니다.

A. 전체 파이프라인

1. RGB 프레임 의미론적 분할: 비전 기반 모델 (OneFormer) 을 사용하여 들어오는 RGB 프레임의 팬옵틱 (panoptic) 라벨을 생성합니다.
2. 직접 라벨 전송 (Direct Label Transfer):
   • FAST-LIO2 를 사용하여 LiDAR-관성 주행 (Odometry) 을 수행하고 스캔 프레임을 정렬합니다.
   • 카메라와 LiDAR 간의 외향 파라미터와 IMU 상태를 활용하여 2D 분할 마스크를 3D LiDAR 점군에 투사합니다.
   • 필터링: 라벨의 번짐 (bleed) 을 방지하기 위해 형태학적 침식, 경계 거리 거부, 깊이 불연속성 검사를 수행하여 신뢰할 수 없는 투사를 제거합니다.
3. 의미론적 인식 TSDF 융합 (Label-Aware TSDF Fusion):
   • 단위 볼륨별 (Per-voxel) 의미론적 상태 유지: 각 볼륨 (voxel) 에 라벨 히스토그램과 현재 라벨을 유지하며, 다수결 투표와 신뢰도 기반 업데이트를 수행합니다.
   • 동적 절단 거리 (Dynamic Truncation): 표면의 의미론적 클래스 (예: 벽 vs. 난간) 와 LiDAR 범위에 따라 절단 거리 ($\mu$) 를 동적으로 조정합니다. (예: 얇은 구조물은 좁은 절단 거리로 세부 사항 보존, 벽은 넓은 거리로 노이즈 평균화).
   • 가중치 조정: 거리 의존적 가중치와 희소성 보정 인자를 적용하여 LiDAR 점의 밀도 차이를 보상합니다.
4. 메시 추출: 마칭 큐브스 (Marching Cubes) 알고리즘을 사용하여 TSDF 영수준 집합 (zero-level set) 에서 삼각형 메시를 추출하고, 각 삼각형에 해당 볼륨의 의미론적 라벨을 할당합니다.
5. USD 내보내기: 생성된 의미론적 라벨이 포함된 메시를 Universal Scene Description (USD) 자산으로 내보내 XR 및 디지털 모델링 파이프라인과 호환되도록 합니다.

B. 불확실성 분석 (Uncertainty Analysis)

재구성 오류를 기하학적 원인 (LIO 드리프트, 노이즈) 과 의미론적 원인 (분할 오류, 투사 오정합) 으로 분리하여 분석하기 위해 볼륨별 불확실성 점수 ($s_{sem}, s_{geom}$) 를 유지합니다. 이는 오류의 원인을 진단하고 재구성 품질을 개선하는 데 기여합니다.

3. 주요 기여 (Key Contributions)

1. 모듈식 증분 파이프라인: VFM(OneFormer) 기반의 팬옵틱 라벨을 RGB 이미지에서 희소 LiDAR-관성 점군으로 이동 보상 (ego-motion compensated) 투사를 통해 전송하는 시스템을 구축했습니다. 이는 RGB-D 시스템의 밀집 시간 동기화 의존성을 극복하고, 희소 샘플링 및 교차 모달 시간 오정합 하에서도 견고한 대응을 가능하게 합니다.
2. 라벨 인식 TSDF 통합 방식:
   • 디리클레 (Dirichlet) 에서 영감을 받은 볼륨별 의미론적 융합.
   • 클래스 조건부 동적 절단 거리 (Class-conditioned dynamic truncation).
   • 시간적 라벨 통합 (Temporal label consolidation).
   • 이러한 기법들은 기하학적 특성만 고려하는 기존 방식보다 메시 품질을 향상시킵니다.
3. 정량적 및 정성적 평가: Oxford Spires 및 NTU VIRAL 데이터셋을 사용하여 ImMesh 와 Voxblox 와 비교 평가했습니다. 특히 기하학적 지표와 불확실성 분석을 통해 의미론적 가이드가 기하학적 재구성 품질을 어떻게 향상시키는지 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Oxford Spires (Christ Church College, 실내 문화 유산 환경, TLS ground truth 보유) 및 NTU VIRAL.
• 정량적 평가 (Oxford Spires):
  • 정확도 (Accuracy RMSE): 제안된 방법은 14.54 cm로, Voxblox(17.24 cm) 와 ImMesh(17.40 cm) 보다 우수한 정확도를 보였습니다.
  • 완전성 (Completeness): **98.55%**로 기존 방법들 (Voxblox: 97.17%, ImMesh: 95.99%) 보다 더 많은 지면 (Ground Truth) 을 커버했습니다.
  • F1 점수: **98.58%**로 가장 높은 성능을 기록했습니다.
  • 해석: 의미론적 및 불확실성 인식 TSDF 융합은 고곡률 구조물을 보존하면서도 평평한 표면을 완성하여, 더 깨끗하고 충실한 메시를 생성함을 보여줍니다.
• 정성적 평가:
  • Oxford Spires: ImMesh 는 얇은 고주파 구조물을 누락하고, Voxblox 는 텍스처가 흐릿하고 외관이 불완전한 반면, 제안된 방법은 지면 구조와 첨탑, 아치 등 건축적 특징을 모두 선명하게 재구성했습니다.
  • NTU VIRAL: 제안된 방법은 과부드러짐 없이annotated 영역에서 표면 완전성과 충실도가 훨씬 높았습니다.
• 불확실성 분석: 기하학적 불확실성과 의미론적 불확실성이 서로 다른 영역에서 발생함을 확인했습니다. 기하학적 오류는 깊이 불연속성이나 가려진 윤곽선에서, 의미론적 오류는 이미지 분할 및 투사 아티팩트에서 주로 발생하여, 두 오류 소스의 분리가 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

• Scan2USD 파이프라인: 실내 LiDAR 스캔에서 XR(확장 현실) 및 디지털 모델링에 바로 사용할 수 있는 USD 자산으로의 전환 경로를 제시합니다.
• 센서 융합의 새로운 방향: LiDAR 의 기하학적 정밀도와 RGB 의 풍부한 의미론적 정보를 결합하여, LiDAR 의 희소성과 드리프트 문제를 의미론적 가이드로 해결하는 효과적인 방법을 제시했습니다.
• 실용성: 문화 유산 보존, 디지털 트윈, 로봇 시뮬레이션 등 대규모 복잡한 실내 환경에서의 3D 재구성에 중요한 기여를 합니다.

이 연구는 의미론적 정보가 기하학적 재구성 과정 자체를 안내할 수 있음을 보여주었으며, 특히 LiDAR 기반의 대규모 실내 환경 재구성에서 기존 기하학적 방법론의 한계를 극복하는 중요한 진전을 이루었습니다.