Transforming Omnidirectional RGB-LiDAR data into 3D Gaussian Splatting

이 논문은 왜곡 보정 및 다운샘플링, 다중 모달 정합 기술을 통해 기존에 폐기되거나 미활용되던 오모니디렉셔널 RGB-LiDAR 로그를 3D 가우스 스플래팅 (3DGS) 의 견고한 초기화 자산으로 변환하여 대규모 디지털 트윈 구축을 가능하게 하는 새로운 파이프라인을 제안합니다.

핵심

이 논문은 **"로봇이나 자율주행차가 평소 찍어둔 방대한 영상과 거리 데이터를, 마치 3D 게임이나 디지털 복제본 (Digital Twin) 을 만들 때 쓸 수 있는 보석으로 바꾸는 방법"**을 소개합니다.

기존에는 이런 고품질의 3D 장면을 만들려면 비싼 장비를 들고 직접 특수 촬영을 해야 했지만, 이 연구는 **"이미 버려지거나 방치되어 있던 기존 데이터"**를 재활용하는 새로운 공장을 제안합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "보물창고에 쌓인 쓰레기"

자율주행차나 로봇은 매일 수많은 360도 카메라 영상 (RGB) 과 레이저 거리 측정 데이터 (LiDAR) 를 찍습니다. 하지만 이 데이터들은 용량이 너무 크고, 전송 비용이 비싸서 대부분 그냥 지우거나 저장만 해두는 '쓰레기' 취급을 받습니다.

또한, 이 데이터들을 바로 3D 모델로 만들려고 하면 두 가지 큰 문제가 생깁니다.

• 왜곡된 거울 (ERP 왜곡): 360도 카메라로 찍은 영상은 구형이라 상하좌우가 심하게 찌그러져 있습니다. 이를 바로 3D 모델로 만들면 건물이 휘어지거나 사라지는 '유령' 같은 현상이 생깁니다.
• 너무 많은 점 (데이터 과부하): 레이저 데이터는 점 (Point) 이 수십 억 개나 됩니다. 이를 그대로 컴퓨터에 넣으면 컴퓨터가 "아이고, 너무 많아! 죽어!"라고 하며 멈춰버립니다.

2. 해결책: "데이터 재활용 공장" (이 논문의 핵심)

저자들은 이 버려진 데이터를 **3D Gaussian Splatting (3DGS)**이라는 최신 3D 렌더링 기술이 바로 쓸 수 있는 형태로 바꿔주는 4 단계 공정을 만들었습니다.

① 단계: "구형 공을 정육면체로 자르기" (ERP to Cubemap)

• 비유: 360도 파노라마 사진은 마치 구형의 지구본처럼 생겼습니다. 지구본을 평평한 지도로 펴면 가장자리가 찌그러지죠.
• 해결: 이 연구는 지구본을 **주사위 6 면체 (큐브맵)**로 잘라냅니다. 이렇게 하면 각 면이 평평한 사진이 되어, 컴퓨터가 "아, 이건 직선이다"라고 쉽게 인식할 수 있게 됩니다. 덕분에 3D 구조를 잡는 작업 (SfM) 이 훨씬 정확해집니다.

② 단계: "색깔별 분류와 다듬기" (PRISM Downsampling)

• 비유: 레이저 데이터는 수백만 개의 모래알 같습니다. 모든 모래알을 다 쓸 필요는 없죠. 특히 똑같은 하늘색 모래알 100 개는 1 개만 있어도 충분합니다. 하지만 꽃무늬가 있는 모래알은 다 남겨야 합니다.
• 해결: 이 연구는 PRISM이라는 기술을 씁니다. 모래알 (점) 들을 **색깔 (RGB)**별로 분류한 뒤, 같은 색깔끼리는 일부만 남기고 과감히 버립니다. (예: 하늘색은 10 개만 남기고, 복잡한 나무 잎사귀 색상은 모두 남김). 이렇게 하면 데이터 양은 줄이되, 중요한 디테일은 살아남습니다.

③ 단계: "두 장의 지도를 붙이기" (정밀 정렬)

• 비유: 카메라로 만든 지도와 레이저로 만든 지도는 축소율과 위치가 다릅니다. 마치 한 장은 서울 지도, 다른 한 장은 부산 지도를 붙이려는 것과 비슷하죠.
• 해결: ICP라는 알고리즘을 써서 두 지도를 미세하게 움직여 딱 맞게 붙입니다. 이때 카메라로 찍은 '약한 지도'에 레이저의 '정밀한 거리 정보'를 입혀서, 건물의 두께나 거리를 정확하게 만듭니다.

④ 단계: "최종 3D 게임 맵 완성"

• 이렇게 다듬고 붙인 데이터를 3D Gaussian Splatting에 넣으면, 컴퓨터는 이를 바탕으로 실시간으로 움직이는 고품질 3D 디지털 복제본을 만들어냅니다.

3. 결과: "왜 이 방법이 좋은가요?"

• 비용 절감: 비싼 장비로 새로 촬영할 필요가 없습니다. 이미 있는 데이터를 쓸 뿐입니다.
• 정확도 향상: 카메라만 쓸 때는 건물이 흔들리거나 흐릿해질 수 있는데, 레이저 데이터를 섞어주니 건물의 모서리가 날카롭고 선명해집니다.
• 컴퓨터도 가볍게: 너무 많은 데이터를 다 넣지 않고 '색깔별 다듬기'를 했기 때문에, 일반 게이밍 PC 하나로도 거대한 도시 데이터를 처리할 수 있습니다.

4. 결론: "버려진 것을 보석으로"

이 논문은 **"우리가 매일 찍어두고 버리는 데이터들이 사실은 보물"**임을 증명했습니다. 비록 데이터가 찌그러지거나 너무 많아서 처음엔 쓸모없어 보이지만, **올바른 도구 (큐브맵 변환, PRISM, 정렬 기술)**만 있으면 누구나 고품질의 3D 디지털 세계를 만들 수 있다는 것을 보여줍니다.

마치 낡은 천을 잘게 잘라 (다운샘플링), 색깔별로 분류하고 (PRISM), 다시 꿰매어 (정렬) 명품 가방을 만드는 것과 같은 과정이라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

로봇 공학 및 자율 주행 분야에서 대규모 디지털 트윈 (Digital Twins) 에 대한 수요가 급증하고 있습니다. 3D 가우시안 스플래팅 (3DGS) 은 실시간 뷰 합성에 매우 효과적이지만, 이를 구축하기 위해서는 일반적으로 고가의 전용 데이터 수집이 필요합니다.

반면, 실제 배포된 자율 주행 플랫폼들은 일상 운영 과정에서 방대한 양의 전방향 (Omnidirectional) RGB 및 LiDAR 로그를 생성하고 보관합니다. 그러나 전송 제약과 확장 가능한 재사용 파이프라인의 부재로 인해 이러한 데이터의 상당 부분이 폐기되거나 제대로 활용되지 않고 있습니다. 또한, 이러한 원시 로그를 직접 3DGS 에 적용할 때 다음과 같은 기술적 병목 현상이 발생합니다.

• 비선형 왜곡: 전방향 이미지 (ERP) 의 극단적 왜곡으로 인해 구조로부터의 운동 (SfM) 추적이 불안정해지고 신뢰할 수 없는 3D 포인트 클라우드가 생성됩니다.
• 계산 과부하: 밀집되고 정렬되지 않은 LiDAR 포인트 클라우드를 직접 3DGS 최적화에 주입하면 메모리 부족과 과도한 파라미터화로 인해 최적화가 실패하거나 비효율적이 됩니다.
• 교차 모드 정렬의 어려움: 비동기적으로 수집된 RGB 와 LiDAR 데이터를 정밀하게 정렬하는 것은 기존 방법론에서 큰 도전 과제입니다.

2. 제안 방법론 (Methodology)

저자들은 기존 아카이브된 센서 로그를 3DGS 초기화 자산으로 변환하는 결정론적 (Deterministic) 전방향 RGB-LiDAR 재사용 파이프라인을 제안합니다. 주요 단계는 다음과 같습니다.

• ERP-to-Cubemap 변환 (비선형 왜곡 해결):

  • 원시 구형 이미지 (ERP) 는 극단적인 왜곡으로 인해 특징 매칭이 어렵습니다. 이를 해결하기 위해 ERP 프레임을 6 개의 직사각형 큐브맵 (Cubemap) 면으로 투영합니다.
  • 이를 통해 표준 SfM 파이프라인이 안정적인 특징 추출 및 카메라 포즈 추정이 가능하도록 하여 견고한 공간 앵커 (Spatial Anchor) 를 확보합니다.

• LiDAR 정렬 및 포인트 클라우드 집계:

  • 정렬되지 않은 LiDAR 스윕 (Sweep) 들을 ICP (Iterative Closest Point) 기반 오도메트리를 사용하여 통합된 포인트 클라우드로 만듭니다.
  • 센서 보정 데이터를 활용하여 LiDAR 포인트에 색상 정보를 부여 (Colorization) 합니다.

• PRISM (Color-Stratified Downsampling):

  • 3DGS 최적화 시 메모리 병목 현상을 방지하기 위해 포인트 클라우드를 다운샘플링합니다.
  • 기존 균일한 보간법 대신 PRISM 전략을 도입합니다. 이는 RGB 색상 공간을 버킷 (Bin) 으로 나누고, 각 색상 버킷당 최대 포인트 수 ($k$) 를 제한하여 샘플링합니다.
  • 이 방식은 시각적으로 균일한 영역은 aggressively 줄이되, 텍스처가 풍부한 영역은 보존하여 3DGS 의 구형 조화 (Spherical Harmonics) 초기화에 필수적인 다중 모달 사전 지식을 유지합니다.

• 강건한 다중 모드 정렬 (Robust Multi-Modal Alignment):

  • SfM 으로 얻은 척도 모호한 (Scale-ambiguous) 포인트 클라우드와 LiDAR 포인트 클라우드를 정렬합니다.
  • FPFH (Fast Point Feature Histograms) 기반의 글로벌 등록과 ICP 기반의 국소 최적화를 결합하여 두 모달리티를 정밀하게 융합합니다.

• 3DGS 초기화:

  • 최종적으로 정렬된 다중 모드 포인트 클라우드를 3D 가우시안의 평균 ($\mu$), 공분산 ($\Sigma$), 색상을 초기화하는 데 사용하여 3DGS 학습을 시작합니다.

3. 주요 기여 (Key Contributions)

1. 결정론적 데이터 재사용 파이프라인: 아카이브된 전방향 RGB-LiDAR 로그를 3DGS 초기화 자산으로 변환하는 전체적인 워크플로우를 제안하며, 원시 센서 스트림부터 사용 가능한 SfM 기하학까지의 재사용 효율성을 명시적으로 계량화합니다.
2. 강건한 모달리티 연결 워크플로우: 시간 동기화, ERP-to-Cubemap SfM 공간 앵커링, ICP 기반 LiDAR 집계, PRISM 기반 컬러 계층화 다운샘플링을 통합하여 비선형 왜곡과 계산 병목 현상을 극복합니다.
3. 포괄적인 파라미터 스윕 및 진단: 컬러 계층화 다운샘플링 전략 ($n \in \{1, 5, 10, \dots, 100\}$) 에 대한 상세한 파라미터 스윕을 수행하여 교차 모드 정렬의 강건성과 한계를 단계별로 진단합니다.
4. LiDAR 강화 초기화의 검증: 비전 전용 (Vision-only) 베이스라인과 비교하여 구조적으로 복잡한 장면에서 LiDAR 를 활용한 초기화가 최종 3DGS 렌더링 충실도를 일관되게 향상시킨다는 것을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: AIR Lab 의 전방향 RGB-LiDAR 데이터셋 (기숙사, 공과대학, 체육대학 등 3 가지 캠퍼스 구간) 을 사용하여 검증했습니다.
• 재사용 효율성: 원시 로그의 약 35.5%51.3% 가 키프레임으로 재사용되었으며, SfM 재구성은 82.4%88.9% 의 성공률을 보였습니다.
• 렌더링 품질 (3DGS):
  • LiDAR 강화 초기화 (Ours) 는 비전 전용 베이스라인 (Vanilla) 대비 PSNR, SSIM, LPIPS 지표에서 전반적인 개선을 보였습니다.
  • 특히 $n=50$ 및 $n=100$ 설정에서 PSNR 이 가장 크게 향상되었으며, 얇은 가지나 판상 질감 등 세부적인 경계 복원 능력이 우수했습니다.
  • College of Physical Edu(넓은 개방 공간) 와 같이 기하학적 일관성이 낮은 장면에서는 개선 폭이 다소 제한적이었으나, 여전히 유효한 성능을 보였습니다.
• 계산 효율성: 제안된 PRISM 다운샘플링을 통해 단일 워크스테이션 (NVIDIA RTX 4080, 16GB VRAM) 에서도 수십억 개의 포인트를 가진 로그를 처리할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 기존에 폐기되거나 방치되었던 센서 로그를 고품질의 3DGS 디지털 트윈 자산으로 전환할 수 있는 실용적이고 감사 가능한 (Auditable) 워크플로우를 제공합니다.

• 비용 절감: 고가의 전용 데이터 수집 없이 기존 운영 데이터를 재사용하여 디지털 트윈을 구축할 수 있습니다.
• 확장성: 단일 워크스테이션에서도 대규모 데이터를 처리할 수 있도록 최적화되어 있어, 산업 현장에서의 적용 가능성이 높습니다.
• 표준화: 비정형화된 아카이브 로그를 3DGS 에 적합한 형식으로 변환하는 표준 프로토콜을 제시함으로써, 로봇 공학 및 자율 주행 분야의 시뮬레이션 및 검증 인프라 구축에 기여합니다.

결론적으로, 이 논문은 LiDAR 기반의 기하학적 사전 지식을 효과적으로 통합하면서도 데이터의 양적 과부하를 해결하는 방법을 제시하여, 3DGS 의 대규모 배포를 위한 핵심적인 기술적 장벽을 해소했습니다.