기술 요약: Tortho-Gaussian

1. 문제 정의

진정한 디지털 정사영상(True Digital Orthophoto Maps, TDOM)은 풍부한 질감과 균일한 기하학적 스케일을 제공하며 디지털 트윈 및 지리정보시스템(GIS)에 있어 매우 중요합니다. 그러나 전통적인 TDOM 생성은 디지털 표면 모델(DSM)과 명시적인 폐쇄(occlusion) 탐지를 포함하는 복잡한 사진 측량 워크플로에 의존합니다. 이러한 프로세스는 다음과 같은 여러 과제에 직면해 있습니다:

• 부정확한 DSM: 기하학적 왜곡을 초래합니다.
• 퇴화된 폐쇄 탐지: 건물 외벽이 지면이나 지붕 대신 정사영상에 나타나는 "고스팅(ghosting)" 현상을 발생시킵니다.
• 시각적 아티팩트: 약한 질감 영역(예: 물) 및 반사 표면 또는 가느다란 구조물(예: 전선)에서의 렌더링 성능 저하를 유발합니다.
• 확장성 문제: NeRF와 같은 기존 학습 기반 방법은 느린 학습 시간과 높은 메모리 요구량으로 인해 대규모 도시 장면으로 확장하기 어렵습니다. 또한, 표준 3D 가우시안 스플래팅(3DGS)은 비디오 메모리(VRAM) 제약에 의해 제한되며 고주파 세부 사항에서 에일리어싱(aliasing) 문제를 겪습니다.

2. 방법론

저자들은 원근 투영(perspective projection) 대신 직교 투영(orthogonal projection)을 위해 3D 가우시안 스플래팅을 변형하여 TDOM을 생성하는 새로운 프레임워크인 Tortho-Gaussian을 제안합니다. 이 방법론은 다섯 가지 핵심 기술 구성 요소로 이루어져 있습니다:

A. 직교 스플래팅 (Orthogonal Splatting)

새로운 뷰를 렌더링하기 위해 원근 투영을 사용하는 일반적인 3DGS와 달리, Tortho-Gaussian은 직교 스플래팅을 채택합니다.

• 투영: 3D 가우시안 커널의 평균(위치)과 공분산(분산)을 원근 투영 행렬($P_o$) 대신 직교 투영 행렬을 사용하여 2D 이미지 평면에 투영합니다.
• 메커니즘: 이 접근 방식은 명시적인 DSM 생성 및 복잡한 폐쇄 탐지(Z-버퍼링)의 필요성을 우회합니다. Z축을 따라 투영함으로써, 이 방법은 건물 외벽이 지면을 가리지 않는 스케일 균일한 뷰를 자연스럽게 렌더링하며, 결과적으로 전통적인 방식의 고질적인 문제인 "외벽 이동(facades shift)" 문제를 해결합니다.

B. 완전 비등방성 가우시안 커널 (Fully Anisotropic Gaussian Kernel, FAGK)

반사 표면, 가느다란 구조물, 약한 질감과 같은 까다로운 시나리오에서의 아티팩트를 해결하기 위해, 저자들은 완전 비등방성 가우시안 커널을 도입했습니다.

• 적응성: 표준 커널과 달리, FAGK는 색상, 불투명도, 회전 및 스케일의 모든 속성에 대해 구면 조화(spherical harmonic, SH) 계수를 통합합니다.
• 방향 의존성: 이를 통해 가우시안 커널은 서로 다른 방향에서 관찰될 때 뚜も 다른 특성을 나타낼 수 있으며, 전선이나 반사 현상과 같은 비등방성 특징을 표준 또는 일반 비등방성 커널보다 더 정확하게 처리할 수 있게 합니다.

C. 분할 정복 전략 (Divide-and-Conquer Strategy)

제한된 GPU 메모리 내에서 대규모 장면 재구성(예: 도시 수준 영역)을 가능하게 하기 위해:

• 분할: 장면을 카메라 분포에 따라 중첩되는 직사각형 하위 영역으로 나눕니다.
• 확장: 연속성을 보장하고 경계 아티팩트를 방지하기 위해 이러한 하위 영역의 경계를 확장합니다(예: 20%).
• 선택: 견고한 초기화를 보장하기 위해 가시성과 커버리지를 기준으로 각 하위 영역에 적합한 카메라와 3D 포인트를 선택합니다.
• 최적화: 각 하위 영역은 제한된 VRAM을 사용하여 독립적으로 최적화되며, 결과적으로 생성된 가우시안 필드는 하나의 통합된 장면 표현으로 매끄럽게 병합됩니다.

D. 워크플로

1. 전처리: 희소 포인트 클라우드(SfM으로부터 추출)를 x-y 축에 정렬합니다.
2. 분할: 장면을 하위 영역으로 나눕니다.
3. 학습: 향상된 FAGK를 사용하여 각 하위 영역에 대해 3DGS를 최적화합니다.
4. 병합: 최적화된 필드를 단일 장면으로 결합합니다.
5. 렌더링: 이미지 모자이크 처리나 방사 보정 없이 최종 TDOM을 생성하기 위해 Z축을 따라 직교 스피칭을 수행합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. TDOM을 위한 최초의 직교 스플래팅: 원근 스플래팅에서 벗어나 스케일이 균일한 이미지를 생성하는 새로운 방법으로, 명시적인 DSM 및 폐쇄 탐지의 필요성을 기하학적으로 우회합니다.
2. 분할 정복을 통한 확장성: 3DGS를 대규모 장면으로 확장하여 학습 시간 효율성을 크게 개선하고 VRAM 사용량을 줄임으로써, 기존 3DGS로는 불가능했던 영역의 진정한 정사영상을 렌더링할 수 있게 합니다.
3. FAGK를 통한 표현력 향상: 투명도, 스케일링, 회전을 구면 조화 표현에 통합한 플러그 앤 플레이 방식의 완전 비등방성 가우시안 커널을 도입하여, 반사 표면 및 가느다란 구조물의 렌더링 성능을 크게 향상시켰습니다.

4. 실험 결과

저자들은 NPU-DroneMap 및 WHU 데이터셋을 사용하여 Tortho-Gaussian을 최신 상용 소프트웨어(ContextCapture, Metashape, Pix4DMapper, Map2DFusion) 및 학습 기반 방법(Ortho-NeRF)과 비교 평가했습니다.

• 정성적 성능:

  • 건물 가장자리: 본 방법은 미세한 왜곡이 거의 없는 고충실도 가장자리를 생성하며, 이는 불충분한 미분 보정으로 인해 종종 톱니 모양의 가장자리나 곡률이 나타나는 상용 소프트웨어보다 뛰어난 성능을 보입니다.
  • 건물 외벽: Tortho-Gaussian은 건물 외벽 투영(고스팅)을 성공적으로 제거하여 끊김 없는 경계면을 렌더링합니다.
  • 가느다란 구조물: FAGK는 전선, 타워, 크레인의 기하학적 세부 사항을 효과적으로 복원하여 다른 방법에서 보이는 에일리어싱 및 끊김 현상을 방지합니다.
  • 약한 질감: 본 방법은 물의 흐름이나 반사 표면을 더 잘 처리하여 전통적인 재구성에서 흔히 발생하는 구멍이나 고스팅 아티팩트를 줄입니다.

• 정량적 성능:

  • 정밀도: Metashape 및 Pix4DMapper와의 상대 정밀도 테스트 결과, 각각 평균 0.155% 및 **0.126%**의 상대 오차를 보여 상용 표준에 필적하는 정확도를 나타냈습니다.
  • 효율성: 대규모 장면(예: Phantom3 데이터셋)에서 순수 3DGS는 VRAM 제한(21GB 이상 필요)으로 인해 실패했으나, Tortho-Gaussian은 약 10~11 GB의 VRAM을 사용하여 성공적으로 장면을 재구성하였으며 약 40분 만에 학습을 완료했습니다.

• 절제 연구 (Ablation Studies):

  • 분할: $2\times2$ 분할 전략이 높은 이미지 품질(SSIM/PSNR)을 유지하면서도 가장 시간 효율적인 것으로 나타났습니다.
  • FAGK: FAGK의 포함은 특히 낮은 공간 해상도에서 SSIM, PSNR, LPIPS 지표를 크게 개선하고 가장자리 팽창 아티팩트를 감소시켰습니다.

5. 의의 및 주장

본 논문은 Tortho-Gaussian이 TDOM의 품질과 확장성을 향상시키기 위한 강력한 대안이라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 단순화: 명시적인 DSM 생성 및 폐쇄 탐지와 같이 복잡하고 오류가 발생하기 쉬운 전통적인 사진 측량 단계를 제거합니다.
• 효율성: 3DGS의 확장성 병목 현상을 해결하여 대규모 지역 재구성을 가능하게 합니다.
• 품질: 복잡한 기하 구조(가느다란 구조물) 및 약한 질감을 처리하는 데 있어 기존 상용 소프트웨어보다 우수한 시각적 및 기하학적 충실도를 달acia합니다.

저자들은 이 연구가 효율적인 대규모 도시 장면 재구성을 향한 단계라고 위치시키며, 향-후 연구에서는 최적화된 분할 전략과 세그멘테이션 모델 및 깊이 사전 정보(depth priors)와 같은 의미론적 정보의 통합을 통해 더 큰 도시 수준의 장면을 탐구할 수 있다고 언급했습니다.