UrbanGS: A Scalable and Efficient Architecture for Geometrically Accurate Large-Scene Reconstruction

이 논문은 도시 규모의 대규모 장면 재구성에서 기하학적 일관성, 메모리 효율성 및 계산 확장성 문제를 해결하기 위해 깊이 일관성 D-정규화, 공간 적응형 가우스 가지치기, 그리고 통합 파티셔닝 전략을 도입한 확장 가능하고 효율적인 'UrbanGS' 아키텍처를 제안합니다.

핵심

이 논문은 **'UrbanGS'**라는 새로운 기술을 소개합니다. 이 기술은 거대한 도시 전체를 3D 로 완벽하게 재현하는 방법을 개발한 것입니다.

기존의 3D 기술은 작은 방이나 한 건물을 찍는 데는 훌륭했지만, 도시 전체처럼 넓고 복잡한 장면을 만들려 하면 기억 용량 (메모리) 이 부족해 터지거나, 건물의 모양이 뭉개지거나, 너무 오래 걸리는 문제가 있었습니다.

UrbanGS 는 이 세 가지 난관을 해결하기 위해 고안된 '스마트한 도시 재건축 팀'이라고 생각하시면 됩니다. 아래에서 세 가지 핵심 아이디어를 쉬운 비유로 설명해 드릴게요.

---

1. "눈과 손"을 동시에 쓰는 지도 제작자 (Depth-Consistent D-Normal Regularization)

기존의 문제:
기존 기술들은 3D 모델을 만들 때 마치 **"눈만 믿고 그림을 그리는 화가"**와 같았습니다. 카메라로 본 모양 (색깔) 만 보고 "여기 나무가 있겠지"라고 추정만 했을 뿐, 나무가 실제로 얼마나 튀어나와 있는지 (깊이) 나 정확한 각도를 계산하는 데는 서툴렀습니다. 그래서 건물이 비틀거리거나 바닥이 울퉁불퉁해지는 문제가 생겼습니다.

UrbanGS 의 해결책:
UrbanGS 는 "눈 (카메라) 과 손 (깊이 측정)"을 동시에 사용하는 건축가입니다.

• 눈: 카메라로 찍은 사진을 봅니다.
• 손: AI 가 미리 예측한 '깊이 지도'와 '표면의 기울기 (법선)'를 참고합니다.

이 기술은 단순히 "이곳에 나무가 있다"는 것뿐만 아니라, **"나무가 이 각도로 기울어져 있고, 이만큼 튀어나와 있다"**는 것을 수학적으로 엄격하게 계산합니다. 마치 건축가가 설계도 (깊이) 와 실제 나뭇잎의 방향 (기울기) 을 모두 확인하며 벽돌을 쌓는 것처럼, 건물의 모양이 훨씬 더 정확하고 매끄럽게 완성됩니다.

2. "필요한 곳만 집중"하는 스마트 정리부 (Spatially Adaptive Gaussian Pruning)

기존의 문제:
도시 전체를 3D 로 만들려면 수백만 개의 작은 점 (가우스 입자) 이 필요합니다. 문제는 하늘이나 멀리 있는 벽처럼 단순한 곳에도 불필요하게 수많은 점들이 모여들었다는 것입니다. 이는 마치 "하늘 한 점에 100 명의 그림자를 부지런히 그리느라, 중요한 건물의 창문은 제대로 그릴 여력이 없어지는" 상황과 같습니다. 컴퓨터 메모리가 금방 꽉 차서 작업이 멈추는 (Out of Memory) 원인이 됩니다.

UrbanGS 의 해결책:
UrbanGS 는 **"상황을 파악하는 똑똑한 정리부"**입니다.

• 복잡한 곳 (건물, 나무): 디테일을 살리기 위해 많은 점들을 배치합니다.
• 단순한 곳 (하늘, 먼 거리): 불필요한 점들을 과감히 잘라냅니다 (Pruning).

이렇게 장소의 중요도에 따라 점의 수를 자동으로 조절하기 때문에, 컴퓨터 메모리를 아껴가면서도 도시의 핵심적인 디테일은 흐트러짐 없이 유지할 수 있습니다.

3. "조각 puzzle"을 완벽하게 맞추는 팀워크 (Partitioning Strategy)

기존의 문제:
도시 전체를 한 번에 작업하면 컴퓨터가 감당하지 못합니다. 그래서 도시를 여러 조각 (블록) 으로 나누어 작업합니다. 하지만 기존 기술들은 조각과 조각을 이어붙일 때 경계선이 뚝뚝 끊기거나, 겹치는 부분이 어색하게 튀어나오는 문제가 있었습니다. 마치 puzzle 을 조립할 때 조각들이 딱 맞지 않아 틈이 생기는 것과 같습니다.

UrbanGS 의 해결책:
UrbanGS 는 **"경계선을 미리 공유하는 팀워크"**를 적용합니다.

• 각 블록을 작업할 때, 이웃 블록과 겹치는 부분의 데이터도 함께 공유합니다.
• 이렇게 하면 조각을 이어붙일 때 경계선이 자연스럽게 이어지고, 끊어지는 현상이 사라집니다.

또한, 각 블록마다 가장 잘 맞는 카메라 시점을 자동으로 배정하여, 불필요한 작업을 줄이고 속도를 높입니다.

---

🏆 UrbanGS 가 가져온 변화

이 기술을 적용한 결과, 다음과 같은 놀라운 변화가 일어났습니다:

1. 더 정확한 도시: 건물의 벽, 나무, 도로가 실제와 거의 똑같이 매끄럽고 정교하게 재현됩니다.
2. 더 빠른 작업: 기존에 며칠 걸리거나 메모리 부족으로 실패하던 작업이, 일반 그래픽카드 (RTX A5000) 로도 2 시간 10 분 만에 완료됩니다.
3. 더 적은 비용: 불필요한 데이터를 잘라내어 컴퓨터 메모리 사용량을 크게 줄였습니다.

📝 한 줄 요약

UrbanGS는 거대한 도시를 3D 로 재현할 때, "눈과 손으로 정확한 모양을 잡고, 불필요한 것은 잘라내며, 조각 puzzle 을 자연스럽게 이어붙이는" 지능적인 시스템을 만들어, 이전에는 불가능했던 고품질의 대규모 3D 도시 복원을 가능하게 했습니다.

기술 요약

1. 문제 제기 (Problem)

기존의 3D 가우스 스플래팅 (3DGS) 은 제한된 장면에서 고품질의 실시간 렌더링을 가능하게 하지만, 도시 규모의 대규모 장면으로 확장할 때 다음과 같은 치명적인 문제들이 발생합니다:

• 기하학적 불일치 및 부정확성: 단순한 3DGS 는 표면 재구성이 불완전하며, 특히 대규모 복잡한 장면에서 기하학적 일관성이 떨어집니다.
• 메모리 폭발 (Memory Explosion): 균일한 영역 (하늘, 먼 건물 외벽 등) 에서 과도한 가우스 원시 (primitives) 가 생성되어 메모리 사용량이 급증합니다.
• 파편화된 분할 전략의 한계: 기존 블록 단위 분할 (block-wise partitioning) 방식은 경계면에서 기하학적 불연속성을 유발하거나, 메모리 요구량을 줄이지 못하며, 훈련 효율성을 저하시킵니다.
• 파라미터 업데이트의 불완전성: 기존 방법들은 렌더된 법선 (normal) 지도만을 감시하여 회전 파라미터는 업데이트하지만, 위치 (position) 파라미터 업데이트에는 한계가 있어 정확한 표면 재구성이 어렵습니다.

2. 방법론 (Methodology)

UrbanGS 는 세 가지 핵심 기술을 통해 위 문제들을 해결합니다.

A. 깊이 일관성 D-Normal 정규화 (Depth-Consistent D-Normal Regularization)

• 기존 방식의 한계: 단순히 렌더된 법선 지도를 감시하는 것은 가우스의 위치 파라미터를 효과적으로 업데이트하지 못합니다.
• D-Normal 도출: 렌더된 깊이 지도의 공간 기울기 (spatial gradient) 를 사용하여 '깊이 - 법선 (D-Normal)'을 유도합니다. 이는 카메라 좌표계에서 레이와 타원체의 교차점을 기반으로 계산됩니다.
• 이중 감시 메커니즘:
  1. D-Normal 정규화: 유도된 D-Normal 을 사전 학습된 모노큘러 법선 추정기 (pseudo-normal) 와 비교하여 법선과 깊이의 관계를 제약합니다.
  2. 역깊이 일관성 (Inverse Depth Consistency): DepthAnything-v2 와 같은 모노큘러 깊이 추정기를 통해 얻은 '의사 깊이 (Pseudo Depth)'로 렌더된 깊이 지도를 직접 감시합니다.
• 적응형 신뢰도 가중치: 깊이 오류가 큰 영역 (예: 먼 거리, 복잡한 구조) 의 영향을 줄이기 위해, 깊이 기울기 유사도와 역깊이 편차를 기반으로 한 적응형 신뢰도 가중치 ($w_d$) 를 도입하여 다중 뷰 정렬을 강화합니다.
• 효과: 이를 통해 가우스의 회전과 위치 파라미터 모두를 종합적으로 업데이트하여 정확한 표면 재구성을 가능하게 합니다.

B. 공간 적응형 가우스 가지치기 (Spatially Adaptive Gaussian Pruning, SAGP)

• 동적 가지치기: 전역적인 임계값이나 고정된 메트릭 대신, 로컬 볼륨 셀 (voxel cell) 내에서 가우스의 중요도를 평가합니다.
• 중요도 점수 ($S_i$): 다음 세 가지 요소를 곱하여 계산합니다.
  1. 레이 교차 빈도 (Ray-intersection frequency): 훈련 중 샘플링된 레이와의 교차 횟수.
  2. 시각적 불투명도 (Opacity): 학습 가능한 불투명도 파라미터.
  3. 부피 가중치 (Volume weight): 셀 내 기하학적 복잡도와 아웃라이어 영향을 고려한 서브-선형 변환 (sub-linear transform) 가중치.
• 효과: 균일하거나 먼 영역의 불필요한 가우스를 제거하면서도, 전경의 미세한 구조와 기하학적으로 중요한 구조는 보존하여 메모리 사용량을 획기적으로 줄입니다.

C. 통합 분할 및 뷰 할당 전략 (Unified Partitioning and View Assignment)

• 경계 아티팩트 제거: 분할된 블록 간의 경계에서 가우스 원시를 공유 (duplication) 하여 기하학적 불연속성과 융합 아티팩트를 방지합니다.
• 효율적 뷰 할당: 기하학적 근접성 (카메라 위치가 블록 내부에 있는지) 과 지각적 기여도 (SSIM 기반) 를 결합하여 각 카메라 뷰를 가장 적합한 블록에 할당합니다. 이는 불필요한 뷰 처리를 제거하고 병렬 훈련 효율을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. Depth-Consistent D-Normal Regularizer: 렌더된 법선만 감시하는 기존 방법의 한계를 극복하고, 깊이와 법선의 결합을 통해 가우스의 위치 및 회전 파라미터를 모두 최적화하는 새로운 정규화 기법을 제안했습니다.
2. 적응형 신뢰도 가중치: 깊이 예측의 불확실성을 억제하고 다중 뷰 기하학적 정렬을 강화하는 새로운 가중치 메커니즘을 도입했습니다.
3. SAGP 알고리즘: 도시 규모의 3DGS 에서 발생하는 가우스 중복과 메모리 폭발 문제를 해결하기 위해, 로컬 기하학적 복잡도를 인지하는 공간 적응형 가지치기 알고리즘을 개발했습니다.
4. 성능 입증: 대규모 도시 데이터셋 (Mill-19, UrbanScene3D, GauU-Scene) 에서 기존 최첨단 방법들 (CityGS, VCR-GauS, CityGS-v2 등) 보다 렌더링 품질, 기하학적 정확도, 메모리 효율성, 훈련 속도 모든 면에서 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 신규 뷰 합성 (Novel View Synthesis): Mill-19 및 UrbanScene3D 데이터셋에서 PSNR, SSIM, LPIPS 지표에서 기존 방법 (CityGS, CityGS-v2 등) 보다 우월한 성능을 기록했습니다. 특히 건물 및 주거 지역 장면에서 선명한 디테일을 유지했습니다.
• 표면 재구성 (Surface Reconstruction): GauU-Scene 데이터셋에서 메쉬 추출 시 F1 점수, 정밀도 (Precision), 재현율 (Recall) 에서 가장 높은 성능을 보였습니다. 기존 방법들이 실패하거나 (FAIL) NaN 값을 반환한 경우에도 UrbanGS 는 안정적인 메쉬를 생성했습니다.
• 효율성:
  • 메모리: VCR-GauS 등이 GPU 메모리 부족 (OOM) 으로 실패한 대규모 장면에서도 UrbanGS 는 NVIDIA RTX A5000 GPU 에서 성공적으로 훈련되었습니다.
  • 훈련 시간: 'Rubble' 데이터셋에서 약 2 시간 10 분 만에 훈련을 완료하여, 기존 NeRF 기반 방법 (19~24 시간) 에 비해 압도적으로 빠르고, 다른 3DGS 기반 방법들보다도 효율적이었습니다.
  • 모델 크기: SAGP 를 통해 가우스 개수를 줄이면서도 (약 20~30% 감소) 품질 저하 없이 모델 크기를 최적화했습니다.

5. 의의 및 결론 (Significance)

UrbanGS 는 대규모 도시 환경의 3D 재구성을 위한 통합적이고 확장 가능한 솔루션을 제시합니다.

• 기하학적 정밀도: 깊이와 법선의 상호 의존성을 활용한 새로운 정규화 기법은 3DGS 의 가장 큰 약점인 기하학적 부정확성을 해결했습니다.
• 실용성: 메모리 효율성과 빠른 훈련 속도를 통해 실제 도시 규모의 3D 디지털 트윈, 자율 주행, AR/VR 응용 분야에 적용 가능한 기술적 토대를 마련했습니다.
• 확장성: 병렬 처리와 적응형 가지치기를 통해 수천 개의 이미지를 포함하는 초대규모 장면도 효율적으로 처리할 수 있음을 입증했습니다.

결론적으로, UrbanGS 는 3D 가우스 스플래팅을 소규모 장면에서 대규모 도시 환경으로 확장하는 데 있어 필수적인 기술적 장벽을 극복한 획기적인 연구로 평가됩니다.