Proxy-GS: Unified Occlusion Priors for Training and Inference in Structured 3D Gaussian Splatting

이 논문은 1ms 이내의 고속 프록시 시스템을 통해 모든 시점의 가시성을 인식하여 3D 가우스 스플래팅의 불필요한 원시들을 제거하고 학습 중 밀집화를 유도함으로써, 대규모 장면에서 렌더링 속도를 획기적으로 개선하면서도 MLP 기반 모델의 고품질 렌더링 성능을 유지하는 'Proxy-GS'를 제안합니다.

핵심

🏗️ Proxy-GS: 3D 세상을 더 빠르고 똑똑하게 그리는 '가이드'의 등장

이 논문은 **'Proxy-GS'**라는 새로운 기술을 소개합니다. 이 기술은 가상 현실 (VR) 이나 증강 현실 (AR) 에서 3D 장면을 매우 빠르고 선명하게 보여주는 데 도움을 줍니다.

기존의 3D 기술이 가진 **'불필요한 노력'**을 해결하고, **'가이드'**를 통해 더 효율적으로 만드는 방법을 설명해 드릴게요.

---

1. 문제: "보이지 않는 곳까지 열심히 그림" 🙈

가상 현실에서 3D 장면을 만들 때, 컴퓨터는 수많은 '작은 점들 (가우스 입자)'을 쏘아대어 화면을 채웁니다.
하지만 기존 기술들은 눈에 보이지 않는 곳 (벽 뒤에 가려진 곳, 구석진 곳) 에도 똑같이 열심히 그림을 그립니다.

• 비유: 마치 어두운 방에서 벽 뒤에 있는 사물을 그려보려고 노력하는 화가 같아요.
  • 화가는 벽 뒤에 무엇이 있는지 알 수 없어서, 벽을 뚫고 그 뒤까지 그림을 그립니다.
  • 하지만 실제로는 벽이 가리고 있어서 그 그림은 절대 보일 수 없습니다.
  • 결과: 컴퓨터는 쓸데없는 작업을 엄청나게 많이 해서 속도가 느려지고, 화질도 엉망이 될 수 있습니다.

2. 해결책: "가상의 가이드 (Proxy) 를 고용하다" 🗺️

이 논문은 **'Proxy (가이드/대리)'**라는 가벼운 3D 모델을 먼저 만들어서 문제를 해결합니다.

• 가이드의 역할:
  • 이 가이드는 매우 단순하고 가벼운 3D 지도입니다. (예: 건물의 윤곽만 대충 그린 스케치)
  • 이 지도는 1 초의 1000 분의 1 (1ms) 만에 "지금 보이는 것은 무엇이고, 가려진 것은 무엇인가?"를 정확히 알려줍니다.
  • 마치 현장 감독이 "저기 벽 뒤에 있는 건 다 무시해! 여기만 그려!"라고 지시하는 것과 같습니다.

3. 두 가지 마법 같은 기능 🪄

이 가이드는 훈련 (학습) 과 실제 보기 (추론) 두 단계에서 모두 활약합니다.

① 훈련 중: "올바른 곳에 점 찍기" 📍

• 기존 방식: 무작위로 점들을 뿌리다가, 가려진 곳에 불필요한 점들이 생겨서 혼란을 줍니다.
• Proxy-GS: 가이드 지도를 보고 **"여기는 벽 뒤에 있으니 점 찍지 마!"**라고 알려줍니다.
• 효과: 점들이 실제 보이는 표면에만 정확하게 모여들게 되어, 화질이 더 선명해집니다.

② 실제 보기 중: "불필요한 작업 삭제" 🗑️

• 기존 방식: 화면에 보이는 것뿐만 아니라, 가려진 것까지 모두 계산해서 렌더링합니다.
• Proxy-GS: 가이드 지도를 보고 **"이건 가려졌으니 계산할 필요 없어!"**라고 바로 잘라냅니다 (Culling).
• 효과: 컴퓨터가 해야 할 일이 2.5 배에서 3 배까지 줄어듭니다.

4. 실제 성과: "더 빠르고, 더 예쁘게" 🚀

이 기술을 적용한 결과, 기존 최고의 기술 (Octree-GS) 과 비교했을 때 다음과 같은 놀라운 변화를 보였습니다.

• 속도: 약 3 배 더 빠릅니다. (예: 초당 32 프레임 → 150 프레임)
  • 비유: 더미한 카드를 한 장씩 넘기던 것이, 한 번에 여러 장을 넘기는 속도로 빨라진 것입니다.
• 화질: 가려진 부분에서 발생하는 오류가 줄어들어 이미지가 더 선명하고 자연스럽습니다.
• 적용: 복잡한 도시 거리나 실내처럼 가려진 부분이 많은 곳에서 특히 효과가 뛰어납니다.

5. 요약: 왜 이것이 중요한가요? 🌟

지금까지 고화질 3D 장면을 보려면 무거운 그래픽 카드나 많은 시간이 필요했습니다. 하지만 Proxy-GS는 다음과 같은 혁신을 가져옵니다.

"무거운 작업을 미리 가볍게 정리하는 '스마트한 가이드'를 도입해서, 일반인도 쓰는 게임용 그래픽 카드 (RTX 4090 등) 로도 초고속, 고화질의 3D 세상을 즐길 수 있게 만들었습니다."

이 기술은 앞으로 가상 여행, 메타버스, AR 게임 등에서 훨씬 더 매끄럽고 현실적인 경험을 가능하게 해줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 3D 가우스 스플래팅 (3DGS) 은 실시간 렌더링 속도와 시각적 품질을 동시에 달성하여 AR/VR 분야에서 혁신을 일으켰습니다. 최근 MLP(다층 퍼셉트론) 기반의 구조화된 3DGS 변형 (예: Scaffold-GS, Octree-GS) 은 더 높은 시각적 충실도를 제공하지만, 렌더링 시 MLP 디코딩 오버헤드가 발생합니다.
• 핵심 한계:
  1. 과도한 중복성 (Redundancy): 기존 방법들은 훈련 뷰에 맞춰 가우스를 최적화하지만, 실제 장면의 기하학적 구조나 **가림 (Occlusion)**을 고려하지 않습니다. 이로 인해 카메라 뒤나 다른 물체 뒤에 가려진 영역에 불필요한 가우스와 앵커 (Anchor) 가 생성되어 계산 자원을 낭비합니다.
  2. LOD 기법의 부족: 기존 LOD(Level-of-Detail) 기법은 주로 원거리 장면을 단순화하는 데 초점을 맞추었으며, 복잡한 가림이 있는 대규모 도시나 실내 환경에서는 효과적이지 않습니다.
  3. 하드웨어 비효율성: 소비자용 GPU 는 전용 래스터화 하드웨어를 갖추고 있음에도 불구하고, 기존 3DGS 파이프라인은 이를 충분히 활용하지 못해 불필요한 CPU-GPU 왕복 오버헤드가 발생합니다.

2. 제안 방법론 (Methodology: Proxy-GS)

저자들은 Proxy-GS를 제안하며, 이는 경량화된 프록시 (Proxy) 메쉬를 활용하여 훈련 및 추론 단계 모두에서 가림 (Occlusion) 정보를 통합하는 프레임워크입니다.

A. 경량 프록시 시스템 (Lightweight Proxy System)

• 구성: COLMAP 이나 대규모 재구성 모델 (MapAnything 등) 을 사용하여 생성된 밀집 포인트 클라우드를 기반으로 거친 메쉬 (Mesh) 를 생성합니다.
• 하드웨어 래스터화 활용: 이 메쉬를 GPU 의 고정 기능 (Fixed-function) 래스터화 파이프라인을 통해 렌더링하여 1ms 미만의 시간 내에 1000x1000 해상도의 정밀한 깊이 맵 (Depth Map) 을 생성합니다.
• 장점: 기존 surfel 렌더링이나 신경망 기반 깊이 추정보다 훨씬 빠르며, CUDA 커널 내에서 직접 깊이 맵을 활용하여 CPU-GPU 왕복을 제거합니다.

B. 프록시 유도 가림 제거 (Proxy-Guided Culling)

• 원리: 렌더링 시, 하드웨어 래스터화로 생성된 깊이 맵을 사용하여 카메라 뷰에서 가려진 (Occluded) 앵커와 가우스를 실시간으로 제거합니다.
• 프로세스:
  1. 앵커의 3D 좌표를 NDC(Normalized Device Coordinates) 로 변환합니다.
  2. 해당 픽셀의 하드웨어 깊이 값을 가져와 선형 카메라 공간 깊이로 변환합니다.
  3. 앵커의 깊이가 프록시 메쉬의 깊이보다 뒤쪽에 있으면 해당 앵커를 폐기 (Cull) 합니다.
• 효과: 불필요한 MLP 디코딩과 가우스 래스터화를 사전에 차단하여 렌더링 속도를 획기적으로 향상시킵니다.

C. 프록시 유도 밀도 증가 (Proxy-Guided Densification)

• 문제: 기존 3DGS 의 밀도 증가 (Densification) 전략은 그라디언트가 큰 영역에 새로운 가우스를 생성하지만, 이는 종종 가려진 영역 (메쉬 뒤쪽) 에 불필요한 가우스를 생성하게 합니다.
• 해결책:
  • 훈련 중 프록시 깊이 맵을 활용하여 렌더링 오차가 큰 패치 (Patch) 를 식별합니다.
  • 해당 패치의 픽셀을 3D 공간으로 역투영 (Back-projection) 하여 프록시 메쉬 표면에 새로운 앵커를 배치합니다.
  • 이를 통해 앵커가 기하학적으로 의미 있는 표면 근처에만 성장하도록 유도하여, 훈련 중 일관성을 높이고 불필요한 중복을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 가림 인식 훈련 및 추론 파이프라인: 프록시 메쉬의 구조적 사전 지식 (Structural Priors) 을 통합하여, MLP 기반 3DGS 가 가림을 인식하고 더 높은 품질의 렌더링을 달성하도록 설계했습니다.
2. 압도적인 속도 향상: 가림이 많은 장면 (Occlusion-rich scenes) 에서 기존 LOD 기반 방법 (Octree-GS) 대비 2.5 배 ~ 3 배 이상의 FPS 향상을 달성하면서도 렌더링 품질을 동시에 개선했습니다.
3. 하드웨어 최적화: 하드웨어 래스터화를 활용하여 1000x1000 해상도의 깊이 맵을 1ms 미만에 생성하는 기술을 개발하여, 실시간 가림 제거를 가능하게 했습니다.

4. 실험 결과 (Results)

• 데이터셋: MatrixCity(대규모 도시), Small City, ZipNeRF(실내), CUHK-LOWER(항공) 등 다양한 환경에서 평가되었습니다.
• 정량적 성능 (Quantitative):
  • MatrixCity (Block 5): Octree-GS 대비 FPS 48 → 151 (약 3.1 배 증가), PSNR 은 21.41 → 21.68로 향상됨.
  • Small City: Octree-GS 대비 FPS 51 → 139 (약 2.73 배 증가), PSNR 및 SSIM 등 모든 지표에서 우세한 성능 기록.
  • 일반화: 항공 뷰나 실내 환경처럼 가림이 적은 환경에서도 기존 방법들과 경쟁력 있거나 우수한 성능을 보임.
• 정성적 성능 (Qualitative): 건물 창문, 횡단보도 패턴 등 미세한 디테일이 더 선명하게 복원되며, 가려진 영역의 아티팩트가 감소함.
• Ablation Study:
  • 훈련 시 프록시 유도 밀도 증가를 적용하지 않으면 FPS 는 높지만 품질이 떨어짐.
  • 훈련과 추론 모두에 프록시를 적용할 때 (ID 4) 최적의 균형 (높은 품질 + 높은 FPS) 을 달성함.
  • 프록시 메쉬의 해상도를 낮추거나 노이즈를 추가해도 (5% 이내) 렌더링 품질에 미치는 영향이 미미하여 방법론의 견고성 (Robustness) 입증.

5. 의의 및 결론 (Significance)

• MLP 기반 3DGS 의 실용성 제고: MLP 기반 방법론이 가진 계산 비용 문제를 해결하여, 대규모 VR/AR 애플리케이션에 실제로 배포 가능한 수준으로 가속화했습니다.
• 하드웨어 친화적 설계: 소비자용 GPU 의 래스터화 하드웨어를 적극 활용함으로써, 소프트웨어적 최적화만으로는 달성하기 어려운 효율성을 실현했습니다.
• 차세대 3D 표현: 단순한 가우스의 집합을 넘어, 기하학적 구조 (프록시) 와 가우스를 결합하여 가림을 고려한 더 지능적이고 효율적인 3D 장면 표현의 새로운 기준 (SOTA) 을 제시했습니다.

요약하자면, Proxy-GS는 "가림 (Occlusion)"이라는 핵심 문제를 해결하기 위해 경량 프록시 메쉬를 도입하여, 훈련 단계에서는 불필요한 가우스 생성을 막고, 추론 단계에서는 가려진 가우스를 실시간으로 제거함으로써 속도와 품질을 동시에 극대화한 혁신적인 3D Gaussian Splatting 프레임워크입니다.