The Role and Relationship of Initialization and Densification in 3D Gaussian Splatting

이 논문은 3D 가우스 스플래팅 (3DGS) 에서 초기화 방법과 밀집화 (densification) 전략 간의 관계를 체계적으로 분석하기 위한 새로운 벤치마크를 제안하고, 기존 밀집화 기법이 밀집 초기화 데이터의 잠재력을 충분히 활용하지 못해 희소 SfM 기반 초기화보다 크게 개선되지 못함을 보여줍니다.

핵심

🌟 핵심 비유: "레고로 성을 짓는 과정"

3DGS 는 사진을 보고 3D 장면을 만드는 기술입니다. 이 기술은 수많은 작은 **3D 구슬 (가우시안)**들을 흩뿌려서 장면을 표현합니다.

1. 초기화 (Initialization):

   • 상황: 레고 조립을 시작할 때, 처음에 바닥에 몇 개의 레고 블록을 놓는 단계입니다.
   • 기존 방식: 보통 'SfM'이라는 기술로 찍은 사진에서 아주 **적은 수의 점 (희박한 레고)**만 찾습니다.
   • 이 연구의 질문: "처음에 정교한 레이저 스캐너로 찍은 수많은 정밀한 레고를 바닥에 깔아주면, 나중에 더 잘 만들 수 있을까?"

2. 밀도 증가 (Densification):

   • 상황: 처음에 놓은 레고만으로는 성이 빈약합니다. 그래서 빈 공간에 새로운 레고를 추가하거나 (밀도 증가), 잘못된 레고를 치우는 (가지치기) 과정입니다.
   • 연구의 발견: "처음에 정밀한 레고를 많이 깔아주면, 나중에 레고를 추가하는 과정 (밀도 증가) 이 필요 없어질까?"

---

🔍 이 논문이 밝혀낸 놀라운 사실들

연구진들은 레이저 스캐너로 찍은 정밀한 데이터 (초기화) 와 다양한 밀도 증가 기술을 조합해 실험해 봤습니다. 결과는 다음과 같습니다.

1. "처음에 완벽하게 시작해도, 나중에 다듬는 과정이 필수입니다!"

• 비유: 처음에 레고를 아주 정밀하게 깔아놨다고 해서, 나중에 성을 다듬는 과정 (밀도 증가) 을 생략할 수 있는 것은 아닙니다.
• 사실: 아무리 좋은 초기 데이터 (레이저 스캔) 를 사용해도, 밀도 증가 기술이 없으면 장면이 흐릿하거나 구멍이 생깁니다. 반대로, 최신 밀도 증가 기술을 사용하면, 처음에 아주 투박한 데이터 (SfM) 를 사용해도 최종 결과물이 매우 훌륭해집니다.

2. "너무 정밀한 초기 데이터는 오히려 방해가 될 수도 있어요!"

• 비유: 처음에 레고를 너무 빽빽하고 균일하게 깔아놨더니, 나중에 레고를 추가하거나 치우는 '정원사 (알고리즘)'가 혼란을 겪어서 성이 망가진 경우가 있었습니다.
• 사실: 레이저 스캔 데이터는 너무 균일해서, 특정 부분 (예: 유리창 뒤) 에는 데이터가 아예 없는 경우가 있습니다. 이런 경우, 기존 알고리즘이 그 빈 공간을 채우지 못해 오히려 화질이 떨어지기도 했습니다.

3. "가장 중요한 것은 '잘 다듬는 기술' (밀도 증가) 입니다."

• 비유: 레고 조립에서 가장 중요한 건 처음에 무엇을 깔았느냐보다, 중간에 어떻게 잘 다듬고 추가하느냐입니다.
• 사실: 연구진은 **"초기 데이터의 정확도보다, 밀도 증가 전략이 더 중요하다"**는 결론을 내렸습니다. 최신 밀도 증가 기술 (MCMC, IDHFR 등) 을 쓰면, 초기 데이터가 조금 부정확해도 (SfM 사용) 최종 결과물은 거의 비슷하게 나옵니다.

4. "일반화 (Generalization) 에는 도움이 됩니다."

• 비유: 처음에 레고를 조금 더 넓게 깔아주면, 우리가 처음에 보지 못했던 새로운 각도에서 성을 봐도 그 모양이 더 잘 유지됩니다.
• 사실: 초기 데이터를 좋게 만들면, 훈련에 쓰지 않은 **새로운 시점 (Novel View)**에서 장면을 볼 때 더 잘 보입니다. 하지만 그 효과는 생각보다 크지 않았습니다.

---

💡 이 연구가 우리에게 주는 교훈 (요약)

1. 초기 데이터에 너무 집착하지 마세요: 고가의 레이저 스캐너나 복잡한 초기화 기술에 모든 에너지를 쏟기보다, 어떤 데이터를 주든 잘 다듬어주는 '밀도 증가 알고리즘'을 개발하는 것이 더 중요합니다.
2. 맞춤형 전략이 필요합니다: "어떤 초기화 방식이든 똑같이 잘 작동하는 만능 알고리즘"은 없습니다. 초기 데이터의 종류 (레이저, 스테레오, 단안 깊이 등) 에 따라 맞춤형으로 다듬는 전략을 짜야 합니다.
3. 실용성: 우리가 일상에서 쓰는 카메라 (스마트폰 등) 로 찍은 사진만으로도, 좋은 초기화 기술 (단안 깊이 추정 등) 을 쓰면 레이저 스캐너 못지않은 3D 장면을 만들 수 있습니다.

🎯 한 줄 요약

"3D 장면을 만들 때, 처음에 완벽한 '씨앗 (초기화)'을 심는 것보다, 그 씨앗이 잘 자라도록 '물과 비료 (밀도 증가)'를 잘 주는 기술이 훨씬 더 중요합니다."

기술 요약

1. 문제 정의 (Problem)

3DGS 는 이미지로부터 사실적인 3D 장면을 재구성하는 데 있어 가장 효율적이고 정확한 방법 중 하나로 자리 잡았습니다. 그러나 3DGS 는 일반적으로 **Structure-from-Motion (SfM)**을 통해 얻은 **희소 (Sparse) 한 점 구름 (Point Cloud)**을 초기 가우스 위치로 사용합니다.

• 현재의 한계: 희소 초기화만으로는 장면의 모든 영역을 충분히 표현할 수 없기 때문에, 훈련 과정에서 밀도 증가 (Densification) 단계를 필수적으로 거칩니다. 이 단계는 가우스를 분할하거나 복제하여 장면의 밀도를 높입니다.
• 연구 질문: 기존 연구들은 초기화 (예: 스테레오 매칭, 단안 깊이 추정, 레이저 스캔 등) 와 밀도 증가를 각각 독립적으로 연구해 왔습니다. 하지만 "더 정확하고 밀집된 (Dense) 초기화를 사용하면 밀도 증가 단계가 불필요해지거나 그 가치가 사라지는가?" 혹은 **"어떤 초기화 전략이 어떤 밀도 증가 전략과 가장 잘 결합되는가?"**에 대한 체계적인 분석은 부족했습니다.

2. 방법론 (Methodology)

저자들은 초기화 전략과 밀도 증가 전략의 조합을 평가하기 위해 새로운 벤치마크를 구축하고 다양한 실험을 수행했습니다.

2.1 초기화 전략 (Initialization Strategies)

다음과 같은 네 가지 유형의 초기화 데이터를 비교 분석했습니다:

1. 희소 SfM 점 구름: 3DGS 의 표준 초기화 방식.
2. 고정밀 레이저 스캔 (Laser Scans): ScanNet++ 및 ETH3D 데이터셋의 고정밀 지상 truth(GT) 데이터.
3. 밀집 스테레오 매칭 (Dense Stereo): EDGS (Dense Feature Matching) 를 활용한 초기화.
4. 단안 깊이 추정 (Monocular Depth): Metric3Dv2 등을 활용한 깊이 기반 초기화.

2.2 밀도 증가 전략 (Densification Strategies)

세 가지 주요 밀도 증가 알고리즘을 평가 대상으로 선정했습니다:

1. AbsGS: 기존 3DGS 의 Adaptive Density Control (ADC) 을 개선하여 경량 충돌 (Gradient Collision) 문제를 해결한 방법.
2. 3DGS-MCMC: 마르코프 체인 몬테 카를로 (MCMC) 프레임워크를 도입하여 확률적 노이즈를 추가하고 탐색을 강화하는 방법.
3. IDHFR: 에지 인식 점수 (Edge Aware Score) 를 기반으로 가우스 분할을 수행하고, opacity 정규화 등을 통해 일반화 성능을 높이는 최신 방법.

2.3 실험 설정

• 공정한 비교: 모든 실험은 동일한 3DGS 구현체 (NerfBaselines, gsplat) 에서 수행되었으며, 최종 가우스 개수 ($G_{max}$) 를 장면별로 고정하여 모델 용량에 따른 편향을 제거했습니다.
• 데이터셋: ScanNet++, ETH3D, Mip-NeRF 360, Tanks & Temples 등 다양한 기하학적 조건과 뷰 포인트를 가진 데이터셋을 사용했습니다.
• 평가 지표: PSNR, SSIM, LPIPS 등 신시각 합성 (NVS) 품질 지표와 일반화 성능 (Off-trajectory views) 을 평가했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1 밀도 증가의 필요성

• 정밀한 초기화만으로는 부족함: 레이저 스캔과 같은 고정밀 초기화를 사용하더라도, 밀도 증가 단계를 생략하면 성능이 떨어지거나 최적화되지 않는 경우가 많았습니다. 즉, 밀도 증가 단계는 초기화 품질과 무관하게 여전히 필수적입니다.
• 초기화 품질의 역설: 일부 밀도 증가 전략 (특히 MCMC 와 IDHFR) 의 경우, 레이저 스캔과 같은 고정밀 초기화를 사용하면 오히려 성능이 저하되는 현상이 관찰되었습니다. 이는 레이저 스캔 데이터가 균일한 밀도를 가지지만, 3DGS 의 초기 스케일 계산 방식 (이웃 점 거리 기반) 과 밀도 증가 로직이 조화되지 않아 불필요하게 작은 가우스가 생성되거나, 반사 표면 등 SfM 이 포착하지 못한 영역의 결손이 발생하기 때문입니다.

3.2 밀도 증가 전략의 민감도

• 초기화 불변성 (Initialization Invariance): MCMC와 IDHFR와 같은 최신 밀도 증가 전략은 초기 가우스의 밀도 분포나 정확도에 매우 둔감 (Robust) 했습니다. 이들은 초기화 방식에 관계없이 일관된 성능을 발휘했습니다.
• AbsGS 의 특성: AbsGS 는 고정밀 초기화 (레이저 스캔) 에서는 성능 향상을 보였으나, 다른 전략들에 비해 초기화 의존성이 더 높았습니다.

3.3 일반화 성능 (Generalization)

• 일반화 향상: 희소 SfM 초기화만 사용했을 때보다, 스테레오 매칭이나 단안 깊이 추정과 같은 밀집 초기화 (Dense Initialization) 를 사용하면 훈련 데이터에 없는 뷰 (Off-trajectory views) 에 대한 일반화 성능이 향상되었습니다.
• 한계: 그러나 이러한 일반화 향상은 밀도 증가 전략이 충분히 강력할 때만 의미가 있으며, 고정밀 레이저 스캔을 사용하는 것이 반드시 더 나은 결과를 보장하지는 않았습니다.

4. 결론 및 시사점 (Conclusion & Significance)

4.1 주요 결론

1. 초기화는 병목이 아님: 현재 3DGS 의 성능 병목은 초기화 (초기 점 구름의 품질) 가 아니라 밀도 증가 전략에 있습니다.
2. 최적의 조합 부재: 모든 시나리오에서 가장 좋은 성능을 내는 단일 밀도 증가 전략은 존재하지 않습니다.
3. 실용적 권장사항:
   • 강건한 밀도 증가 전략 우선: 고정밀 초기화 장비를 구비하거나 복잡한 초기화 파이프라인을 구축하는 것보다, 초기화 품질에 덜 민감한 강력한 밀도 증가 전략 (예: MCMC, IDHFR) 을 사용하는 것이 더 효율적입니다.
   • 초기화 - 밀도 증가 맞춤화: 향후 연구는 초기화나 밀도 증가를 독립적으로 개선하는 것이 아니라, 특정 초기화 전략에 최적화된 밀도 증가 전략을 개발하는 방향으로 나아가야 합니다. (예: 불필요한 가우스를 병합하여 용량을 확보하는 로직 등)

4.2 의의

이 논문은 3DGS 커뮤니티에 체계적인 벤치마크를 제공하며, 초기화와 밀도 증가 간의 복잡한 상호작용을 명확히 했습니다. 이를 통해 연구자들은 불필요한 고정밀 데이터 수집 비용 없이도, 적절한 밀도 증가 알고리즘 선택을 통해 높은 재구성 품질과 일반화 성능을 달성할 수 있음을 시사합니다. 또한, 저자들은 모든 평가 코드와 데이터를 오픈소스로 공개하여 재현성을 보장했습니다.