3DGS$^2$-TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

기술 요약: 3DGS2-TR

문제 정의
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)이 실시간 신규 뷰 합성(novel view synthesis)을 위한 최첨단 기술로 자리 잡았음에도 불구하고, 학습 과정은 여전히 중요한 병목 구간으로 남아 있습니다. 표준 3DGS는 1차 ADAM 옵티마이저에 의존하는데, 이는 3DGS의 특성인 고도로 비볼록(non-convex)하고 조건이 나쁜(ill-conditioned) 파라미터 공간에서 종종 느린 수렴 문제를 겪습니다. 최적화 지형은 기하학적 구조(위치, 회전, 스케일)와 외관(불투명도, 색상) 파라미터 사이의 강력한 결합, 그리고 깊이 기반 정렬로 인한 래스터화 과정의 비선형성 및 조각별 연속성(piecewise continuity) 때문에 특히 까다롭습니다.

기존의 2차 최적화 방식(예: 3DGS-LM, 3DGS2)은 곡률 정보를 활용하여 수렴을 가속화하려고 시도하지만, 심각한 확장성 문제에 직면해 있습니다. 이들은 일반적으로 명시적 또는 조밀한 곡률 표현에 의존하며, 이는 높은 메모리 오버헤드($O(n^2)$ 또는 그 이상)와 값비싼 반복당 비용을 초래합니다. 이로 인해 대규모 장면이나 분산 학습 환경에는 적합하지 않습니다. 더욱이, 3DGS 손실 함수의 불연속성은 고전적인 2차 방법론이 요구하는 매끄러움 가정을 위반하여 종종 불안정성을 유발합니다.

방법론: 3DGS2-TR
저자들은 3차원 가우시안 스플래팅 학습을 가속화하면서도 1차 방법론의 계산 및 메모리 효율성을 유지하도록 설계된 확장 가능한 2차 신뢰 영역(trust-region) 옵티마이저인 3DGS2-TR을 제안합니다. 이 방법은 세 가지 핵심 원칙, 즉 저렴한 반복당 계산, 파라미터 선형 메모리 스케일링, 그리고 신뢰 영역 제약을 기반으로 구축되었습니다.

1. 대각 헤시안 근사 (Matrix-Free):
   전체 헤시안 행렬을 계산하는 대신, 3DGS2-TR은 가우스-뉴턴 행렬($J^T J$)의 대각 성분만을 사용하여 곡률을 근사합니다. 이는 무작위 라데마커(Rademacher) 벡터를 사용하여 헤시안-벡터 곱을 계산하는 **허친슨 방법(Hutchinson's method)**을 통해 효율적으로 추정됩니다. 이 접근 방식은 계산 및 메모리 복잡도를 ADAM의 복잡도와 일치하는 $O(n)$ 수준으로 유지합니다. 곡률 추정치를 안정화하기 위해, 이 방법은 매 단계가 아닌 주기적(예: 10회 반복마다)으로 업데이트되는 대각 추정치의 지수 이동 평균(EMA)을 사용합니다.

2. 제곱 헬링거 거리를 통한 파라미터별 신뢰 영역:
   3DGS 래스터화에 내재된 강력한 비선형성과 불연속성을 해결하기 위해, 저자들은 파라미터별 신뢰 영역 기술을 도입합니다. 글로벌 또는 그룹 단위의 제약과 달리, 이 방법은 각 개별 가우시안 파라미터의 업데이트 단계를 제한합니다.

   • 메트릭: 제약 조건은 업데이트 전후의 가우시안 분포 사이의 **제곱 헬링거 거리(squared Hellinger distance)**를 기반으로 합니다. 이 메트릭은 정규화되지 않은 가우시안에 대해 폐쇄형 해(closed-form solution)를 제공하며, 렌더링된 외관의 차이를 직관적으로 측정하기 때문에 선택되었습니다.
   • 정규화: 시야 거리에 따라 가우시안의 겉보기 질량이 임의로 변할 수 있다는 점을 고려하여, 헬링거 거리는 스케일 행렬의 행렬식($\det(S)^{-1}$)에 의해 정규화됩니다.
   • 메커니즘: 각 파라미터에 대해, 정규화된 제곱 헬링거 거리가 임계값 $\epsilon$ 미만으로 유지되도록 하는 신뢰 영역 반경 $\eta$를 계산합니다. 그 후 제안된 업데이트 단계는 이 반경에 맞춰 클리핑($\Delta x \cdot \text{clip}(-\eta, +\eta)$)되어, 업데이트가 가우시안의 기하학적 구조나 불투명도에 급격하고 유효하지 않은 변화를 일으키지 않도록 보장합니다.

3. 최적화 파이프라인:
   알고리즘은 확률적 가우스-뉴턴 정식화(stochastic Gauss-Newton formulation)를 따릅니다. 확률적 그래디언트와 대각 헤시안 추정치(허친슨 방법을 통해)를 계산하고, 2차 업데이트 단계($\Delta x = -\hat{D}^{-1} \hat{g}$)를 계산한 뒤, 파라미터별 신뢰 영역 클리핑을 적용하고 파라미터를 업데이트합니다. 헤시안 추정을 위한 주기적 샘플링 덕분에 이 방법은 (ADAM 대비) 약 10% 정도의 적은 오버헤드만을 요구합니다.

주요 기여

• 확장 가능한 2차 최적화: 본 논문은 계산 및 메모리 모두에서 $O(n)$ 복잡도를 달성하는 최초의 3DGS용 2차 옵티마이저를 제시하며, 이를 통해 매우 큰 장면과 잠재적인 분산 학습 환경으로의 확장을 가능하게 합니다.
• 대각 헤시안 추정: Sophia(Liu et al., 2023)의 경량 프레임워크를 3DGS에 적응시킴으로써, 과도한 전체 행렬 연산 비용 없이 손실 표면의 곡률을 고려하기 위한 대각 헤시안 추정치를 활용합니다.
• 헬링거 거리 신뢰 영역: 저자들은 제곱 헬링거 거리에 기반한 새로운 파라미터별 신뢰 영역 제약을 제안합니다. 이는 가우시안 프리미티브의 기하학적 변화를 제한하는 원칙적인 방법을 제공하며, 3DGS 래스터화의 비매끄러운 특성으로 인한 불안정성을 해결합니다.

결과
동일한 파라미터 초기화 조건에서 밀집화(densification) 전략을 사용하지 않고 수행했을 때, 3DGS2-TR은 표준 ADAM 옵티마이저에 비해 우수한 성능을 보여주었습니다:

• 수렴 속도: 표준 데이터셋에서 ADAM보다 50% 적은 학습 반복만으로 더 나은 재구성 품질을 달성했습니다.
• 메모리 효율성: 이 방법은 1GB 미만의 피크 GPU 메모리 오버헤드(ADAM 대비 약 17% 증가)를 발생시킵니다. 반면, 3DGS-LM과 같은 기존 2차 방법들은 약 85% 더 많은 메모리 오버헤드를 유발하여, 3DGS2-TR의 확장성 우위를 입증했습니다.

의의
본 논문은 3DGS2-TR이 2차 최적화 방법의 수렴 이점과 대규모 3D 콘텐츠 제작을 위한 확장성 요구 사항 사이의 간극을 메운다고 주장합니다. 조밀한 곡률 표현을 피하고 가우시안 스플래팅의 특정 불연속성에 맞춤화된 안정화 메커니즘을 도입함으로써, 이 방법은 재구성 품질이나 메모리 효율성을 희생하지 않으면서도 더 빠른 학습 시간을 가능하게 합니다. 이러한 진보는 3DGS 파이프라인의 주요 병목 현상을 해결하며, 가상 현실, 증강 현실, 로보틱스와 같이 빠른 장면 재구성이 필요한 응용 분야에서의 광범위한 채택을 촉진할 수 있습니다.