Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization

1. 문제 정의 (Problem Statement)

3D 가우시안 스플래팅 (3DGS) 은 실시간 고품질 렌더링을 가능하게 했지만, 기존 파이프라인은 매장면별 최적화 (per-scene optimization) 가 필요하여 계산 비용이 매우 높다는 단점이 있습니다. 이를 해결하기 위해 최근 피드포워드 (Feed-forward) 모델들이 등장하여 적은 수의 입력 뷰에서 3D 가우시안을 직접 예측하는 방식을 제시했습니다.

그러나 기존 피드포워드 방식은 다음과 같은 한계를 가집니다:

• 학습된 사전 지식 (Priors) 에 의존: 고주파수 세부 묘사 (high-frequency details) 를 재현하는 데 어려움을 겪어 흐릿하거나 과도하게 평활화된 결과가 나옵니다.
• 테스트 시간 최적화 (TTO) 의 실패: 희소 뷰 (sparse-view) 환경에서 예측된 가우시안을 기반으로 TTO 를 수행할 경우, 치명적인 과적합 (Catastrophic Overfitting) 이 발생합니다. 다중 뷰의 감독 신호가 부족하여 모델이 입력 뷰에 완벽하게 맞춰지지만, 기하학적 구조는 왜곡되거나 (floaters 생성) 새로운 뷰 합성 성능이 급격히 저하되는 문제가 발생합니다.

2. 제안 방법 (Methodology: Diff3R)

저자들은 피드포워드 예측과 테스트 시간 최적화를 명시적으로 연결하는 Diff3R 프레임워크를 제안합니다. 핵심은 네트워크가 최종 결과를 직접 예측하는 것이 아니라, TTO 를 위한 최적의 초기화 (Optimal Initialization) 를 예측하도록 학습시키는 것입니다.

가. 이중 최적화 프레임워크 (Bilevel Optimization)

• 내부 루프 (Inner Loop): 예측된 초기 가우시안 ($\Theta_0$) 을 기반으로 컨텍스트 뷰 (입력 뷰) 에 맞춰 짧은 시간 동안 최적화를 수행하여 최적화된 가우시안 ($\Theta^*$) 을 얻습니다.
• 외부 루프 (Outer Loop): 최적화된 가우시안 ($\Theta^*$) 으로 새로운 뷰를 렌더링하여 손실을 계산하고, 이를 통해 피드포워드 네트워크의 가중치를 업데이트합니다.
• 목표: 네트워크가 "최적화 후"의 품질을 극대화할 수 있는 초기값을 학습하도록 유도합니다.

나. 효율적인 미분 가능 최적화 (Efficient Differentiable Optimization)

내부 최적화 과정을 거치며 발생하는 메모리 과부하와 계산 비용을 해결하기 위해 다음 기법을 도입했습니다:

• 암시 함수 정리 (Implicit Function Theorem, IFT): 최적화 단계 (Inner Loop) 를 모두 풀어서 (unrolling) 미분하는 대신, 최적점에서의 조건을 미분하여 분석적 기울기 (Analytical Gradients) 를 계산합니다.
• 행렬 없는 PCG 솔버 (Matrix-free PCG Solver): 3DGS 의 파라미터 수가 수백만 개에 달해 헤시안 (Hessian) 행렬을 직접 계산하고 역행렬을 구하는 것은 불가능합니다. 대신 가우스 - 뉴턴 근사 (Gauss-Newton approximation) 를 사용하여 잔차의 자코비안 ($J$) 기반 선형 시스템을 구성하고, Preconditioned Conjugate Gradient (PCG) 알고리즘을 통해 효율적으로 해결합니다.

다. 불확실성 인식 최적화 (Uncertainty-aware Optimization)

희소 뷰 환경에서 과적합을 방지하기 위해 학습 가능한 불확실성 가중치 ($\Lambda$) 를 도입했습니다:

• 적응형 정규화: 네트워크는 각 가우시안 파라미터별로 정규화 가중치 (불확실성) 를 함께 예측합니다.
• 동적 제어:
  • 높은 신뢰도 (Low Uncertainty): 예측이 확실한 영역은 초기값 ($\Theta_0$) 에서 크게 벗어나지 않도록 강하게 고정 (Anchoring) 합니다.
  • 낮은 신뢰도 (High Uncertainty): 예측이 불확실한 영역은 최적화 과정에서 자유롭게 적응하도록 허용합니다.
• 학습 메커니즘: 외부 루프의 새로운 뷰 손실을 통해 불확실성 가중치 자체가 학습되며, 명시적인 불확실성 레이블 없이도 모델이 스스로 자신의 예측 신뢰도를 정량화합니다.

3. 주요 기여 (Key Contributions)

1. 피드포워드 3DGS 를 위한 새로운 이중 최적화 프레임워크: 테스트 시간 최적화 과정을 미분 가능하게 만들어, 네트워크가 최적화 친화적인 초기화를 학습하도록 합니다.
2. 메모리 효율적인 역전파 기법: 행렬 없는 PCG 솔버와 IFT 를 결합하여 대규모 3DGS 파라미터 공간에서도 효율적으로 기울기를 계산합니다.
3. 적응형 불확실성 모델링: 학습 가능한 정규화 가중치를 통해 희소 뷰 환경에서의 과적합을 방지하고, 사전 지식과 테스트 시간 관측치 사이의 균형을 맞춥니다.
4. 모델 독립성 (Model Agnostic): Pose-given (카메라 포즈 제공) 및 Pose-free (포즈 미제공) 환경 모두에 적용 가능하며, 기존 아키텍처 (DepthSplat, Depth Anything v3 등) 에 원활하게 통합됩니다.

4. 실험 결과 (Results)

RealEstate10K (RE10K) 와 ScanNet++ 데이터셋에서 기존 피드포워드 모델 (PixelSplat, MVSplat, DepthSplat, AnySplat 등) 과 비교 평가되었습니다.

• Pose-given 설정 (RE10K):
  • 기존 DepthSplat 은 TTO 후 PSNR 이 0.03 dB 만 향상된 반면, Diff3R 은 0.27 dB 향상을 기록했습니다.
  • 최종 PSNR, SSIM, LPIPS 모든 지표에서 최상의 성능을 보였습니다.
• Pose-free 설정 (RE10K & ScanNet++):
  • RE10K 에서 Depth Anything v3(DA3) 대비 0.76 dB의 더 큰 성능 향상을 보였습니다.
  • AnySplat 은 TTO 후 과적합으로 성능이 저하되었으나, Diff3R 은 과적합 없이 선명한 디테일을 유지하며 성능을 극대화했습니다.
  • ScanNet++ (DSLR 및 iPhone) 에서도 모든 메트릭에서 기존 방법들을 압도했습니다.
• Qualitative Results:
  • 입력 뷰의 노출 노이즈나 조명 변화에 강인하며, 과적합으로 인한 아티팩트 (floaters 등) 가 현저히 줄어든 선명한 렌더링 결과를 생성합니다.

5. 의의 및 결론 (Significance)

Diff3R 은 피드포워드의 속도와 전체 최적화의 고품질이라는 상충되는 두 가지 장점을 성공적으로 결합했습니다.

• 기술적 혁신: 3DGS 최적화 과정을 미분 가능하게 만드는 것은 계산적으로 매우 어려웠으나, IFT 와 PCG 를 활용한 효율적인 해법으로 이를 실현했습니다.
• 실용성: 희소 뷰 (Sparse-view) 환경에서 발생하는 과적합 문제를 불확실성 기반의 적응형 정규화로 해결하여, 실제 응용 (예: 3DGS SLAM, 실시간 3D 재구성) 에 훨씬 더 견고한 모델을 제공합니다.
• 미래 전망: 이 프레임워크는 3DGS 를 실시간으로 정제 (Refine) 하거나, 동적 4D 장면 및 일시적 객체 처리로 확장하는 연구의 토대가 될 수 있습니다.

요약하자면, Diff3R 은 단순히 3D 가우시안을 예측하는 것을 넘어, "어떻게 최적화될지 고려하여 예측하는" 지능적인 초기화 전략을 통해 차세대 3D 재구성 기술의 새로운 기준을 제시합니다.