SplatSuRe: Selective Super-Resolution for Multi-view Consistent 3D Gaussian Splatting

1. 문제 정의 (Problem Statement)

**3D 가우시안 스플래팅 (3DGS)**은 실시간 고품질 신뷰 합성 (Novel View Synthesis) 을 가능하게 하는 획기적인 기술이지만, 학습에 사용된 이미지의 해상도에 성능이 크게 의존합니다.

• 저해상도 (LR) 입력의 한계: LR 이미지로 학습된 3DGS 모델은 고해상도 (HR) 렌더링 시 고주파수 신호가 부족하여 텍스처가 흐릿해지고, 표면이 과도하게 평활화되며, 아일리어싱 (aliasing) 아티팩트가 발생합니다.
• 기존 SR 접근법의 문제점: 이를 해결하기 위해 학습 전 각 이미지를 개별적으로 초해상도 (SR) 처리하는 방식은 다중 뷰 간 일관성 (Multi-view Consistency) 을 해칩니다. 각 뷰가 독립적으로 SR 처리되면, 동일한 3D 영역에 대해 서로 다른 텍스처가 생성되어 3D 최적화 과정에서 상충되는 그라디언트가 발생하고, 결과적으로 흐릿하거나 기하학적 불일치가 있는 렌더링이 나옵니다.
• 기존 방법의 부족: 기존 연구들은 신경망 구성 요소, 일관된 비디오 사전 지식, 또는 LR/SR 뷰의 결합 최적화를 통해 일관성을 개선하려 했으나, 이미지의 모든 영역에 균일하게 SR 을 적용한다는 근본적인 한계가 있었습니다. 실제로는 일부 영역 (예: 근접 촬영된 뷰) 이 이미 충분한 고주파수 정보를 가지고 있어 SR 이 불필요하거나 오히려 해가 될 수 있습니다.

2. 방법론 (Methodology)

저자들은 **"이미지들이 3D 콘텐츠를 균일하게 샘플링하지 않는다"**는 통찰에서 출발했습니다. 가까운 거리에서 촬영된 LR 뷰는 먼 거리에서 촬영된 HR 뷰보다 동일한 영역에 대해 더 많은 고주파수 세부 정보를 제공할 수 있습니다. 이를 바탕으로 SplatSuRe를 제안합니다.

핵심 아이디어: 선택적 초해상도 (Selective Super-Resolution)

모든 픽셀에 SR 을 적용하는 대신, 고주파수 정보가 부족한 영역 (Undersampled regions) 에만 SR 을 선택적으로 적용하여 다중 뷰 일관성을 유지하면서 선명도를 높입니다.

주요 구성 요소:

1. 가우시안 충실도 점수 (Gaussian Fidelity Score):

   • 각 가우시안 (3D primitive) 이 학습 뷰들 사이에서 얼마나 잘 샘플링되었는지 정량화합니다.
   • LR 모델로 학습된 후, 각 가우시안의 스크린 스페이스 반경 (Screen-space radius) 을 모든 학습 뷰에서 계산합니다.
   • 반경 비율 ($\rho_i$): 최대 반경과 최소 반경의 비율을 계산합니다.
     • 비율이 높음: 가우시안이 다양한 주파수로 샘플링됨 (가까운 뷰에서 고해상도 정보 확보 가능).
     • 비율이 1 에 가까움: 균일하게 샘플링됨 (어떤 뷰에서도 고해상도 정보가 부족함).
   • 이 비율을 시그모이드 함수를 통해 [0, 1] 범위의 점수로 변환합니다. 점수가 낮을수록 SR 이 더 필요한 영역임을 의미합니다.

2. 뷰별 가중도 맵 (Per-view Weight Maps):

   • 각 학습 뷰에 대해 가우시안 충실도 점수를 기반으로 가중도 맵을 렌더링합니다.
   • SR 적용 영역: 현재 뷰에서 가장 크게 관찰되지만 다른 뷰에서 고해상도 정보를 제공받지 못하는 영역 (가우시안 반경이 최대인 경우) 과, 충실도 점수가 낮은 영역은 SR 가중치를 높입니다.
   • SR 억제 영역: 다른 가까운 뷰에서 이미 고해상도 정보를 충분히 제공받는 영역은 SR 가중치를 낮추거나 0 으로 설정하여 일관성을 해치지 않도록 합니다.

3. SplatSuRe 학습 목적 함수 (Training Objective):

   • LR 손실 ($L_{LR}$): 고해상도 렌더링을 다운샘플링하여 원본 LR ground truth 와 비교합니다. (전체 이미지의 일관성 유지)
   • 가중치 SR 손실 ($L_{SR}$): 고정된 단일 이미지 SR 모델 (예: StableSR) 로 생성된 SR 이미지와 고해상도 렌더링을 비교하되, 위에서 계산한 가중도 맵으로 픽셀별 가중치를 곱합니다.
   • 최종 손실: $L = (1-\gamma)L_{LR} + \gamma L_{SR}$. 이를 통해 SR 은 고주파수 정보가 부족한 부분에만 생성적 세부 사항 (Generative Detail) 을 주입하고, 이미 잘 정의된 영역에서는 3DGS 가 LR 정보를 신뢰하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 가우시안 충실도 점수: LR 기하 정보를 활용하여 각 가우시안이 뷰 간에 얼마나 잘 해결되었는지 (Resolved) 를 정량화하는 새로운 지표를 제안했습니다.
2. 주파수 정보 가중도 맵: 가우시안 충실도 점수를 기반으로 각 뷰별로 고주파수 정보가 부족한 영역을 식별하고 SR 학습을 조절하는 공간적 가중도 맵을 생성합니다.
3. 선택적 SR 학습 프레임워크: 추가적인 신경망 구성 요소 없이, 기존 3DGS 파이프라인을 수정하여 LR 과 SR 정보를 결합합니다. 이는 불필요한 일관성 문제를 피하면서도 필요한 영역에 선명도를 부여하여 다양한 장면에서 SOTA(State-of-the-Art) 성능을 달성합니다.

4. 실험 결과 (Results)

• 데이터셋: Tanks & Temples, Deep Blending, Mip-NeRF 360 의 다양한 실내/실외 장면에서 4 배 (4x) 초해상도 실험을 수행했습니다.
• 성능:
  • 정량적 평가: PSNR, SSIM, LPIPS, FID, DreamSim 등 거의 모든 지표에서 기존 방법 (3DGS, Mip-Splatting, SRGS) 보다 우수한 성능을 보였습니다. 특히 Deep Blending 과 Tanks & Temples 에서 가장 큰 개선을 보였습니다.
  • 정성적 평가: 텍스트, 복잡한 패턴, 멀리 있는 객체 등 고주파수 세부 사항이 필요한 영역에서 선명도가 크게 향상되었습니다. 반면, 균일한 텍스처 영역에서는 흐림이나 아티팩트가 발생하지 않고 매끄럽게 유지되었습니다.
  • 일관성: SRGS 와 같은 균일 적용 방식에서 발생하는 다중 뷰 불일치 (텍스처 왜곡, 흐림) 가 현저히 감소했습니다.
• ABLATION Study:
  • 임계값 ($\tau$): SR 적용 비율을 조절하는 임계값이 너무 낮으면 일관성이 깨지고, 너무 높으면 SR 효과가 미미해집니다. $\tau=1.1$이 최적의 균형을 보였습니다.
  • SR 모델: SwinIR(고정밀도) 과 StableSR(생성적/지각적 품질) 모두에서 성능 향상이 확인되었으며, 지각적 품질을 위해 StableSR 을 주로 사용했습니다.

5. 의의 및 결론 (Significance & Conclusion)

SplatSuRe 는 기하학적 구조와 카메라 포즈를 활용하여 "어디에 SR 이 필요한지"를 지능적으로 판단함으로써, 3D Gaussian Splatting 의 저해상도 학습 한계를 극복했습니다.

• 핵심 가치: 단순히 이미지를 선명하게 만드는 것을 넘어, 3D 일관성을 해치지 않으면서 필요한 부분에만 생성적 세부 사항을 주입하는 '선택적 (Selective)' 접근법의 유효성을 입증했습니다.
• 적용 가능성: 추가적인 복잡한 신경망 구조 없이도 기존 3DGS 파이프라인에 쉽게 통합 가능하며, 다양한 장면과 해상도 조건에서 강력한 성능을 발휘합니다.
• 미래 전망: 이 방법은 3D 재구성 분야에서 생성적 AI(Generative AI) 와 기하학적 최적화의 균형을 맞추는 새로운 패러다임을 제시하며, 향후 고해상도 3D 콘텐츠 생성의 표준 기법으로 자리 잡을 가능성이 큽니다.