ConFi-GS Confidence-Guided High-Frequency Injection for 3D Gaussian Splatting Super-Resolution

기술 요약: ConFi-GS: 3D 가우스 스플래팅 초해상도를 위한 신뢰도 기반 고주파수 주입

문제 제기
저해상도 다중 뷰 이미지를 사용하여 3D 가우스 스플래팅 (3DGS) 으로 고품질 3D 장면을 재구성하는 작업은 고주파수 관측이 부족하여 방해받으며, 이로 인해 흐릿한 텍스처, 약한 경계, 그리고 뷰 일관성이 결여된 세부 사항이 발생합니다. 기존 접근법들은 초해상도 (SR) 가이드를 균일하게 적용하거나 기하학적 샘플링에 기반하여 지역적 향상을 시도함으로써 이를 해결하려 하지만, 어디에 추가 세부 사항이 필요한지와 해당 후보 고주파수 콘텐츠가 다중 뷰 일관성 3D 표현에 내재화될 만큼 신뢰할 수 있는지라는 두 가지 중요한 질문을 구분하지 못합니다. 신뢰도 평가 없이 초해상도된 세부 사항을 직접 강제하면 뷰별 아티팩트, 구조적 지지가 없는 날카로움, 그리고 3D 표현의 일관성을 저해하는 환각 텍스처가 발생할 수 있습니다.

방법론
저자들은 저해상도 3DGS 재구성을 선택적 세부 사항 주입 문제로 재정의하는 신뢰도 인식 주파수 모델링 프레임워크인 ConFi-GS를 제안합니다. 이 프레임워크는 네 가지 조정된 구성 요소를 통해 작동합니다:

1. 기하학 유도 세부 사항 수요 추정:
   이 방법은 먼저 저해상도 입력으로 기본 3DGS 모델을 사전 훈련하여 "세부 사항 수요 사전 지식"을 추정합니다. 각 가우스 원소의 교차 뷰 샘플링 비율을 분석합니다. 만약 가우스가 모든 뷰에서 유사하고 불충분한 규모로 샘플링된다면 (낮은 샘플링 비율), 세부 사항이 부족하다고 표시합니다. 이는 후보 세부 사항의 신뢰도와 무관하게 복구 가능한 세부 사항이 부족할 가능성이 높은 영역을 강조하는 뷰별 세부 사항 수요 지도 ($D_t$) 를 생성합니다.

2. 주파수 인식 신뢰도 평가:
   초해상도 참조에서 유래한 후보 고주파수 세부 사항이 신뢰할 만한지 판단하기 위해, 프레임워크는 세 가지 단서를 기반으로 신뢰도 지도 ($C^t_{rel}$) 를 계산합니다:

   • 구조적 지지 ($E_t$): 초해상도 참조의 국소 엣지와의 정렬을 측정하여 세부 사항이 구조적 지지를 받지 않는 것을 방지합니다.
   • 해결되지 않은 증거 ($G_t$): 푸리에 영역 고역 통과 연산자를 사용하여 현재 렌더링과 초해상도 참조 간의 고주파수 차이를 정량화하여, 누락되었지만 잠재적으로 복구 가능한 스펙트럼 콘텐츠를 식별합니다.
   • 교차 뷰 일관성 ($X_t$): 인접 뷰 간에 재투영될 때 불안정한 세부 사항에 페널티를 부여하여 뷰별 아티팩트를 필터링합니다.
     최종 세부 사항 주입 지도 ($M_t$) 는 수요 지도와 신뢰도 지도의 요소별 곱으로, 세부 사항이 필요하고 신뢰할 수 있는 경우에만 감독이 적용되도록 보장합니다.

3. 선택적 점진적 주파수 정규화:
   전체 대역 주파수 일치를 즉시 강제하는 대신, 이 방법은 coarse-to-fine 일정을 사용합니다. $M_t$에서 높은 가중치를 가진 영역에만 패치 레벨 진폭 스펙트럼 손실 ($L_{amp}$) 과 위상 스펙트럼 손실 ($L_{ph}$) 을 적용합니다. 진폭 손실은 조밀한 외관을 안정화하기 위해 초기에 도입되는 반면, 더 민감한 위상 손실은 기하학이 안정화된 후에 활성화됩니다. 이는 모델이 초기 최적화 중 불안정한 의사 고주파수 신호에 적합되는 것을 방지합니다.

4. 신뢰도 인식 가우스 밀도화:
   표현이 신뢰할 수 있는 세부 사항을 흡수할 수 있는 능력을 갖도록 하기 위해, 저자들은 기하학적 수요 ($U_i$), 신뢰도 가중 스펙트럼 잔차 ($F_i$), 그리고 국소 구조적 복잡성 ($H_i$) 을 결합한 공동 점수 ($S_i$) 에 의해 안내되는 밀도화 전략을 도입합니다. 이는 가우스의 분할과 복제를 일반적인 이미지 공간 기울기에만 의존하는 것이 아니라, 해결되지 않은 신뢰할 수 있는 세부 사항이 존재하는 영역으로 구체적으로 지시합니다.

주요 기여

1. 신뢰도 인식 문제 정의: 이 논문은 저해상도 3D 재구성에서 누락된 세부 사항이 초해상도된 후보가 신뢰할 수 있음을 보장하지 않는 근본적인 모호성을 해결하기 위해 "세부 사항 수요"와 "세부 사항 신뢰도"를 명시적으로 분리합니다.
2. 이중 단계 추정: 구조적 지지, 스펙트럼 해상도, 그리고 교차 뷰 안정성을 평가하여 정밀한 세부 사항 주입 지도를 생성하는 기하학 유도 수요 추정기에 이어지는 주파수 인식 신뢰도 평가를 도입합니다.
3. 통합 최적화 체계: 이 프레임워크는 선택적 점진적 주파수 정규화와 신뢰도 인식 가우스 밀도화를 통합하여, 신뢰할 수 있는 고주파수 세부 사항이 3D 표현으로 점진적이고 구조적으로 내재화되도록 합니다.

실험 결과
이 방법은 2 배 및 4 배 초해상도 설정 하에 Tanks & Temples, Deep Blending, Mip-NeRF 360을 포함한 표준 벤치마크에서 평가되었습니다.

• 정량적 성능: ConFi-GS 는 표준 3DGS(LR), Mip-Splatting, 균일 SR 인 SRGS, 그리고 기하학 유도 SR 인 SplatSuRe 와 같은 기준선과 비교하여 PSNR, SSIM, LPIPS, FID, CMMD, DreamSim 등 여러 지표에서 최첨단 성능을 달성했습니다. 예를 들어, Tanks & Temples(4 배) 에서 PSNR 24.08 및 LPIPS 0.270 을 달성하여 SplatSuRe(23.84 PSNR, 0.273 LPIPS) 를 능가했습니다.
• 정성적 개선: 시각적 비교는 얇은 경계와 질감 영역 주변에서 더 날카로운 재구성을 보여주었으며, 다른 방법들을 괴롭혔던 고주파수 아티팩트와 뷰 일관성이 결여된 세부 사항을 효과적으로 억제했습니다.
• 절차 연구: 신뢰도 평가, 점진적 정규화, 또는 신뢰도 인식 밀도화 중 어떤 구성 요소라도 제거하면 성능이 크게 저하되어 각 모듈의 상호 보완적 필요성이 확인되었습니다. 특히, 신뢰도 평가를 제거하면 뷰 일관성이 결여된 세부 사항이 흡수되었고, 점진적 스케줄링을 제거하면 초기 최적화가 불안정해졌습니다.

의의 및 주장
이 논문은 ConFi-GS 가 저해상도 3DGS 향상의 패러다임을 "직접적 세부 사항 증폭"에서 "신뢰도 인식 세부 사항 내재화"로 전환한다고 주장합니다. 3D 표현에 내재화되기 전에 신뢰할 수 없는 고주파수 신호를 명시적으로 필터링함으로써, 이 방법은 고희 fidelity 텍스처 복구와 다중 뷰 구조적 일관성 사이의 균형을 달성합니다. 저자들은 그들의 접근 방식이 단순히 초해상도된 이미지 텍스처를 모방하는 것이 아니라, 신뢰할 수 있는 세부 사항을 안정된 3D 장면 표현으로 점진적으로 통합한다고 강조합니다. 외부 SR 품질에 대한 의존성과 추가 훈련 시간과 같은 한계를 인정하면서도, 이 작업은 3D 재구성에서 세부 사항 수요 대 신뢰도의 핵심 모호성을 해결하는 증거 인식 세부 사항 통합을 위한 프레임워크를 확립합니다.