Confidence matters: Leveraging Multi-view Geometric Priors for GS-based Reconstruction

기술 요약: 신뢰도가 중요하다: GS 기반 재구성을 위한 다중 뷰 기하학적 사전 정보(Multi-view Geometric Priors) 활용

문제 정의

3D 가우시안 스플래팅(3DGS)은 희소한 3D 가우시안 표현을 통해 실시간 렌더링 능력을 제공하며 새로운 시점 합성(novel view synthesis) 분야에서 선도적인 방법론으로 자리 잡았습니다. 그러나 이 방법은 구조 복원(Structure-from-Motion, SfM) 초기화와 광도 최적화(photometric optimization)에 의존하기 때문에, 종종 최적의 기하학적 재구성을 달성하지 못하는 문제가 발생합니다. 이러한 문제는 특히 고광택(반사 표면) 물체에서 두드러지는데, 시점 의존적 렌더링 방정식이 기하학적 일관성을 강제하는 대신 반사 효과를 보상해 버림으로써 아티팩트와 부정확한 메쉬를 생성하기 때문입니다.

최근 단일 뷰 기하학적 사전 정보(예: StableNormal, Depth Anything)를 활용한 발전이 3DGS 재구성을 개선했지만, 이는 상당한 위험을 수반합니다. 단일 뷰 모델은 반사 재질이나 질감이 없는 영역에서 어려움을 겪으며, 여기서 발생하는 오류는 최적화 과정에 직접적으로 전파되어 재구성 품질을 저하시킬 수 있습니다. 또한, 단일 뷰 모델은 일반적으로 자신의 예측에 대한 신뢰도를 정량화하는 메커니즘이 부족하여, 정규화 과정 중 잘못된 가이드를 필터링하기 어렵습니다.

방법론

저자들은 다중 뷰 기하학적 사전 정보(특히 법선 맵과 깊이 맵)를 3DGS 파이프라인에 통합하고, **신뢰도 맵(confidence maps)**을 사용하여 이러한 사전 정보를 효과적으로 가중치 조절하는 프레임워크를 제안합니다. 이 방법의 핵심 구성 요소는 다음과 같습니다.

1. 다중 뷰 기하학적 사전 정보 (VGGT)

단일 뷰 추정기에 의존하는 대신, 본 방법은 **Visual Geometry Grounded Transformer (VGGT)**를 채택합니다. VGGT는 전체 다중 뷰 추론을 수행하여 모든 뷰에 대한 깊이 추정치를 동시에 생성하고, 각 뷰에 **신뢰도 맵($C$)**을 부착합니다. 이러한 다중 뷰 접근 방식은 이미지 세트 간의 대응 관계와 에피폴라 기하학(epipolar geometry)을 활용함으로써 개별 이미지에 존재하는 모호성(예: 경면 반사)을 해결합니다.

2. 정렬 및 법선 계산

사전 정보를 통합하기 위해, 예측된 깊이 맵($D_{prior}$)을 3DGS 추정 깊이($D_{gs}$)와 정렬해야 합니다. 저자들은 두 값 사이에 아핀 관계(affine relationship)가 있다고 가정하고, 각 뷰 $i$에 대한 스케일($l_i$) 및 시프트($t_i$) 파라미터를 계산합니다. 결정적으로, 이 정렬은 오류가 발생하기 쉬운 추정치를 피하기 위해 신뢰도가 높은 픽셀($C_i > 0.5$)에서만 수행됩니다.
정렬된 깊이 사전 정보와 실제 카메라 포즈로부터 포인트 맵 $P$가 도출되며, 이로부터 인접한 점들의 외적(cross-product)을 사용하여 법선 사전 정보($N_{prior}$)를 계산합니다.

3. 신뢰도 기반 기하학적 정규화

이 방법의 핵심 혁신은 최적화 과정에서 이러한 사전 정보를 적용하는 방식에 있습니다. 저자들은 3DGS의 법선($N_{gs}$)과 깊이($D_{gs}$)를 사전 정보에 대해 정규화하는 기하학적 손실 항($L_{geo}$)을 도입합니다.
$$L_{geo} = \lambda_{normal}(W_{conf} \odot \|N_{gs} - N_{prior}\| + W_{conf} \odot \|N_d - N_{prior}\|) + \lambda_{depth} W_{conf} \|D_{gs} - D_{prior}\|$$
여기서 $W_{conf}$는 정규화된 신뢰도 맵 $C_i$로부터 유도된 가중치입니다. 이 메커니즘은 다음을 보장합니다:

• 신뢰도가 높은 예측은 최적화를 강력하게 가이드합니다.
• 신뢰도가 낮은 예측(예: 사전 정보가 불확실한 복잡한 경면 반사 영역)은 가중치가 낮아져, 광도 손실(photometric loss)이 지배하도록 함으로써 오류의 전파를 방지합니다.

전체 손실 함수는 이 새로운 항을 표준 PGSR(강건한 3DGS 베이스라인) 손실과 결합합니다: $L = L_{pgsr} + L_{geo}$.

주요 기여

1. 신뢰도 가중 통합: 저자들은 신뢰도 마스크를 사용하여 다중 뷰 기하학적 사전 정보를 3DGS에 통합하는 단순하면서도 효과적인 방법을 제 제안합니다. 이 접근 방식은 사전 학습된 모델에 내재된 오류 전파의 위험을 완화합니다.
2. 다중 뷰 사전 정보의 우수성: 본 연구는 다중 뷰 사전 정보(VGGT)가 신뢰도 가중치와 결합될 때, 특히 경면 반사가 있는 물체에 대해 단일 뷰 대안(예: StableNormal)보다 성능이 뛰어남을 입증합니다.
3. 체계적 분석: 논문은 경면 반사와 복잡한 재질 특성의 문제를 중심으로, 다양한 데이터셋에 걸쳐 서로 다른 기하학적 사전 정보를 3DGS와 결합하는 것에 대한 광범적인 평가를 제공합니다.

실험 결과

본 방법은 세 가지 데이터셋인 DTU(일상적인 물체), Shiny Blender(고반사 합성 물체), Tanks and Temples (TnT)(대규모 실내/실외 장면)에서 평가되었습니다.

• 기하학적 재구성:
  • Shiny Blender: 제안된 방법은 가우시안 기반 접근 방식 중 최고의 성능을 보였으며, 시간이 더 오래 걸리는 SDF 기반 방법들과 경쟁할 만한 수준을 달察했습니다. 이는 PGSR 및 Ref-Gaussian과 같은 베이스라인 방법들이 실패했던 반사 표면(예: 자동차, 헬멧)에서의 아티팩트를 크게 줄였습니다.
  • DTU & TnT: 개선이 관찰되었으나 DTU에서는 그 차이가 덜 극적이었는데, 이는 해당 물체들이 대부분 람베르시안(Lambertian) 특성을 가져 사전 정보 없이도 잘 처리되었기 때문입니다. TnT의 경우, 신뢰도 가중치를 적용한 다중 뷰 접근 방식이 스케일 모호성과 신뢰도 필터링의 부재로 인해 성능이 저하된 단일 뷰 베이스라인들보다 우수한 성능을 보였습니다.
• 렌더링 품질: 새로운 시점 합성(novel view synthesis)에 대한 정량적 분석(PSNR) 결과, 기하학적 정규화가 렌더링 품질을 저하시키지 않고 베이스라인 방법들과 대등한 성능을 유지함을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 신뢰도 가중치를 제거했을 때 성능 저하가 발생하여, 오류 필터링을 위한 신뢰도 가중치의 필요성을 확인했습니다.
  • 신뢰도 가중치가 없는 단일 뷰 사전 정보(StableNormal, Depth Anything)는 종종 베이스라인보다 성능이 낮게 나타났으며, 이는 가중치 없는 오류 전파의 위험성을 강조합니다.

의의 및 주장

본 논문은 신뢰도 맵이 3DGS 재구성을 위해 기하학적 사전 정보를 활용하는 데 있어 핵심적인 구성 요소라고 주장합니다. 다중 뷰 모델이 복잡한 장면에 대해 더 안정적인 예측을 제공하지만, 그 부산물인 신뢰도 점수는 신뢰할 수 있는 가이드와 노이즈를 구분하는 데 필수적입니다.

저자들은 다중 뷰 기하학적 사전 정보가 특히 고반사 표면을 포함한 도전적인 사례에서 3DGS 재구성에 중요한 신호를 제공한다고 결론짓습니다. 또한, 이 접근 방식이 렌더링 속도나 품질을 저해하지 않으면서 기하학적 충실도를 향상시키는 견고한 플러그인 형태의 정규화 전략이 될 수 있다고 상정합니다. 본 연구는 단순히 사전 정보를 추가하는 것만으로는 불충분하며, (특히 신뢰도에 따른 가중치 부여와 같은) 통합 방식이 재구성을 개선할지 혹은 저하시킬지를 결정한다는 점을 강조합니다.