기술 요약: Difix3D-W

문제 정의

본 논문은 희소한(sparse) 한 세트의 비제약적 실세계 이미지로부터의 3D 신규 뷰 합성(3D novel view synthesis) 과제를 다룹다. 기존 방법들은 밀집된 이미지 컬렉션이나 제약된 희소 이미지 세트(일시적 요소가 없는 경우)에서는 탁월한 성능을 보이지만, 다음과 같은 특성을 가진 실세계 시나리오에서는 어려움을 겪는다:

• 방해 요소(Distractors): 일부 뷰에는 나타나지만 다른 뷰에는 나타나지 않는 일시적인 객체(예: 사람, 차량).
• 폐쇄 및 외관 변화(Occlusions and Appearance Variations): 장면의 동적인 변화.
• 희소성(Sparsity): 제한된 기하학적 정보, 깊이 모호성, 그리고 적은 수의 입력 이미지로 인한 불충분한 카메라 관점.

방해 요소를 처리하려고 시도하는 기존 접근 방식들은 종ered히 제한된 데이터로 비전 파운데이션 모델(예: SAM, DINO)을 학습시키는 데 의존하여 일반화에 실패하거나, 획득하는 데 시간이 많이 소요되는 밀집된 이미지 컬렉션을 요구한다. 또한, 3D 가우시안 스플래팅(3DGS)의 표준 밀도 제어 전략은 희소한 시나리오에서 위치 그래디언트(positional gradients)가 색상 및 불투명도와 얽혀 기하학적 간극을 채우기보다 아티팩트를 생성하기 때문에 종종 실패한다.

방법론

저자들은 희소하고 방해 요소가 포함된 이미지로부터 고품질 3D 장면을 합성하도록 설계된 프레임워크인 Difix3D-W를 제안한다. 이 방법은 세 가지 주요 구성 요소로 이루어져 있다:

1. 참조 가이드 뷰 정제 (Reference-Guided View Refinement, RGVR)

렌더링된 뷰에서 방해 요소로 인한 아티팩트를 완화하기 위해, 저자들은 재설계된 **원스텝 확산 모델(one-step diffusion model, DM)**을 도입한다.

• 마스크 생성: 희소한 데이터에 마스크 생성기를 학습시키는 대신, 이 방법은 텍스트 설명을 사용하여 지면 진실(ground-truth) 이미지로부터 일시적 마스크($M_t$)를 생성하는 Grounded SAM을 활용한다. 이를 통해 입력 샘플의 수와 관계없이 일반화가 가능하다.
• 정제 과정: 확산 모델은 손상된 렌더링 이미지($\hat{I}$), 참조 뷰($\hat{I}_{ref}$), 그리고 일시적 마스크($M_t$)를 입력으로 받는다.
• 교차 주의 메커니즘 (Cross-Attention Mechanism): 저자들은 디노이징 U-Net의 교차 주의 레이어를 수정한다. 어텐션 맵은 참조 뷰가 렌더링된 이미지의 마스킹된(손상된) 영역을 선택적으로 정제하는 동시에, 마스킹되지 않은 영역은 셀프 어텐션 메커니즘의 영향을 거의 받지 않도록 계산된다.
• 최적화: 정제된 이미지($\tilde{I}_{ref}$)는 3D 가우시안을 최적화하기 위한 광도 손실($L_{photo}$)을 계산하는 데 사용되며, 이는 훈련 시간을 크게 늘리지 않고도 방해 요소 아티팩트를 효과적으로 제거한다.

2. 참조 가이드 의사 라벨 합성 및 희소성 인지 가우시안 복제 (Reference-Guided Pseudo-Label Synthesis & Sparsity-Aware Gaussian Replication, SAGR)

희소한 영역의 기하학적 디테일 부족과 불충분한 카메라 관점을 해결하기 위해 다음을 수행한다:

• 의사 라벨 합성 (Pseudo-Label Synthesis): 프레임워크는 다른 카메라 관점에서의 렌더링에 RGVR 프로세스를 적용하여 의사 라벨($\hat{I}_{pseudo}$)을 생성한다. 이러한 의사 라벨은 누락된 관점을 보완하며, 광도 손실과 함께 3D 표현을 최적화하는 데 사용된다.
• 희소성 인지 가우시안 복제 (Sparsity-Aware Gaussian Replication, SAGR): 표준 3DGS 밀도화(densification)는 위치 그래디언트에 의존하는데, 저자들은 희소하고 비제한적인 환경에서는 이것이 색상 및 불투명도와 얽혀 있어 불충분하다고 주장한다.
  • 제안된 전략은 누적 불투명도 맵($\hat{D}$)을 픽셀 단위 가중치로 사용하여 위치 그래디인트를 재지향(re-orient)한다.
  • 이를 통해 시스템은 진정으로 희소한 영역을 식별하고, 이러한 간극을 채우기 위해 가우시안을 구체적으로 복제함으로써 더 조밀하고 정확한 가우시안 필드를 구축할 수 있게 한다.

3. 정규화 및 최적화

모델 붕괴를 방止하고 다중 뷰 일관성을 보장하기 위해 다음을 수행한다:

• LoRA (Low-Rank Adaptation): 저자들은 테스트 타임 훈련(test-time training) 동안 특정 장면에 모델을 집중시키기 위해 확산 모델의 VAE 디코더에 LoRA를 적용한다.
• 점수 증류 샘플링 (Score Distillation Sampling, SDS) 손실: 기하학적 일관성을 유지하기 위해 SDS 손실($L_{SDS}$)을 광도 및 의사 라벨 손실과 함께 사용한다.
• 전체 손실 (Total Loss): 최적화 목적 함수는 표준 3DGS 손실($L_{GS}$), 광도 손실($L_{photo}$), 의사 라벨 손실($L_{pseudo}$), 그리고 SDS 손실($L_{SDS}$)을 결합하며, $L_{pseudo}$는 초기 최적화가 미흡한 상태에서의 샘플링을 피하기 위해 몇 번의 웜업 반복 후에 도입된다.

주요 기여

1. 희소 비제약 합성의 첫 번째 프레임워크: 저자들이 아는 바로는, 다양한 방해 요소가 포함된 희소한 실세계 이미지로부터 3D 재구성을 다루는 최초의 연구이다.
2. 플러그 앤 플레이 범용성: 이 방법은 제약된 시나리오와 비제한적 시나리오 모두에서 효과적으로 작동한다. 참조 가이드 뷰 정제 모듈은 상당한 시간 복잡도 오버헤드 없이 기존 파이프라인에 통합될 수 있다.
3. 희소성 인지 밀도화: SAGR의 도입은 위치 그래디언트에만 의존하는 대신 불투명도 정보를 활용함으로써, 희소한 필드에서의 표준 밀도 제어의 실패 모드를 해결한다.
4. 일반화 가능한 방해 요소 제거: 희소한 데이터에 특정 모델을 학습시키는 대신 Grounded SAM을 활용하여 마스크를 생성함으로써, 이 방법은 일시적 요소에 대한 강건성을 달성한다.

실험 결과

저자들은 NeRF On-the-go, Photo Tourism, LLFF 데이터셋에서 Difix3D-W를 평가하였다.

• 정량적 성능: 이 방법은 기존의 최첨단 방식들(3DGS, RobustSplat, WildGaussians, Difix3D+ 포함)을 일관되게 능가한다.
  • NeRF On-the-go 데이터셋(3-view에서 9-view)에서 Difix3D-W는 평균 PSNR 17.54, SSIM 0.578, LPIPS 0.428을 달성하여, 이전 최고 성능인 Difix3D+(예: 3-view에서 +1.96 PSNR)를 상당한 차이로 앞질렀다.
  • Photo Tourism 데이터셋에서 PSNR 19.86 및 SSIM 0.779를 달성하여 CR-NeRF 및 SparseGS-W와 같은 방법들을 능가했다.
• 절제 연구 (Ablation Studies):
  • 일시적 마스크 또는 교차 주의 메커니즘을 제거하면 성능이 크게 저하되어, 참조 가이드 정제의 필요성을 확인시켜 주었다.
  • SAGR 전략은 표준 드롭아웃(dropout) 또는 언풀링(unpooling) 기술과 비교했을 때 가우시안을 정렬하고 아티팩트를 줄이는 데 결정적이라는 것이 입증되었다.
  • LoRA 및 SDS 손실의 사용은 3D 일관성을 유지하고 모델 붕괴를 방지하는 데 기여했다.

의의 및 주장

본 논문은 Difix3D-W가 노동 집약적인 데이터 획득 없이 실세계 3D 시나리오를 실현하는 길을 열었다고 주장한다. 희소한 입력과 일시적인 방해 요소를 성공적으로 처리함으로써, 이 방법은 기존 방법들이 실패했던 비제약 환경에서 고품질 3D 렌더링을 가능하게 한다.

저자들은 이 연구를 기존 방법의 점진적인 확장이 아니라, 희소한 이미지 세트와 다양한 실세계 시나리오 사이의 간극을 메우는 독특한 프레임워크로 포지셔닝한다. 저자들은 시퀀스 전반에 걸쳐 지속되는 정적 방해 요소(예: 주차된 차량)를 식별하는 데 어려움이 있고, 카메라 관점이 매우 겹칠 때 성능이 저하될 수 있다는 한계를 인정하며, 향elle 구체적인 에지 케이스를 해결하기 위해 사전 지식이나 인페인팅 모델을 통합할 수 있음을 시사한다.