Distractor-free Generalizable 3D Gaussian Splatting

이 논문은 교차 장면 일반화 설정에서 방해 요소 (distractor) 로 인한 3D 불일치와 학습 불안정성을 해결하고, 보지 못한 장면에서 방해 요소가 없는 3D 가우시안 스플래팅과 마스크를 예측할 수 있는 새로운 프레임워크인 DGGS 를 제안합니다.

핵심

📸 "방해꾼 없는 3D 사진관": DGGS 논문 설명

이 논문은 DGGS(Distractor-free Generalizable 3D Gaussian Splatting) 라는 새로운 기술을 소개합니다. 쉽게 말해, "지저분한 배경이 섞인 사진들만으로도 깨끗하고 완벽한 3D 장면을 만들어내는 똑똑한 AI" 입니다.

이 기술이 왜 필요한지, 어떻게 작동하는지 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "사진 찍을 때 갑자기 지나가는 사람" 🚶‍♂️🚌

상상해 보세요. 여러분이 아름다운 공원 풍경을 3D로 재현하려고 여러 각도에서 사진을 찍고 있습니다. 그런데!

• 한 사진에는 갑자기 버스가 지나가고,
• 다른 사진에는 어린이가 뛰어다니고,
• 또 다른 사진에는 풍선이 날아갑니다.

기존의 3D 기술들은 이런 '방해꾼 (Distractor)'들을 구별하지 못합니다. AI 는 "아, 저 버스가 공원의 일부구나!"라고 착각해서, 버스를 공원의 나무처럼 3D 공간에 고정해 버립니다. 그 결과, 3D 장면을 돌려보면 공중에 떠 있는 버스나 불규칙하게 튀어 나온 유령 같은 흔적들이 생겨서 매우 어색해집니다.

2. DGGS 의 해결책: "눈썰미 좋은 사진 편집자" 👁️✨

DGGS 는 이 문제를 해결하기 위해 두 가지 단계로 작동합니다. 마치 전문 사진 편집자가 작업하는 것처럼요.

1 단계: 훈련 과정 (학습) - "실수하지 않는 교실" 🏫

기존 AI 는 방해꾼이 있는 사진으로 배우면 혼란스러워합니다. 하지만 DGGS 는 다음과 같이 배웁니다.

• 비유: 여러 친구들이 같은 장면을 찍었는데, A 는 버스, B 는 사람, C 는 깨끗하게 찍었습니다.
• DGGS 는 "A 와 B 의 사진에는 버스나 사람이 있지만, C 와 다른 친구들의 사진에는 없네? 그럼 저건 공원의 일부가 아니라 지나가던 방해꾼이야!"라고 3D 일관성 (여러 각도에서 같은 것이 있어야 함) 을 이용해 방해꾼을 찾아냅니다.
• 이렇게 방해꾼이 있는 부분은 무시하고, 진짜 공원의 모습만 집중해서 학습합니다. 마치 시험 공부할 때 오답 노트를 만들어 틀린 부분을 지우고 정답만 외우는 것과 같습니다.

2 단계: 추론 과정 (실제 사용) - "최고의 사진만 골라내기" 🎯

실제로 3D 장면을 만들 때, DGGS 는 두 가지 전략을 씁니다.

• 전략 1: 최고의 사진 선별 (Reference Scoring)
  • 사용자에게 제공된 사진들 중에서 방해꾼이 가장 적고, 공원을 가장 잘 보여주는 '최고의 사진들'만 골라냅니다. (예: 버스 10 대가 있는 사진은 버리고, 사람 1 명만 있는 사진만 선택)
• 전략 2: 잔여 방해꾼 제거 (Distractor Pruning)
  • 그래도 어쩔 수 없이 섞여 들어온 방해꾼 (유령 같은 버스 조각) 이 있다면, 3D 공간에서 그 조각만 잘라내어 (Pruning) 버립니다. 마치 3D 모델링 프로그램에서 원치 않는 물체를 지우듯이요.

---

3. 왜 이것이 특별한가요? 🌟

기존 기술들은 특정 한 장면만 공부해서 그 장면의 방해꾼만 제거할 수 있었습니다. (예: "이 공원의 버스만 지우는 법"을 배움) 하지만 DGGS 는 어떤 장면이든 (실내, 실외, 도시, 자연) 방해꾼을 알아서 찾아내고 제거할 수 있는 범용 기술입니다.

• 기존: "이 사진의 버스만 지워줘." (다른 사진엔 안 됨)
• DGGS: "어떤 사진이든, 저건 방해꾼이야! 지워!" (누구나 가능)

4. 요약: 한 문장으로 정리 📝

"DGGS 는 지저분한 배경 (버스, 사람 등) 이 섞인 사진들만으로도, AI 가 스스로 '방해꾼'을 찾아내어 제거하고, 깨끗하고 완벽한 3D 장면을 만들어내는 혁신적인 기술입니다."

이 기술 덕분에 앞으로 우리가 스마트폰으로 찍은 평범한 사진들만으로도, 방해꾼 없이 아름다운 3D 가상 현실을 쉽게 경험할 수 있게 될 것입니다! 🚀🌳🏙️

기술 요약

1. 문제 정의 (Problem)

기존의 일반화 가능한 3DGS (Generalizable 3DGS) 연구는 주로 정적인 장면을 가정하고 있습니다. 그러나 실제 야외 (in-the-wild) 환경에서는 차량, 보행자, 풍선 등 임시적인 방해 요소 (Distractor/Transient objects) 가 포함된 데이터가 많습니다. 이러한 방해 요소는 다음과 같은 심각한 문제를 야기합니다.

• 학습 불안정성: 방해 요소가 포함된 데이터로 학습할 때, 3D 기하학적 일관성 (3D consistency) 이 깨져 모델이 제대로 학습되지 않습니다.
• 추론 시 아티팩트: 학습된 모델로 새로운 뷰를 생성할 때, 참조 이미지 (Reference images) 에 있는 방해 요소가 3D 공간에 잘못 투영되어 유령 (ghosting) 이나 구멍 (holes) 같은 아티팩트가 발생합니다.
• 기존 방법의 한계: 기존 방해 요소 제거 방법들은 대부분 특정 장면에 최적화 (Scene-specific) 되어 있어, 새로운 장면으로의 일반화가 어렵거나 추가적인 최적화/지식 (Colmap 등) 이 필요합니다.

2. 방법론 (Methodology)

DGGS 는 방해 요소 제거를 위한 일반화 가능한 학습 패러다임과 추론 프레임워크를 제안합니다. 핵심은 참조 이미지 간의 3D 일관성을 활용하여 방해 요소를 예측하고 제거하는 것입니다.

A. 방해 요소 제거 일반화 학습 (Distractor-free Generalizable Training)

• 참조 기반 마스크 예측 (Reference-based Mask Prediction):
  • 기존 방법 (Robust Loss 등) 은 쿼리 뷰의 재렌더링 오차만으로 방해 요소를 판단하여 오탐지 (False Positive) 가 많습니다.
  • DGGS 는 참조 이미지 (Reference views) 에서 재렌더링된 비방해 영역이 안정적이고 정확하다는 관찰에 기반합니다.
  • 참조 이미지에서 재렌더링된 영역을 기반으로 쿼리 뷰의 마스크를 필터링하여, 정적인 배경을 방해 요소로 잘못 분류하는 것을 방지합니다.
• 마스크 정제 (Mask Refinement):
  • 필터링된 마스크를 시차 오차 (Disparity error) 영역과 방해 요소 영역으로 분리합니다.
  • 시차 오차는 참조 이미지 간의 불일치로 인한 것이며, 방해 요소는 실제 객체입니다.
  • 사전 학습된 세그멘테이션 모델 (Entity Segmentation) 을 활용하여 방해 영역을 채우고, 쿼리 뷰에서 가려진 (Occluded) 영역을 참조 뷰를 통해 보조 손실 (Auxiliary Loss) 로 학습합니다.

B. 방해 요소 제거 일반화 추론 (Distractor-free Generalizable Inference)

학습된 모델을 실제 적용할 때 발생하는 문제를 해결하기 위해 2 단계 추론 프레임워크를 도입합니다.

1. 참조 점수 매기기 (Reference Scoring):
   • 사용 가능한 참조 이미지 풀 (Pool) 에서 방해 요소가 적고 시차 (Disparity) 가 작은 이미지를 선별합니다.
   • 예측된 마스크를 기반으로 각 이미지의 '깨끗함' 점수를 계산하여, 재구성 품질이 가장 높은 N 개의 이미지를 선택합니다.
2. 방해 요소 가지치기 (Distractor Pruning):
   • 선택된 참조 이미지에도 잔여 방해 요소가 있을 수 있습니다.
   • 3D 공간에서 방해 요소와 관련된 가우스 원시 (Gaussian primitives) 를 직접 제거 (Pruning) 하여, 재렌더링 시 발생하는 유령 아티팩트를 억제합니다.
   • 모든 참조 뷰에서 공통적으로 가려진 영역 (Common occlusions) 에 대해서는 가지치기를 수행하지 않아 흰색 얼룩 (white speckles) 을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: 방해 요소가 있는 환경에서도 일반화 가능한 3DGS 학습 및 추론을 가능하게 하는 '방해 요소 제거 일반화 3DGS'라는 새로운 과제를 정의하고 해결했습니다.
2. 새로운 학습/추론 패러다임:
   • 장면별 최적화 없이도 3D 일관성을 기반으로 방해 요소를 예측하는 Feed-forward 마스크 예측 및 정제 모듈을 제안했습니다.
   • 학습 중에는 마스크를 손실 함수에 적용하여 학습 안정성을 높이고, 추론 시에는 참조 이미지 선별과 3D 원시 가지치기를 통해 아티팩트를 제거합니다.
3. 성능 우위:
   • 기존 장면별 (Scene-specific) 방해 요소 제거 방법들보다 더 높은 정확도의 마스크 예측을 달성했습니다.
   • 실제 데이터와 합성 데이터 모두에서 기존 일반화 모델들 (Mvsplat, Pixelsplat 등) 보다 뛰어난 재구성 품질을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: RobustNeRF, On-the-go (실제 데이터) 및 Re10K, ACID 기반의 합성 데이터셋을 사용했습니다.
• 정량적 성능:
  • PSNR 향상: 기존 일반화 모델 (Mvsplat) 대비 PSNR 이 약 6.29dB (21.74 vs 15.45) 향상되었습니다.
  • 비교: 기존 방해 요소 제거 방법들 (RobustNeRF, NeRF-HuGS 등) 을 일반화 모델에 적용한 경우보다 DGGS 가 훨씬 우수한 성능을 보였습니다.
  • 일반화 능력: 훈련 데이터와 다른 장면 (실내/외 교차) 에서도 뛰어난 성능을 유지하며, 기존 방법들이 가진 교차 장면 일반화 한계를 극복했습니다.
• 정성적 결과:
  • 방해 요소로 인한 유령 아티팩트와 구멍 현상이 현저히 감소했습니다.
  • 마스크 예측 정확도가 장면별 최적화 방법과 유사하거나 더 높은 수준을 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 모바일 기기나 야외 환경에서 촬영된 불완전한 데이터로도 고품질의 3D 장면을 재구성할 수 있는 길을 열었습니다. 이는 실제 응용 (AR/VR, 자율주행 등) 에 있어 매우 중요한 기술적 진전입니다.
• 한계:
  • 모든 참조 뷰에서 공통적으로 가려진 영역 (Common occlusions) 이 있는 경우, 3D 정보가 부족하여 흰색 얼룩이나 결손이 발생할 수 있습니다.
  • 세그멘테이션 모델과 2 단계 추론으로 인해 기존 모델 대비 약간의 연산 비용 (효율성 저하) 이 발생합니다. (해결책: 해상도 축소 등)

결론적으로, DGGS 는 방해 요소가 포함된 불완전한 데이터에서도 안정적으로 3D 장면을 일반화하여 재구성할 수 있는 최초의 프레임워크로서, 3DGS 의 실용성을 크게 확장했습니다.