Training-Free Instance-Aware 3D Scene Reconstruction and Diffusion-Based View Synthesis from Sparse Images

1. 연구 배경 및 문제 정의 (Problem)

기존의 3D 장면 재구성 및 신시 (Novel View Synthesis) 기술은 주로 NeRF나 **3D Gaussian Splatting (3DGS)**과 같은 방사선장 (Radiance Field) 기반 접근법을 사용합니다. 이러한 방법들은 고품질의 결과를 제공하지만 다음과 같은 심각한 한계가 있습니다:

• 데이터 의존성: 고밀도의 이미지 집합이 필요하며, 희소 (Sparse) 한 입력 이미지에서는 재구성 품질이 급격히 저하됩니다.
• 학습 비용: 각 장면마다 별도의 최적화 (Scene-specific optimization) 와 학습 시간이 필요하여 실시간 적용이나 데이터가 부족한 환경에 부적합합니다.
• 포즈 (Pose) 요구 사항: 대부분의 방법이 카메라 포즈 (Camera Pose) 추정을 전제로 하거나, 이를 위해 별도의 전처리가 필요합니다.
• 객체 단위 편집의 부재: 재구성된 장면을 객체 (Instance) 단위로 편집 (예: 객체 제거) 하려면 추가적인 미세 조정 (Fine-tuning) 이 필요하거나 구조적 조작이 어렵습니다.

이 논문은 카메라 포즈 추정이나 장면별 학습 없이, 희소하고 포즈가 지정되지 않은 (Unposed) RGB 이미지만으로 고품질의 3D 장면을 재구성하고, 인스턴스 (Instance) 를 인식하며, 편집 가능한 3D 표현을 생성하는 학습 불필요 (Training-Free) 시스템을 제안합니다.

2. 제안 방법론 (Methodology)

제안된 파이프라인은 크게 세 가지 핵심 모듈로 구성되어 있으며, 모두 순방향 (Feed-forward) 방식으로 작동합니다.

2.1. 강건한 3D 재구성 (Robust 3D Reconstruction)

• 초기 점군 생성: MV-DUSt3R 모델을 사용하여 입력된 희소 이미지들로부터 밀집된 3D 점군 (Point Cloud) 을 예측합니다. 이 모델은 카메라 보정이나 포즈 추정 없이도 다중 뷰 스테레오를 수행할 수 있습니다.
• 와핑 기반 이상점 제거 (Warping-based Anomaly Elimination): 초기 점군에는 가려짐 (Occlusion) 이나 추정 오차로 인한 노이즈 (이상점) 가 포함될 수 있습니다. 저자들은 **다중 뷰 깊이 일관성 (Multi-view Depth Consistency)**을 활용하여 이상점을 제거합니다.
  • 한 뷰의 점들을 다른 뷰로 와핑 (Warping) 할 때, 해당 위치의 실제 깊이와 비교하여 기하학적 일관성이 떨어지는 점 (예: 표면보다 앞에 나타나는 점) 을 이상점으로 판별하고 제거합니다.
  • 이를 통해 깨끗하고 밀집된 3D 기하학을 확보합니다.

2.2. 인스턴스 인식 및 2D-to-3D 전이 (Instance-aware Perception)

• 2D 분할 마스크 생성: SAM (Segment Anything Model)과 같은 기초 분할 모델을 사용하여 각 입력 이미지의 2D 인스턴스 마스크를 생성합니다.
• 와핑 기반 인스턴스 통합 (Warping-based Instance Unification): 단순한 추적 (Tracking) 모델 대신 기하학적 와핑을 활용하여 2D 마스크를 3D 공간으로 전파합니다.
  • 한 뷰의 마스크를 다른 뷰로 투영하고, 투영된 마스크와 해당 뷰의 실제 마스크 간의 **IoU (Intersection over Union)**를 계산합니다.
  • 임계값 이상의 IoU 를 가진 경우, 서로 다른 뷰의 점군 그룹이 동일한 물체 인스턴스라고 판단하여 통합합니다.
  • 이를 통해 프레임 간 일관된 3D 인스턴스 점군을 생성하며, 이는 객체 단위 편집의 기반이 됩니다.

2.3. 확산 기반 렌더링 파이프라인 (Diffusion-based Rendering)

• 점군 투영: 재구성된 3D 점군을 목표 뷰 (Target View) 로 투영하여 초기 희소 RGB 이미지를 생성합니다.
• See3D 모델 활용: 투영된 이미지는 가려짐이나 점의 부족으로 인해 불완전합니다. 이를 보완하기 위해 **See3D**라는 3D 인지 확산 모델 (3D-aware Diffusion Model) 을 사용합니다.
  • 이 모델은 투영된 이미지와 원본 입력 이미지들을 조건 (Condition) 으로 받아, 누락된 영역을 채우고 (Inpainting) 질감을 정제하여 사진처럼 사실적인 (Photorealistic) 이미지를 생성합니다.
• 편집된 장면 렌더링: 객체 제거와 같은 편집이 수행된 경우, 원본 입력 이미지 중 편집된 부분에 해당하는 영역을 마스킹 (Masking) 하여 확산 모델에 입력합니다. 이는 편집된 장면에 대한 기하학적 일관성을 유지하고 아티팩트를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 학습 불필요 (Training-Free) 및 포즈 불필요: 장면별 학습이나 카메라 포즈 추정 없이 희소 이미지로부터 3D 장면을 재구성하고 렌더링하는 최초의 통합 파이프라인 중 하나입니다.
2. 강건한 이상점 제거 전략: MV-DUSt3R 의 출력에서 발생하는 노이즈를 다중 뷰 와핑 일관성 검사를 통해 효과적으로 제거하여 고품질 점군을 확보합니다.
3. 일관된 3D 인스턴스 분할: 2D 분할 마스크를 기하학적 와핑을 통해 3D 점군에 일관되게 매핑하여, 객체 단위 편집이 가능한 의미론적 (Semantic) 3D 표현을 제공합니다.
4. 확산 기반 고품질 렌더링: 불완전한 점군을 기반으로 확산 모델을 활용하여 누락된 기하학을 보완하고 사실적인 신시 뷰를 생성합니다.
5. 자연스러운 장면 편집: 점군에서 특정 객체를 제거하는 것만으로, 재학습 없이 일관된 편집된 뷰를 생성할 수 있는 유연성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: ScanNet 및 ScanNet++ 의 희소 이미지 세트를 사용했습니다.
• 인스턴스 분할 성능: 기존 방법 (PE3R 등) 대비 AP(Average Precision) 가 25.0 으로 크게 향상되었으며, 객체 간 경계가 명확하게 구분됩니다.
• 깊이 추정 (Reconstruction): RMSE 0.209, $\delta < 1.25$ 0.981 로 기존 MV-DUSt3R 및 PE3R 보다 우수한 깊이 정확도를 보였습니다.
• 신시 뷰 합성 (Rendering):
  • PSNR 18.15, SSIM 0.645, LPIPS 0.434를 기록하여, 학습이 필요 없는 방법론 중 최상위 성능을 보였습니다.
  • 3DGS 기반 방법들 (3DGS, GaussianGrouping 등) 은 희소 뷰 환경에서 성능이 급격히 떨어지거나 객체 제거 시 큰 구멍 (Holes) 이 발생하는 반면, 제안된 방법은 선명하고 일관된 결과를 유지했습니다.
• 연산 효율성: 전체 파이프라인 소요 시간은 약 3.5 분 (20 개 입력, 10 개 테스트 뷰 기준) 으로, NeRF(약 149 분) 나 3DGS(약 9 분) 대비 재구성 단계에서 매우 효율적이며 포즈 처리 시간이 불필요합니다.

5. 의의 및 결론 (Significance)

이 논문은 경량화되고 편집 가능한 3D 콘텐츠 생성을 위한 새로운 방향을 제시합니다.

• 실용성: 카메라 포즈 추정이나 고비용 학습 없이도 모바일 캡처나 일상적인 촬영과 같은 희소 데이터 환경에서 고품질 3D 장면을 즉시 생성할 수 있습니다.
• 확장성: 점군 기반의 표현은 메쉬나 방사선장에 비해 조작이 용이하여, 객체 제거, 이동 등 인터랙티브한 3D 편집을 자연스럽게 지원합니다.
• 미래 지향성: 기하학적 재구성 방법과 생성형 모델 (Diffusion) 을 결합하여, 불완전한 입력에서도 사실적인 결과를 도출하는 새로운 패러다임을 정립했습니다.

결론적으로, 이 연구는 3D 재구성, 의미론적 이해, 그리고 고품질 렌더링을 하나의 통합된 학습 불필요 파이프라인으로 성공적으로 통합하여, 3D 콘텐츠 생성의 접근성을 크게 높였습니다.