1. 문제 정의 (Problem Statement)

단일 RGB 이미지로부터 구조화된 3D 장면을 재구성하는 작업은 컴퓨터 비전과 그래픽스의 주요 난제 중 하나입니다. 기존 방법론들은 주로 의미론적 분할 (Semantic Segmentation), 단안 깊이 추정 (Monocular Depth Estimation), CAD 모델 기반의 기하학적 사전 지식 (Priors) 에 의존합니다.

그러나 이러한 기존 접근법은 복잡하고 혼잡한 (Cluttered) 실제 환경, 특히 물체 간의 가림 (Occlusion) 이 심한 상황에서 다음과 같은 한계를 보입니다:

• 누적 오류: 가려진 물체를 인식하거나 분할하는 과정에서 오류가 발생하면, 이는 3D 재구성 단계로 전파되어 전체 장면의 품질을 저하시킵니다.
• 불완전한 기하학: 가려진 부분의 기하학적 구조를 복원하기 어렵습니다.
• 데이터 의존성: 많은 방법들이 특정 도메인에 맞춰 학습된 모델을 필요로 하여, 새로운 환경이나 개체에 대한 일반화 능력이 떨어집니다.

이 논문은 "가려진 물체를 제거하면 나머지 물체를 더 쉽게 감지, 분할, 재구성할 수 있다" 는 직관에 기반하여, 혼란스러운 장면을 단계적으로 정리하는 새로운 파이프라인을 제안합니다.

---

2. 방법론 (Methodology)

제안된 방법 "Seeing Through Clutter" 는 학습이 필요 없는 (Training-free) 프레임워크로, 시각 - 언어 모델 (VLM) 을 오케스트레이터로 활용하여 두 가지 주요 단계로 구성됩니다.

1 단계: 반복적 물체 제거 (Iterative Object Removal)

복잡한 장면을 단순한 하위 작업으로 분해하기 위해, VLM 이 주도하여 물체를 하나씩 식별하고 제거하는 과정을 반복합니다.

1. 물체 제안 (Object Proposal): 입력 이미지에 대해 VLM(예: ChatGPT-4o) 을 프롬프트하여 가장 가깝고 명확하게 보이는 (가려지지 않은) 주 물체와 그 위에 있는 보조 물체들을 식별합니다.
2. 분할 (Segmentation): VLM 이 생성한 텍스트 설명을 기반으로 Grounded SAM 모델을 사용하여 해당 물체의 정밀한 마스크를 생성합니다. (가려지지 않은 물체만 타겟팅하므로 분할 정확도가 높음)
3. 전경 제거 및 인페인팅 (Foreground Removal & Inpainting): 분할된 물체를 이미지에서 제거하고, 배경을 자연스럽게 채우는 (Inpainting) 과정을 수행합니다. 이를 위해 Flux Kontext나 다른 인페인팅 모델을 사용합니다.
4. 반복: VLM 이 더 이상 물체를 감지하지 않을 때까지 이 과정을 반복하여, 물체가 하나씩 사라지는 이미지 시퀀스와 각 단계의 아모달 (Amodal, 가려진 부분 포함) 마스크를 생성합니다.

2 단계: 레이아웃 최적화 (Layout Optimization)

생성된 이미지 시퀀스와 마스크를 사용하여 3D 메시를 재구성하고 통합된 3D 장면으로 정렬합니다.

1. 메시 재구성 (Mesh Reconstruction): 각 단계에서 제거된 물체의 마스크와 이미지를 Hunyuan2(이미지-to-3D 모델) 에 입력하여 텍스처가 입혀진 3D 메시를 생성합니다.
2. 깊이 맵 정제 (Depth Map Refinement): 각 단계의 이미지에서 단안 깊이 추정 (MoGe) 을 수행하지만, 독립적으로 계산된 깊이 맵들은 불일치가 발생합니다. 이를 해결하기 위해 깊이 정렬 최적화 (Depth Alignment Optimization) 를 수행합니다.
   • 모든 깊이 맵을 일관된 공간에 맞추기 위해 MLP 기반의 보정 함수를 학습하여 깊이 불일치를 최소화합니다.
3. 물체 피팅 (Object Fitting): 생성된 3D 메시를 정제된 깊이 맵에 맞추어 배치합니다.
   • VGGT를 사용하여 메시의 회전 (Yaw) 을 추정하고, 2D 대응점 (Correspondences) 을 기반으로 3D 위치와 크기를 조정합니다.
   • 대응점이 부족할 경우 ICP(Iterative Closest Point) 알고리즘을 사용하여 백업 전략을 적용합니다.
4. 필터링: 중복되거나 잘못 생성된 물체 (예: 인페인팅 오류로 인한 유령 객체) 를 제거하여 최종 장면을 완성합니다.

---

3. 주요 기여 (Key Contributions)

1. VLM 오케스트레이터 프레임워크: VLM 을 사용하여 장면에서 제거할 다음 물체를 지능적으로 선택하고, 기존 오프더셸 (Off-the-shelf) 비전 모델들 (분할, 인페인팅, 3D 생성) 을 조율하는 새로운 아키텍처를 제안했습니다.
2. 깊이 정렬을 통한 레이아웃 최적화: 다양한 개체 수가 포함된 이미지 시퀀스에서 일관된 3D 공간을 구축하기 위해, 독립적으로 추정된 깊이 맵들을 정렬하는 최적화 절차를 개발했습니다.
3. 가림 제거를 통한 분할 및 생성 향상: 전경 물체를 제거함으로써 이전에는 가려져 있던 물체들의 분할 정확도를 높이고, 이를 통해 더 정확한 3D 생성이 가능함을 실험적으로 증명했습니다.
4. 학습 불필요 (Training-free): 특정 작업에 맞춰 모델을 재학습시키지 않고, 기존 foundation 모델들의 발전 성과를 즉시 활용할 수 있는 모듈러한 파이프라인을 제시했습니다.

---

4. 실험 결과 (Results)

저자는 3D-Front(합성 데이터) 와 ADE20K(실제 장면) 데이터셋에서 기존 방법론들과 비교 평가를 수행했습니다.

• 3D-Front (3D 재구성 평가):
  • Gen3DSR, MIDI* 등 최신 단일 뷰 3D 재구성 방법론보다 모든 지표 (Chamfer Distance, F-Score, Depth Error 등) 에서 우수한 성능을 보였습니다.
  • 특히 F-Score와 Chamfer Distance에서 가장 높은 정확도를 기록했습니다.
  • 깊이 정렬 (Depth Alignment) 을 제거한 실험에서는 성능이 크게 저하되어, 이 단계의 중요성을 입증했습니다.
• ADE20K (분할 평가):
  • 복잡한 실제 장면에서 Things(개별 물체) 클래스의 IoU 와 RandIdx 가 기존 방법 (Gen3DSR) 보다 향상되었습니다.
  • 반복적 물체 제거가 가려진 물체의 분할 성능을 높이는 핵심 요소임을 확인했습니다.
• 강건성:
  • 실내/실외, 합성/실제 이미지 등 다양한 환경에서 일반화 능력을 보였으며, 추가 파인튜닝 없이도 복잡한 장면 재구성이 가능함을 시연했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 "Seeing Through Clutter" 를 통해 단일 이미지로부터 구조화된 3D 장면을 재구성하는 새로운 패러다임을 제시합니다.

• 기존 접근법의 한계 극복: 가림 (Occlusion) 과 혼란 (Clutter) 으로 인한 누적 오류 문제를 '물체 제거'라는 역발상으로 해결하여, 각 물체를 독립적이고 정확하게 처리할 수 있게 했습니다.
• 유연성과 확장성: 학습이 필요 없는 (Training-free) 구조 덕분에, VLM 과 생성 모델의 지속적인 발전에 따라 시스템 성능이 자동으로 향상될 수 있는 잠재력을 가집니다.
• 응용 분야: 콘텐츠 제작, 이미지 편집, 증강/가상 현실 (AR/VR), 로봇 인식 등 다양한 분야에서 복잡한 3D 장면 이해를 위한 강력한 도구로 활용될 수 있습니다.

결론적으로, 이 연구는 복잡한 시각적 정보를 체계적으로 분해하고 재구성하는 데 있어 VLM 의 추론 능력과 기저 모델 (Foundation Models) 의 생성 능력을 효과적으로 결합한 획기적인 접근법임을 보여줍니다.