SceneExpander: 자유 형식 삽입 뷰를 통한 3D 장면 확장 (Technical Summary)

본 논문은 SceneExpander라는 새로운 프레임워크를 제안하며, 기존에 포착된 3D 장면을 텍스트 기반의 생성 모델로 합성된 새로운 뷰 (View) 를 삽입하여 확장하는 문제를 다룹니다. 특히, 삽입된 뷰가 기존 3D 기하학과 정렬되지 않더라도 (3D-misaligned) 견고하게 장면을 확장하는 데 초점을 맞춥니다.

1. 문제 정의 (Problem Statement)

• 배경: 콘텐츠 제작, 시뮬레이션, 인터랙티브 경험을 위한 3D 월드 빌딩은 반복적이고 사용자 주도적인 프로세스입니다. 사용자는 기존에 촬영된 다중 뷰 (Multi-view) 이미지에서 시작하여, 텍스트 명령을 통해 관찰되지 않은 영역을 추가하거나 장면을 확장하기를 원합니다.
• 핵심 과제: 기존 3D 재구성 방법론은 입력 뷰들이 서로 일관된 3D 구조를 가진다고 가정합니다. 그러나 생성형 AI 로 합성된 새로운 뷰는 시각적으로는 그럴듯할지라도, 기존 3D 기하학과 정렬되지 않거나 (3D-misaligned), 환각 (hallucinated) 된 내용을 포함할 수 있습니다.
• 도전 과제:
  1. 삽입된 뷰를 강제로 일치시키려 할 경우, 기존에 정확하게 재구성된 영역의 기하학이 왜곡되거나 아티팩트 (ghosting 등) 가 발생할 수 있습니다.
  2. 반대로 기존 영역만 유지하려 하면, 삽입된 새로운 콘텐츠가 제대로 반영되지 않습니다.
  3. 기존 방법들은 이러한 "정렬되지 않은 (misaligned)" 뷰를 처리할 때 재구성 품질이 급격히 저하되거나 새로운 내용을 억제하는 경향이 있습니다.

2. 방법론 (Methodology: SceneExpander)

저자들은 테스트 시간 적응 (Test-Time Adaptation, TTA) 기법을 활용하여 사전 훈련된 파라미터 기반의 피드포워드 3D 재구성 모델 (WorldMirror 기반) 을 수정하는 프레임워크를 제안합니다. 이는 모델을 다시 훈련시키지 않고, 특정 장면과 삽입된 뷰에 맞춰 적응시키는 방식입니다.

핵심 구성 요소

1. 아키텍처 및 초기화:

   • 사전 훈련된 재구성 모델 ($f_{\theta_0}$) 을 기반으로 합니다.
   • 세 가지 네트워크 인스턴스를 설정합니다:
     • Anchor Teacher ($\theta_A$): 고정된 상태로, 원래 포착된 뷰 (Captured views) 에 대한 안정적인 기하학적 참조 (Anchor) 를 제공합니다.
     • Generation Teacher ($\theta_G$): 지수 이동 평균 (EMA) 방식으로 업데이트되며, 삽입된 뷰에 대한 '소프트 라벨 (Soft Label)'을 생성합니다.
     • Student ($\theta$): 테스트 시간 동안 적응 (Adaptation) 되는 모델입니다.

2. 두 가지 상호 보완적인 증류 신호 (Distillation Signals):

   • Anchor Distillation (앵커 증류):
     • 목적: 삽입된 뷰로 인한 적응 과정에서 원래 장면의 재구성 품질이 떨어지는 것을 방지합니다.
     • 방식: 고정된 Anchor Teacher 가 예측한 원래 뷰들의 카메라 파라미터, 깊이 (Depth), 법선 (Normal) 맵을 참조로 사용하여 Student 모델의 예측을 제약합니다. 이를 통해 삽입된 뷰가 기존 영역의 기하학을 왜곡하지 않도록 '닻 (Anchor)' 역할을 합니다.
   • Inserted-view Self-Distillation (삽입 뷰 자기 증류):
     • 목적: 3D 정렬이 안 된 삽입된 뷰를 견고하게 통합합니다.
     • 방식: 삽입된 뷰를 직접적인 지도 (Supervision) 로 사용하지 않고, EMA Generation Teacher 가 생성한 점진적으로 정제된 소프트 라벨을 통해 Student 를 학습시킵니다. 이는 삽입된 뷰를 약한 제약 조건으로 활용하면서도 모델이 삽입된 뷰의 불일치에 과적합 (Overfitting) 되는 것을 방지합니다.

3. 데이터 증강 및 샘플링:

   • Subset Sampling: 미니배치 구성 시 원래 뷰들의 부분 집합을 무작위로 샘플링하여 다양한 컨텍스트에서 삽입된 뷰를 학습하게 합니다.
   • Geometry-Perturbation Augmentation: 전역 (Global) 및 블록 단위 (Blockwise) 아핀 변환을 적용하여 생성형 뷰에서 발생할 수 있는 기하학적 불일치와 포즈 드리프트 (Pose drift) 를 시뮬레이션합니다. 이는 모델의 강건성을 높입니다.

4. 확률적 복원 (Stochastic Restoration):

   • 장기간의 적응 과정에서 오차가 누적되는 것을 방지하기 위해, 주기적으로 모델 파라미터의 일부가 초기 가중치 ($\theta_0$) 방향으로 복원되도록 하여 안정성을 확보합니다.

5. 최종 목적 함수:

   • Anchor Loss (기존 영역 보존), Gen Loss (삽입 뷰 통합), Regularization (파라미터 이동 제어) 의 가중 합을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의: 텍스트 기반 뷰 생성, 삽입된 뷰 통합, 편집 가능한 3D 월드 빌딩을 연결하는 사용자 중심의 3D 장면 확장 (3D Scene Expansion) 작업을 정의했습니다.
2. SceneExpander 프레임워크: 3D 정렬이 안 된 삽입된 뷰를 견고하게 통합하기 위해 Anchor Distillation과 Inserted-view Self-Distillation을 결합한 테스트 시간 적응 프레임워크를 제안했습니다.
3. 실험적 검증: ETH 데이터셋 및 다양한 온라인 데이터를 통해 기존 방법들 (WorldMirror, OmniVGGT, 3DGS 등) 보다 기존 영역의 보존성과 확장된 영역의 품질 모두에서 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 보존성 (Preservation): 기존에 포착된 영역의 재구성 품질을 평가한 PSNR, SSIM, LPIPS 에서 SceneExpander 가 가장 높은 점수를 기록했습니다 (예: PSNR 21.21, SSIM 0.776). 이는 기존 영역이 왜곡되지 않았음을 의미합니다.
  • 확장 품질 (Expansion Quality): GPT 기반 평가 (GPT-IS, GPT-RQ) 와 인간 평가 (H-IS, H-RQ) 에서도 가장 높은 점수를 받아, 삽입된 콘텐츠가 잘 구현되었고 시각적으로 안정적임을 확인했습니다.
• 정성적 평가:
  • 기존 방법들은 삽입된 뷰로 인해 유령 아티팩트 (Ghosting) 나 기하학적 왜곡이 발생했으나, SceneExpander 는 삽입된 객체 (예: 소나무 벤치 위의 다람쥐, 열린 욕실 등) 를 자연스럽게 통합하면서도 기존 장면의 일관성을 유지했습니다.
• Ablation Study:
  • Anchor Distillation 이 기존 영역 보존에 필수적임을 확인했습니다.
  • Subset Sampling 과 데이터 증강이 강건성을 높였습니다.
  • 삽입 확률 $p=0.5$가 보존성과 삽입 만족도 사이의 최적 균형을 제공했습니다.
  • Stochastic Restoration 이 장기적인 적응에서의 안정성을 보장했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 완벽한 3D 일관성을 가진 생성 뷰를 요구하지 않으므로, 현재 생성형 AI 의 한계를 극복하고 실제 워크플로우에 적용 가능한 솔루션을 제공합니다.
• 반복적 월드 빌딩: 사용자가 점진적으로 장면을 확장하고 수정할 수 있는 인터랙티브한 3D 콘텐츠 제작 패러다임을 가능하게 합니다.
• 기술적 통찰: "완벽한 생성" 대신 "견고한 통합 (Robust Integration)"에 초점을 맞춘 접근 방식이, 불완전한 생성 모델과 3D 재구성을 결합할 때 효과적임을 보여주었습니다.

결론적으로, SceneExpander 는 생성형 AI 가 만든 불완전한 2D 뷰를 3D 공간에 견고하게 통합하여, 사용자가 자유롭게 장면을 확장할 수 있는 새로운 가능성을 제시합니다.