Extend3D: 단일 이미지 기반 대규모 3D 장면 생성

1. 문제 정의 (Problem)

최근 3D 생성 모델 (Trellis, Hunyuan3D 등) 의 발전으로 고품질의 3D 객체 생성이 가능해졌으나, **대규모 3D 장면 (예: 도시 전경, 광장)**을 단일 이미지로부터 생성하는 데에는 여전히 한계가 존재합니다.

• 객체 중심 (Object-centric) 모델의 한계: 기존 모델들은 주로 단일 객체 데이터로 학습되어 복잡한 객체 배치와 배경을 가진 대규모 장면을 표현하기 어렵습니다.
• 고정된 잠재 공간 (Fixed-size Latent Space): 대부분의 잠재 기반 생성 모델은 고정된 크기의 잠재 공간을 사용하므로, 장면의 규모가 커질수록 디테일이 흐려지거나 저해상도처럼 출력되는 문제가 발생합니다.
• 기존 무학습 (Training-free) 방식의 결함: 기존에 제안된 '아웃페인팅 (Outpainting)' 방식은 블록 간의 일관성이 떨어지고, 이음새 (seams) 가 눈에 띄며, 객체 중심 모델의 특성상 바닥이 사라지거나 객체가 무작위 회전하는 등의 오류가 발생합니다.

2. 방법론 (Methodology)

Extend3D 는 학습이 필요 없는 (training-free) 파이프라인으로, 사전 학습된 객체 중심 3D 생성 모델을 확장하여 대규모 장면을 생성합니다. 핵심 기술은 다음과 같습니다.

가. 확장된 잠재 공간 및 중첩 패치 흐름 (Extended Latent & Overlapping Patch-wise Flow)

• 잠재 공간 확장: 사전 학습된 모델의 잠재 공간 (Latent Space) 을 X, Y 축 방향으로 확장하여 대규모 장면을 표현할 수 있는 공간을 확보합니다.
• 중첩 패치 분할: 확장된 잠재 공간을 중첩되는 (overlapping) 패치로 분할합니다.
• 연결된 디노이징: 각 패치는 이미지 패치 조건을 받아 별도의 디노이징 경로를 가지지만, 중첩 영역을 통해 서로 정보를 교환하며 결합됩니다. 이는 MultiDiffusion 등의 이미지 생성 기법을 3D 에 적용한 것으로, 패치 간의 상호작용을 통해 국소적 디테일을 정교하게 복원하고 오류를 보정합니다.

나. 사전 지식 (Prior) 을 활용한 초기화 및 SDEdit (Initialization & Under-noising)

• 단안 깊이 추정기 (Monocular Depth Estimator) 기반 초기화: 입력 이미지로부터 추출된 포인트 클라우드를 사용하여 3D 구조를 초기화합니다. 이는 이미지와 3D 잠재 공간의 공간적 정렬 (Spatial Alignment) 문제를 해결합니다.
• Under-noising 기법: 초기화된 구조의 가려진 영역 (Occluded Area) 을 채우기 위해 SDEdit 을 적용하되, 기존 방식과 달리 **'Under-noising'**을 도입합니다.
  • 기존 SDEdit 은 원본에 노이즈를 추가한 후 제거하는 방식이지만, Extend3D 는 초기 구조에 원래보다 적은 노이즈를 추가한 후 (즉, $t_{noise} < t_{start}$) 디노이징을 수행합니다.
  • 이는 모델이 가려진 부분을 '추가적인 노이즈'로 인식하게 하여, 생성 모델이 자연스럽게 빈 공간을 채우도록 유도합니다.

다. 3D 인지 최적화 (3D-aware Optimization)

• 잠재 공간 최적화: 객체 중심 모델의 특성 (바닥 소실, 객체 회전 등) 으로 인해 장면의 역학 (Scene Dynamics) 이 왜곡되는 것을 방지하기 위해, 각 디노이징 단계에서 잠재 벡터를 최적화합니다.
• 손실 함수:
  • Sparse Structure Loss: 초기화된 포인트 클라우드가 디노이징 과정에서 사라지지 않도록 보장합니다.
  • Structured Latent Loss (SLAT): 렌더링된 이미지와 원본 이미지 간의 LPIPS 와 SSIM 을 최소화하여 텍스처의 정합성과 이음새를 제거합니다.

3. 주요 기여 (Key Contributions)

1. 확장된 잠재 공간 통합: 객체 중심 모델을 대규모 3D 장면 생성에 적용할 수 있도록 잠재 공간을 확장하고, 이를 위한 새로운 파이프라인을 제시했습니다.
2. 중첩 패치 흐름 (Overlapping Patch-wise Flow): 이미지 조건부 생성 시 국소 정보를 포착하고 객체 중심 모델의 오류를 완화하기 위해 중첩 패치 간의 상호작용을 도입했습니다.
3. 반복적 Under-noising 및 3D 최적화: 깊이 추정기 기반의 초기화와 반복적 SDEdit 을 통해 가려진 영역을 완성하고, 3D 인지 손실 함수를 통해 장면의 기하학적 구조와 텍스처 일관성을 유지하도록 최적화했습니다.

4. 실험 결과 (Results)

• 정성적 평가 (Human Preference): Trellis, Hunyuan3D, EvoScene 등 기존 최첨단 모델들과 비교하여 기하학적 구조 (Geometry), 이미지 충실도 (Faithfulness), 외관 (Appearance), 완성도 (Completeness) 모든 항목에서 인간 평가자들의 선호도가 가장 높았습니다.
• 정량적 평가:
  • 이미지 품질: LPIPS, SSIM, PSNR 지표에서 기존 방법 대비 우수한 성능을 보였습니다 (예: LPIPS 0.240, SSIM 0.611).
  • 기하학적 정확도: UrbanScene3D 데이터셋 기반 Chamfer Distance(CD) 와 F-score 에서 기존 방법보다 정밀도가 높았습니다.
  • 패치 일관성: SynCity 와 비교 시, 패치 간의 이음새가 보이지 않고 텍스트/이미지 조건에 더 잘 부합하는 결과를 생성했습니다.
• 확장성: 바티칸 시가 (Vatican City) 와 같은 광활한 도시 규모의 장면을 원본 잠재 공간보다 36 배 더 큰 규모로 생성하여 랜드마크와 작은 건물까지 디테일하게 표현했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 별도의 추가 학습 없이 기존 3D 생성 모델을 활용하여 대규모 3D 장면을 고품질로 생성할 수 있는 최초의 방법론 중 하나로, 게임, 영화, 시뮬레이션 등 콘텐츠 제작 산업의 생산성 향상에 기여할 것으로 기대됩니다. 특히 'Under-noising' 개념은 3D 완성 (Completion) 작업에 새로운 관점을 제시했습니다.
• 한계:
  1. 가려진 영역의 완전한 채우기가 때로는 불완전할 수 있음 (예: 방 내부 등).
  2. 대규모 장면의 SLAT 최적화 시 메모리 사용량이 매우 큼.
  3. 소실점 (Vanishing Point) 으로 인한 X, Y 축 스케일 불일치로 인해 거리 수준의 이미지 (Street-level) 생성에는 성능이 제한적임.

이 논문은 단일 이미지로부터 복잡한 3D 도시 환경을 생성하는 데 있어 기존 모델의 한계를 극복하고, 확장성과 디테일 모두를 잡은 혁신적인 접근법을 제시했습니다.