1. 문제 정의 (Problem Statement)

• 배경: 게임, 영화, 로봇 공학, 내비게이션 등 다양한 분야에서 몰입감 있고 기하학적으로 정확한 대규모 3D 도시 장면의 생성은 필수적입니다.
• 현황 및 한계:
  • 데이터 부족: 대규모 3D 스캔 데이터가 부족하여 일반화 가능한 생성 모델 학습이 어렵습니다.
  • 위성 이미지 기반 재구성의 한계: 위성 이미지 (Satellite Imagery) 는 광범위한 지리적 커버리지와 고해상도를 제공하지만, 건물 외벽 (Facade) 과 같은 시야각 (Parallax) 이 제한된 영역이 존재합니다. 이를 3DGS(3D Gaussian Splatting) 나 NeRF 와 같은 기존 방법으로 직접 재구성하면, 건물의 측면이 흐릿하거나 왜곡되며, 공중에 떠 있는 아티팩트 (Floaters) 가 발생하는 문제가 있습니다.
  • 기존 도시 생성 방법의 한계: 기존 도시 생성 모델 (CityDreamer 등) 은 주로 심포지 (Semantic maps) 나 높이 필드 (Height fields) 에 의존하여 건물을 단순화하거나, 소규모 도메인 데이터에 과적합되어 실제 위성 이미지의 세부 사항을 반영하지 못합니다.
• 목표: 추가적인 3D 데이터나 거리 기반 (Street-level) 훈련 데이터 없이, 다중 뷰 위성 이미지만으로 사실적이고 내비게이션 가능한 3D 도시 장면을 실시간으로 생성하는 것.

2. 제안 방법 (Methodology: Skyfall-GS)

저자들은 위성 이미지 기반의 거친 3D 재구성과 오픈 도메인 확산 모델 (Diffusion Model) 을 활용한 정교한 외관 합성을 결합한 하이브리드 프레임워크인 Skyfall-GS를 제안합니다. 이 과정은 크게 두 단계로 나뉩니다.

A. 1 단계: 위성 이미지 기반 초기 3DGS 재구성 (Reconstruction Stage)

• 입력: 다중 뷰 위성 이미지 (여러 날짜, 다양한 각도).
• 핵심 기술:
  • 3D Gaussian Splatting (3DGS): 위성 이미지를 기반으로 초기 3D 장면을 구성합니다.
  • 외관 모델링 (Appearance Modeling): 서로 다른 날짜의 이미지에서 발생하는 조명 변화, 계절적 요인, 일시적 객체 (차량 등) 를 처리하기 위해 이미지별 및 가우스별 임베딩을 학습합니다.
  • 정규화 및 깊이 감독:
    • 불투명도 정규화 (Opacity Regularization): 엔트로피 기반 손실 함수를 사용하여 불투명도가 낮은 가우스 (공중에 떠 있는 아티팩트) 를 제거하고 기하학적 경계를 명확히 합니다.
    • 가상 카메라 깊이 감독 (Pseudo Camera Depth Supervision): 지면 근처에 가상 카메라를 배치하여 렌더링된 RGB 이미지를 모노큘러 깊이 추정 모델 (MoGe) 로 분석하고, 이를 통해 3DGS 의 깊이를 보정하여 부유 아티팩트를 줄입니다.

B. 2 단계: 커리큘럼 기반 반복적 데이터셋 업데이트 (Synthesis Stage)

• 목적: 위성 이미지에서 보이지 않는 영역 (건물 외벽 등) 을 채우고, 흐릿한 텍스처를 고해상도로 정제합니다.
• 커리큘럼 학습 전략 (Curriculum Learning Strategy):
  • 초기 3DGS 는 높은 고도 (위성 뷰) 에서 잘 작동하지만, 고도가 낮아질수록 (지면 뷰) 품질이 급격히 저하됩니다.
  • 이를 해결하기 위해, 시점 (Viewpoint) 을 높은 고도에서 점차 낮아지는 고도로 이동시키는 커리큘럼 방식을 도입합니다.
  • 각 에피소드마다 카메라 고도를 낮추며, 이전에 가려졌던 영역을 점진적으로 드러내고 정제합니다.
• 반복적 데이터셋 업데이트 (Iterative Dataset Update, IDU):
  • 텍스트 - 이미지 확산 모델 활용: 초기 3DGS 렌더링 결과를 FlowEdit와 같은 사전 훈련된 텍스트 - 이미지 확산 모델 (FLUX.1) 에 입력합니다.
  • 프롬프트 편집 (Prompt-to-Prompt Editing): "흐릿하고 왜곡된 위성 이미지"를 "선명하고 디테일이 풍부한 고해상도 이미지"로 변환하는 프롬프트를 사용하여 아티팩트를 제거하고 텍스처를 합성합니다.
  • 다중 샘플링 (Multiple Diffusion Samples): 각 뷰당 여러 개의 확산 샘플을 생성하여 3DGS 최적화 시 일관성을 유지하고, 단일 샘플의 편향을 줄입니다.
  • 가상 정답 (Pseudo Ground-truth): 정제된 이미지를 새로운 훈련 데이터로 사용하여 3DGS 모델을 반복적으로 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 위성 이미지 기반 몰입형 3D 도시 생성: 도메인 특화 3D 데이터 훈련 없이, 다중 뷰 위성 이미지만으로 실시간 비행 (Free-flight) 이 가능한 3D 도시를 생성하는 첫 번째 방법입니다.
2. 오픈 도메인 생성적 정제 (Generative Refinement): 사전 훈련된 텍스트 - 이미지 확산 모델의 풍부한 시각적 사전 지식 (Visual Priors) 을 활용하여, 위성 재구성의 열화된 부분을 사실적인 외관으로 복원합니다.
3. 커리큘럼 학습 기반 반복 정제 전략: 시점을 하늘에서 지면으로 점진적으로 낮추는 전략을 통해, 가려진 영역 (건물 외벽 등) 의 기하학적 완성도와 시각적 충실도를 획기적으로 향상시킵니다.

4. 실험 결과 (Results)

• 데이터셋: IEEE GRSS DFC2019 (WorldView-3 위성 이미지) 및 GoogleEarth (NYC 장면) 데이터셋에서 평가.
• 비교 대상:
  • 3D 재구성: Sat-NeRF, EOGS, CoR-GS, Mip-Splatting.
  • 도시 생성: CityDreamer, GaussianCity.
• 성능:
  • 정량적 지표: FID-CLIP, CMMD, PSNR, SSIM, LPIPS 등 모든 주요 지표에서 기존 방법 (SOTA) 보다 우수한 성능을 기록했습니다. 특히 FID-CLIP 점수가 기존 방법 대비 크게 개선되었습니다.
  • 정성적 평가: 건물 외곽선이 선명하고, 텍스처가 사실적이며, 부유 아티팩트가 현저히 줄어든 것을 확인했습니다.
  • 사용자 연구: 기하학적 정확도, 공간 정렬, 전체적인 지각적 품질 측면에서 참가자들의 선호도가 79%~94% 로 압도적으로 높았습니다.
  • 확장성: 인접한 두 개의 위성 이미지 영역을 결합하여 약 1km × 512m 규모의无缝 (Seamless) 3D 장면을 성공적으로 생성했습니다.

5. 의의 및 결론 (Significance)

• 비용 절감 및 접근성: 고비용의 3D 스캔이나 거리 기반 데이터 수집 없이, 공개된 위성 이미지만으로 고품질 3D 도시를 생성할 수 있어 가상 엔터테인먼트, 시뮬레이션, 로봇 공학 등의 분야에서 대규모 3D 환경 구축을 가능하게 합니다.
• 기술적 혁신: 3D 재구성과 생성형 AI(확산 모델) 를 효과적으로 결합하여, 데이터의 불완전성 (시야각 제한) 을 해결하는 새로운 패러다임을 제시했습니다.
• 실시간성: 생성된 3D 장점은 3DGS 기반이므로 MacBook Pro M4 Pro 와 같은 소비자급 하드웨어에서도 60 FPS 로 실시간 렌더링이 가능합니다.

이 연구는 Skyfall-GS를 통해 위성 이미지에서 몰입형 3D 도시를 자동화하고 확장 가능하게 생성하는 길을 열었으며, 향후 도시 전체 규모의 확장 및 동적 장면 모델링으로 이어질 수 있는 중요한 기반을 마련했습니다.