Feed-Forward Gaussian Splatting from Sparse Aerial Views

기술 요약: 희소 항공 뷰에서의 피드포워드 가우스 스플래팅 (AnyCity)

문제 제기
희소 항공 뷰로부터 대규모 도시 장면을 재구성하는 것은 디지털 트윈 및 도시 계획에 있어 중요한 과제입니다. 그러나 희소 항공 촬영은 편향된 상향 및 얕은 사선 카메라 포즈로 인해 심각한 증거 불균형을 겪습니다. 지붕과 개방된 지역은 반복적으로 관측되지만, 수직 외벽, 원거리 건물, 가려진 구조물은 다중 뷰 지원을 거의 받지 못합니다. 희소 입력으로부터 결정론적 표현을 직접 회귀시키는 기존 피드포워드 3D 가우스 스플래팅 (3DGS) 방법들은 이러한 설정에서 종종 실패하여 고스트 현상, 녹아내린 외벽, 늘어지는 텍스처를 생성합니다. 반면, 사전 지식에 크게 의존하는 최근 생성적 방법들은 관측된 기하학과 생성된 콘텐츠 사이의 명확한 분리가 부족하여, 그럴듯하지만 기하학적으로 일관성 없는 구조물을 초래합니다.

방법론: AnyCity
저자들은 이러한 불균형을 해결하기 위해 관측 기반 생성적 재구성 프레임워크인 AnyCity를 제안합니다. 핵심 통찰은 희소 항공 재구성을 제어된 생성적 정제 문제로 취급하는 것으로, 여기서 생성적 사전 지식은 관측으로 지원되는 기하학을 보존하면서 약하게 제약된 콘텐츠만을 보조적으로 돕습니다. 파이프라인은 장면별 최적화 없이 단일 피드포워드 패스로 작동합니다.

1. 관측 지원 발판 (Observation-Scaffold):
   모델은 먼저 피드포워드 다중 뷰 백본을 사용하여 희소 포즈 없는 항공 이미지로부터 기하 잠재 변수 ($Z_{geo}$) 를 예측합니다. 이 잠재 변수는 입력 관측에 직접적으로 지원되는 신뢰할 수 있는 구조물을 고정합니다. 첫 번째 훈련 단계에서 이 경로는 부유하는 가우스와 외벽 녹아내림을 억제하기 위해 광도 및 경량 기하 손실 (깊이 정렬 및 법선 평탄화) 을 사용하여 최적화됩니다.

2. 항공 완성 토큰 (Aerial Completion Tokens):
   약하게 제약된 콘텐츠 (예: 외벽, 원거리 건물) 를 처리하기 위해 모델은 항공 완성 토큰을 도입합니다. 이러한 토큰은 관측 지원 발판에서 컨텍스트를 읽어들여 기하 잠재 변수에 게이트된 잔차 업데이트 ($\Delta Z$) 를 예측합니다. 이를 통해 발판은 신뢰할 수 있는 기하학에 책임이 있게 유지되고, 완성 분기는 모호한 지역을 처리하게 됩니다.

3. 게이트형 비디오 사전 지식 주입:
   세밀한 도시 외관 단서를 제공하기 위해 AnyCity 는 LoRA 를 통해 항공 도메인에 적응된 고정된 비디오 확산 백본 (Wan 2.2) 을 활용합니다. 비디오 사전 지식 특징은 완성 토큰 공간으로 투영됩니다. 중요한 점은 토큰별 게이트가 각 완성 토큰이 비디오 사전 지식에 얼마나 강하게 주의를 기울이는지 조절한다는 것입니다. 이를 통해 생성적 사전 지식은 주요 기하 스트림을 직접 수정하거나 신뢰할 수 있는 관측을 변경하지 않고도 약하게 제약된 콘텐츠를 정제할 수 있습니다.

4. 훈련 전략:
   모델은 두 단계의 점진적 훈련 방식을 채택합니다:

   • 1 단계: 기하 손실을 사용하여 관측 지원 발판을 안정화합니다.
   • 2 단계: 완성 분기, 비디오 사전 지식, 및 게이트형 조건부 기능을 활성화합니다. 이 단계는 밀집 뷰로 훈련된 "교사" 모델이 희소 관측에서 놓친 구조물에 대해 "학생"(희소 입력) 을 안내하는 밀집에서 희소로의 증류를 활용합니다. 관측 보존 손실은 잔차 정제가 희소 입력으로 이미 지원되는 기하학을 변경하지 않도록 보장합니다.

주요 기여

• AnyCity 프레임워크: 제한된 중첩, 약한 시차, 불균일한 장면 증거를 처리할 수 있도록 설계된, 희소 포즈 없는 항공 도시 뷰를 대상으로 하는 피드포워드 생성적 재구성 프레임워크.
• 항공 적응형 비디오 사전 지식: 발판 조건부 항공 완성 토큰을 통해 라우팅된 비디오 확산 사전 지식의 도입. 이 설계는 생성적 단서가 장면을 직접 형성하는 대신 가우스 디코딩 이전에 약하게 제약된 콘텐츠를 정제할 수 있도록 하여 기하학적 일관성을 유지합니다.
• 점진적 훈련 및 관측 보존: 먼저 관측 지원 발판을 안정화한 후 밀집에서 희소로의 증류 및 관측 보존 목표를 사용하여 비디오 사전 지식 정제를 감독하는 훈련 전략. 이는 모델이 신뢰할 수 있는 증거가 존재하는 곳에서 구조물을 환각하는 것을 방지합니다.
• 실증적 검증: 합성, 항공 도메인, UAV 텍스처, 및 실제 장면에서의 광범위한 평가는 기존 피드포워드 베이스라인, 특히 약하게 제약된 지역에서 일관된 개선을 보여줍니다.

결과
실험 결과, AnyCity 는 다양한 입력 뷰 수 (2, 4, 16 개 뷰) 에서 일반화 가능한 피드포워드 베이스라인 (예: NoPoSplat, FLARE, AnySplat) 보다 우수한 신규 뷰 합성 품질을 달성했습니다.

• 정량적: GoogleEarth 및 CityNerf 데이터셋에서 AnyCity 는 PSNR, SSIM, LPIPS 에서 베이스라인을 능가합니다. 예를 들어, GoogleEarth 에서 4 개 뷰로 실행 시 AnySplat 의 17.256 대비 PSNR 18.466 을 달성합니다.
• 정성적: 이 방법은 더 사실적인 렌더링을 생성하며 외벽 연속성이 향상되고 부유 아티팩트가 줄어듭니다.
• 효율성: 장면별 최적화 방법 (예: CityGaussianV2) 이 수 분에서 수 시간이 소요되는 것과 달리, AnyCity 는 정밀한 카메라 포즈나 SfM 초기화가 필요 없이 초 단위로 최종 3DGS 를 재구성합니다 (예: 32 개 뷰 기준 약 3.4 초).
• 진단: 지역별 분석은 이 방법이 관측 지원 지역에서 높은 충실도를 유지하면서 약하게 제약된 지역 (외벽, 원거리 건물) 을 크게 개선함을 확인시켜 줍니다.

의의 및 주장
본 논문은 AnyCity 가 피드포워드 재구성의 효율성과 확산 모델의 생성적 능력 사이의 간극을 성공적으로 연결하며, 특히 항공 이미지의 고유한 도전에 맞춰 설계되었음을 주장합니다. 신뢰할 수 있는 관측 지원 기하학과 생성적 정제를 분리함으로써, 이 방법은 순수 생성적 접근법의 "그럴듯하지만 일관성 없는" 함정을 피합니다. 저자들은 AnyCity 를 항공 데이터 수집에서 전형적인 증거 불균형 조건 하에서 효과적으로 작동할 수 있는 확장 가능하고 포즈가 없는 3D 도시 재구성을 향한 한 걸음으로 위치시킵니다. 이 연구는 생성적 사전 지식이 직접적인 장면 생성기가 아닌 잔차 업데이트를 위한 잠재 조건부로 사용될 때 가장 효과적임을 강조합니다.