기술 요약: SeasonScapes

문제 정의

희소하고 제약이 없는 뷰에서 대규모 3D 지형 재구성은 컴퓨터 비전 분야에서 여전히 중요한 과제로 남아 있습니다. 기존 방법들은 카메라 보정 오류, 제한된 장면 커버리지, 그리고 동적 조명과 계절적 외관 변화를 포함하는 높은 장면 복잡성에 직면하여 어려움을 겪고 있습니다. 정적 도시 환경을 위한 대규모 데이터셋은 존재하지만, 계절적 변화와 일주기 조명 주기를 모두 포착하는 자연적이고 무한한 산악 지형을 위한 고품질의 시간적으로 풍부한 데이터셋에는 명백한 격차가 있습니다. 또한, 전통적인 메쉬 기반 시스템 (예: Google Earth) 은 정적 기하학과 혼합된 위성 텍스처에 의존하여, 광도 일관성을 갖춘 뷰 의존적 외관이나 다양한 조명 조건을 모델링하지 못합니다.

방법론

저자들은 희소 웹캠 이미지로부터 대규모 재조명 가능한 3D 지형을 재구성하기 위해 설계된 프레임워크이자 데이터셋인 SeasonScapes를 제안합니다. 이 파이프라인은 다음과 같은 단계를 통해 웹캠, 위성 이미지, 그리고 고도 모델과 같은 다중 모달 데이터를 통합합니다:

1. 데이터 전처리 및 초기화

• 기본 기하학: 프로세스는 대상 지역 (예: 베른 고지) 의 저해상도 디지털 고도 모델 (IDEM) 과 위성 컬러 이미지 ($I_S$) 로 시작합니다. IDEM 에서 픽셀 높이를 매핑하고 $I_S$로 색상을 입혀 3D 포인트 클라우드를 생성합니다. 그런 다음 푸아송 표면 재구성을 사용하여 3D 메쉬 ($M$) 를 구성합니다.
• UV 언워핑: xatlas 라이브러리를 사용하여 메쉬 표면을 언워핑하여 UV 텍스처 맵을 생성하고, 텍스처 저장과 기하학을 분리합니다.
• 웹캠 정렬: 파노라마 웹캠 피드 (360° 원통형) 를 4~6 개의 원근 하위 이미지로 분할합니다. 이러한 이미지들은 일관성을 위해 컬러 그레이딩을 거친 후 3D 메쉬와 정렬됩니다.
• 카메라 최적화: 초기 카메라 포즈는 GPS 좌표에서 파생되지만 학습 기반 접근법을 통해 정제됩니다. 저자들은 수동으로 2D-3D 대응 관계를 설정하고, 투영된 3D 포인트와 목표 2D 이미지 포인트 간의 L1 픽셀 손실을 최소화하여 내재적 (초점 거리) 및 외재적 (회전) 매개변수를 최적화합니다.

2. 3D 메쉬 텍스처링 및 인페인팅

가려짐과 희소 커버리지를 해결하기 위해, 프레임워크는 두 단계 텍스처링 프로세스를 사용합니다:

• 초기 페인팅: 전처리된 웹캠 이미지를 메쉬의 UV 맵에 투영합니다. 이전에 페인팅된 영역이 보존되도록 UV 마스크에 기반하여 새로운 텍스처를 기존 텍스처와 혼합하는 점진적 중첩 전략을 사용합니다.
• 반복적 인페인팅: 웹캠 뷰로 커버되지 않은 영역의 경우, 시스템은 누락된 영역을 인페인팅하기 위해 깊이 인식 확산 모델 (ControlNet) 을 사용합니다.
  • 궤적: 시스템은 특정 포즈를 가진 새로운 뷰 경로를 정의합니다.
  • 조건부: 각 단계마다 RGBD 이미지를 렌더링합니다. HSV 컬러 공간 필터링을 사용하여 누락된 영역을 식별하는 무색 마스크를 생성합니다.
  • 확산: ControlNet 파이프라인은 깊이 맵, 인접 웹캠에서의 외관 안내를 위한 IP-Adapter, 그리고 텍스트 프롬프트를 기반으로 인페인팅에 조건을 부여합니다.
  • 투영: 생성된 인페인팅된 이미지를 로컬 UV 텍스처 맵에 다시 투영하고 이전 텍스처와 중첩합니다.

3. 재조명 가능한 3D 표현

최종 단계는 시간적으로 다양한 완성된 데이터셋을 사용하여 Wild Gaussian 모델 (3D Gaussian Splatting 의 확장) 을 학습하는 것을 포함합니다.

• 동적 임베딩: 모델은 계절 및 일주기 변화를 포착하기 위해 시간 임베딩을 통합합니다.
• 외관 MLP: 다층 퍼셉트론 (MLP) 은 각 가우시안의 기본 색상 속성을 뷰 레이 방향과 시간에 따라 변환하여, 동적 장면 속성 재구성과 재조명 기능을 가능하게 합니다.

주요 기여

1. SeasonScapes 데이터셋: 3,000km²의 알파인 지형을 커버하는 고품질의 대규모 다중 모달 데이터셋입니다. 13 개의 타임스탬프에 걸쳐 32 개 위치에서 촬영된 85,000 개 이상의 웹캠 이미지를 포함하며, 전체 계절 주기와 일주기 변화를 포착합니다. 지상 이미지와 지리 참조 위성 데이터 간의 정밀한 타임스탬프 주석 및 보정된 2D-3D 대응 관계를 제공합니다.
2. SeasonScapes 프레임워크: 재조명 가능한 3D 지형을 생성하기 위한 새로운 파이프라인입니다. GPS 좌표 간의 선형 또는 3 차 스플라인 인페인팅 궤적을 도입하고, 법선 기반 필터링에만 의존하지 않고 UV 인덱싱 및 깊이 렌더링을 통한 가려짐 인식 페인팅을 수행함으로써 대규모 무한 장면을 독특하게 처리합니다.
3. 동적 재조명 가능한 모델링: 재조명 가능한 가우시안 학습에 동적 임베딩을 통합하여 대규모 야외 장면에서 계절 및 시간대와 같은 시간적 변화를 효과적으로 모델링합니다.

결과 및 평가

저자들은 그릴델발트 (소규모), 융프라우 (중규모), 베른 고지 (대규모) 의 세 가지 다양한 테스트 장면을 통해 파이프라인을 평가했습니다.

• 정량적 지표: 성능은 LPIPS, PSNR, SSIM 을 사용하여 측정되었습니다. 그릴델발트 장면은 0.159 의 LPIPS 를 달성한 반면, 더 큰 융프라우와 베른 장면은 각각 0.191 과 0.216 의 더 높은 LPIPS 값을 보였습니다. 저자들은 더 큰 장면에서의 성능 저하는 합성이 필요한 보이지 않는 영역의 비율 증가로 인한 것이라고 설명합니다.
• 애블레이션 연구: 초기 페인팅 단계를 제거하면 성능이 크게 저하되었습니다 (그릴델발트의 경우 LPIPS 에서 최대 33.1% 감소), 이는 두 단계 접근법의 필요성을 강조합니다. 깊이 제어를 제거하면 먼 지역에서 "산 환각"이 발생했으며, IP-Adapter 는 주로 색상 톤을 조절하는 것으로 나타났습니다.
• 정성적 비교: Google Earth 와 비교하여 SeasonScapes 접근법은 수직에 가까운 뷰를 더 잘 포착하여 가파른 절벽면에서 더 우수한 색상을 보여주었으며, 상향 위성 관점에서 흔히 발생하는 왜곡과 세부 정보 손실을 방지했습니다. 이 방법은 또한 계절적 변화에 더 큰 적응력을 보였습니다.

중요성 및 한계

이 논문은 SeasonScapes 를 기하학적으로 정확할 뿐만 아니라 시간적으로 광도 일관성을 갖춘 자연 환경의 디지털 트윈을 만드는 한 걸음으로 위치시킵니다. 희소 웹캠 데이터와 확산 사전 지식을 결합함으로써, 이 방법은 장기적인 환경 전환과 단기적인 조명 변화를 모델링할 수 있게 하여 정적 위성 기반 재구성을 넘어섰습니다.

저자들은 현재의 한계를 인정합니다:

• 수동 2D-3D 대응 관계 과정은 시간이 많이 소요됩니다.
• ControlNet 은 매우 작은 누락된 영역을 인페인팅하는 데 어려움을 겪습니다.
• 재조명 가능한 가우시안 출력은 때때로 흐린 아티팩트를 보이며, 이는 아마도 보정 오류와 Wild Gaussian 프레임워크의 표현력 제약 때문일 것입니다.

이 연구는 환경 모니터링, 기상 모델링, 가상 관광과 같은 응용 분야를 위한 기초를 제공하며, 기존 정적 데이터셋보다 더 역동적이고 현실적인 자연 지형의 표현을 제시합니다.