Test-Time Adaptation for Height Completion via Self-Supervised ViT Features and Monocular Foundation Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 도시 모니터링, 환경 분석, 인프라 관리 등 지리공간 응용 분야에서 정확한 디지털 표고 모델 (DSM) 은 필수적입니다.
• 문제점:
  • 기존 DSM 은 센서 한계, 재구성 아티팩트, 또는 환경 변화로 인해 불완전하거나 구식인 경우가 많습니다.
  • 전통적 방법: 공간 보간 (Kriging 등) 은 지형의 연속성을 가정하므로, 건물이 완전히 사라지거나 새로운 건물이 생기는 경우 (공간 불연속) 에 실패합니다.
  • 학습 기반 방법: 최근 딥러닝 기반 방법들은 성능이 향상되었으나, 특정 센서나 도메인에 맞춰 지도 학습 (Supervised Training) 이 필요하여 새로운 도메인이나 조건으로의 일반화가 어렵습니다.
  • 단안 높이 추정 (MHE) 의 한계: 위성/항공 이미지 기반의 단안 높이 추정은 원근감 cues 가 부족하여 스케일 - 높이 모호성 (Scale-Height Ambiguity) 이 심하고, 조명 변화에 민감하여 도메인 간 일반화가 어렵습니다.
• 핵심 과제: 기존 DSM(불완전/구식) 과 최신 단안 이미지 (RGB) 를 결합하여, 지도 학습 없이도 공간적으로 분리된 의미론적 유사 영역을 기반으로 높이를 정확하게 복원하고 보정하는 방법론이 필요합니다.

2. 제안 방법론: Prior2DSM

저자들은 Prior2DSM이라는 새로운 프레임워크를 제안합니다. 이 방법은 테스트 시간 적응 (Test-Time Adaptation, TTA) 을 활용하여 사전 학습된 파운데이션 모델을 기반으로 훈련 없이 (Training-free) 작동합니다.

주요 구성 요소 및 프로세스:

1. 입력 데이터:
   • 불완전하거나 구식인 메트릭 높이 사전 정보 (Prior Height Map, $H_{prior}$).
   • 최신 단안 RGB 이미지 ($I$).
   • 변경된 영역을 식별하는 이진 마스크 ($M$).
2. 기초 모델 활용:
   • 단안 깊이 추정 (MDE) 모델: Depth Anything V2, Depth Pro, MoGe-2 등의 파운데이션 모델을 사용하여 상대적 깊이 맵 ($H_{rel}$) 을 생성합니다.
   • 자기 지도 학습 ViT 특징 (Self-Supervised ViT Features): DINOv3 (또는 DINO 계열) 인코더를 사용하여 RGB 이미지에서 밀도 높은 의미론적 특징 (Semantic Features) 을 추출합니다. 이는 객체의 부분이나 유사한 구조물 간의 의미론적 대응 관계를 포착합니다.
3. 밀도 높은 특징 추출 (Dense Feature Extraction):
   • ViT 의 고정된 패치 그리드 한계를 극복하기 위해, 스트라이드 오버랩 누적 전략 (Strided Overlap Accumulation) 을 사용합니다. 입력 이미지를 서브-패치 간격으로 이동시키며 중첩된 특징을 추출하여 공간 해상도를 16 배 증가시키고 세부 구조를 보존합니다.
4. 테스트 시간 적응 (TTA) 및 보정:
   • LoRA (Low-Rank Adaptation): DINOv3 의 어텐션 레이어에 LoRA 를 적용하여 파라미터 효율적으로 모델을 적응시킵니다.
   • MLP 스케일 및 시프트 예측: 추출된 의미론적 토큰을 입력으로 받아, 각 토큰에 대해 공간적으로 변하는 스케일 ($s$) 과 시프트 ($b$) 파라미터를 예측하는 경량 MLP 를 최적화합니다.
   • 수식: 최종 메트릭 높이 $\hat{z} = s \cdot r + b$ (여기서 $r$은 상대적 깊이) 로 계산됩니다.
5. 작동 원리:
   • 기존 DSM 의 불완전한 영역을 채울 때, 단순히 공간적으로 가까운 픽셀을 참조하는 것이 아니라, DINO 특징 공간에서 의미론적으로 유사한 영역 (예: 같은 유형의 건물, 나무) 을 찾아 그 지역의 높이 패턴을 참조하여 보정합니다. 이는 완전히 사라진 객체의 복원에도 유효합니다.

3. 주요 기여 (Key Contributions)

1. 훈련 불필요 (Training-free) TTA 프레임워크: 특정 도메인 데이터에 대한 재학습 없이, 자기 지도 학습 ViT 특징과 단안 파운데이션 모델을 결합하여 메트릭 DSM 을 완성합니다.
2. 의미론적 특징 기반 높이 전이: 공간적 근접성이 아닌 의미론적 유사성을 기반으로 높이 정보를 전파하여, 공간적으로 분리된 유사 객체 간의 높이 관계를 추론하고 완전한 결손 (Missing Objects) 을 복원합니다.
3. 광범위한 벤치마킹: Depth Anything V2, Depth Pro, MoGe-2 등 최신 단안 깊이 추정 백본들을 체계적으로 비교 분석하여 프레임워크의 강건성을 입증했습니다.
4. 실제 적용 사례 검증:
   • DSM 업데이트: 2008 년 구식 DSM 과 최신 이미지를 결합하여 도시 변화 (신축 건물 등) 를 반영한 DSM 업데이트 성공.
   • RGB-DSM 공동 편집: 텍스트 - 이미지 생성 모델 (Text2Earth) 과 연동하여, 생성된 RGB 이미지에 대응하는 메트릭 DSM 을 자동으로 생성하는 가능성 제시.

4. 실험 결과 (Results)

• 데이터셋: 고해상도 항공 이미지 (NAIP, 덴버) 와 위성 이미지 (WorldView-3, 프레즈노) 를 사용.
• 실험 조건: 기존 DSM 의 25%, 50%, 75% 에 해당하는 데이터를 마스킹 (삭제) 하여 불완전도를 시뮬레이션.
• 성능 지표: MAE, RMSE, SSIM (구조적 유사성).
• 주요 결과:
  • 정량적 성능: 모든 불완전도 수준에서 기존 보간법 (Bilinear), 전역/국소 선형 보정 (Global Rescaling, LWLR), 그리고 최신 prior 기반 방법 (PriorDA, Marigold-DC) 보다 일관되게 우수한 성능을 보였습니다.
  • RMSE 개선: 덴버 (NAIP) 데이터셋에서 25% 결손 시, 기존 전역 보정법 대비 RMSE 를 약 46% 감소 (9.01m → 5.31m) 시켰습니다.
  • 구조적 보존: SSIM 점수가 높아, 건물의 경계나 지형의 세부 구조를 잘 보존하며 아티팩트를 줄였습니다.
  • 백본 민감도: MoGe-2 와 Depth Pro 백본이 복잡한 도시 환경에서 DAV2 보다 약간 더 나은 성능을 보였으나, 제안된 프레임워크는 어떤 백본과도 호환되어 강건한 성능을 발휘했습니다.
  • Ablation Study: LoRA 와 MDE(상대적 깊이) 를 모두 사용할 때 가장 성능이 좋았으며, MLP 만으로 직접 높이를 예측하거나 LoRA 를 사용하지 않을 경우 성능이 저하됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 도메인 적응의 혁신: 기존 방법론이 겪던 "센서 의존성"과 "지도 학습 필요성"이라는 한계를 극복했습니다. 사전 학습된 강력한 파운데이션 모델의 지식을 테스트 시간에만 적응시켜 다양한 환경에 적용 가능합니다.
• 실용성: 대규모 지리공간 데이터의 갱신, 결손 데이터 복구, 그리고 생성형 AI 와의 결합을 통한 시뮬레이션 등 실제 응용 분야에 즉시 활용 가능한 솔루션을 제공합니다.
• 미래 지향성: 이 연구는 지리공간 정보 처리 분야에서 자기 지도 학습 (Self-Supervised Learning) 과 테스트 시간 적응 (TTA) 의 잠재력을 입증하며, 향후 더 정교한 3D 지형 재구성 연구의 기초를 마련했습니다.

요약하자면, Prior2DSM은 불완전한 기존 지형 데이터와 최신 이미지를 결합할 때, 의미론적 유사성을 통해 높이를 보정하고 테스트 시간 적응을 통해 훈련 없이도 고정밀 메트릭 DSM 을 생성하는 획기적인 프레임워크입니다.