Seeing Across Skies and Streets: Feedforward 3D Reconstruction from Satellite, Drone, and Ground Images

기술 요약: Cross3R – 위성, 드론 및 지상 이미지로부터의 피드포워드 3 차원 재구성

문제 제기
교차 뷰 로컬라이제이션은 전통적으로 지상 카메라의 포즈를 천정 (nadir) 위성 이미지와 관련하여 결정하는 것을 목표로 합니다. 기존 방법들은 본질적으로 3 자유도 (Degrees of Freedom, DoF) 추정, 즉 $(x, y)$ 위치와 요 (yaw) 각도만 복원하는 데 제한되어 있습니다. 이 제한은 단일 천정 위성 타일이 롤, 피치 또는 고도에 대한 직접적인 단서를 제공하지 않기 때문에 발생하며, 이로 인해 모델들은 평면 운동 및 제로 틸트 가정에 의존하게 됩니다. 이러한 가정은 경사, 램프, 불규칙한 지형 또는 기울어진 카메라 마운트가 있는 실제 환경에서는 실패하여 정확도와 견고성이 급격히 저하됩니다. furthermore, 표준 피드포워드 3 차원 재구성 모델은 대략 유사한 고도에서 촬영된 이미지 컬렉션을 위해 설계되었으며, 위성 (상향), UAV(사선), 지상 (원근) 뷰 간의 극단적인 뷰포인트 격차를 넘어 점 구름과 포즈를 정렬하는 데 어려움을 겪습니다.

방법론: Cross3R
저자들은 Cross3R을 제안합니다. 이는 단일 순방향 통과에서 교차 뷰 3 차원 점 구름, 모든 입력 카메라의 6 자유도 포즈, 그리고 원근 카메라의 타일 내 로컬라이제이션을 공동으로 복원하도록 설계된 유연한 피드포워드 기반 모델입니다. 이 모델은 하나 또는 두 개의 원근 뷰 (UAV 및/또는 지상) 와 짝을 이룬 위성 타일을 입력으로 받습니다.

• 핵심 통찰: 단일 UAV 이미지의 도입은 기하학적 다리 역할을 합니다. 이는 천정 뷰에서는 보이지 않는 3 차원 구조를 드러내고, 위성 이미지만으로는 제공할 수 없는 롤, 피치 및 고도에 필요한 단서를 제공합니다. 중요하게도, 이 접근법은 알려진 상대적 포즈가 아닌 UAV 와 지상 카메라 간의 공간적 중첩만 요구합니다.
• 아키텍처: $\pi3$ 모델을 기반으로 하여, Cross3R 은 삼중 뷰 차이를 처리하기 위해 세 가지 주요 수정 사항을 도입합니다:
  1. 인코더: 위성 토큰에 위성의 정규화된 픽셀 그리드의 푸리에 위치 임베딩을 직접 주입하여 첫 번째 레이어에서 직교 격자 구조를 인코딩합니다. 또한 위성 토큰과 원근 토큰을 분리하기 위해 레지스터 토큰 뱅크의 크기를 두 배로 늘립니다.
  2. 교차 어텐션: 소프트맥스 가중 게이트를 사용하여 레이어 간 숨겨진 상태를 융합하여, 모델이 동시에 정밀한 로컬 기하학 (초기 레이어) 과 거시적인 글로벌 레이아웃 (후기 레이어) 에 접근할 수 있도록 합니다.
  3. 디코딩 헤드:
     • 위성 브랜치: 명시적인 직교 기하학적 사전 지식을 강제합니다. 학습된 스칼라 $\rho$가 위성 타일의 픽셀당 스케일을 장면과 연결합니다. $(x, y)$를 예측하는 대신, 모델은 $\rho$로 스케일링된 픽셀 좌표 $(u, v)$를 예측하여 내부 스케일 일관성을 보장합니다.
     • 원근 브랜치 (UAV/지상): 공유된 점 및 카메라 헤드 이전에 위성 특징이 압축되어 원근 토큰에 브로드캐스트 추가되어 위성 좌표계에서의 명시적 지침을 제공합니다.
• 학습 목적: 모델은 네 가지 손실 항의 가중 합으로 학습됩니다: 기하학적 깊이 손실 ($L_{geo}$), 표면 법선 손실 ($L_{norm}$), 신뢰도 맵 손실 ($L_{conf}$), 그리고 카메라 포즈 손실 ($L_{cam}$).
• 샘플별 고도 재정의: 학습을 안정화하기 위해 저자들은 고도를 지역적으로 재앵커합니다. 지상 카메라는 $y=0$으로, UAV 는 상대적 고도 ($30\text{--}120$ m) 로 설정되며, 위성 카메라는 실제 $\sim5,726$ m 고도 대신 최대 UAV 고도 바로 위의 일정한 $150$ m 로 재정의됩니다. 이는 거대한 이동 벡터로 인한 그래디언트 불안정성을 방지합니다.

주요 기여

1. Cross3R 모델: 이전 교차 뷰 방법들의 3 자유도 한계를 깨는 피드포워드 모델로, 위성, UAV 및 지상 이미지로부터 완전한 6 자유도 포즈 추정과 밀집 3 차원 재구성을 가능하게 합니다.
2. CrossGeo 데이터셋: 85 개의 전 세계적으로 분포된 장면에서 277,812 개의 이미지 (46,302 개 샘플) 로 구성된 대규모 삼중 뷰 데이터셋입니다. 이는 완전한 6 자유도 포즈와 밀집 측정 깊이를 갖춘 짝을 이룬 위성, UAV 및 지상 뷰를 제공하는 최초의 공개 벤치마크입니다. 데이터는 Google Maps, Google Earth 및 Google Street View 에서 출처를 얻었습니다.
3. 성능 향상: 이 모델은 UAV 뷰 추가가 지상 - 위성 로컬라이제이션을 크게 개선하여 뷰포인트 격차를 효과적으로 메우고 수직 구조를 복원함을 보여줍니다.

실험 결과

• CrossGeo 평가: Cross3R 은 점 구름 재구성 (Acc-mean, $\delta@\tau$) 과 6 자유도 카메라 포즈 추정 (RRA, RTA, AUC) 에서 피드포워드 3 차원 베이스라인 ($\pi3$, VGGT, AerialMD 포함) 을 일관되게 능가합니다. 또한 우수한 교차 뷰 로컬라이제이션 정확도를 달성하여 최상의 베이스라인 ($\pi3^*$) 의 이동 오류를 절반으로 줄이고 PCK@2m 점수를 거의 네 배로 높였습니다.
• KITTI 제로샷: CrossGeo (KITTI 데이터 없음) 에서만 학습되었음에도 불구하고, Cross3R 은 KITTI 에서 직접 학습된 전문 교차 뷰 방법 (LM, SliceMatch, CCVPE) 보다 대부분의 지표, 특히 측면 회상 및 방향 회상에서 더 나은 성능을 보입니다.
• AnyVisLoc (OOD): 실제 분포 외 테스트 세트인 UAV 사진에서 Cross3R 은 최고의 지상 및 UAV 이동 오류와 최고의 지상 요 오류를 달성하여, 렌더링된 UAV 데이터로 학습되었음에도 실제 항공 사진에 대한 견고성을 입증합니다.
• 애블레이션 연구:
  • UAV 뷰는 특히 UAV 가 근접 천정 뷰포인트를 가진 중간 고도에 있을 때 지상 로컬라이제이션에 결정적인 것으로 나타났습니다.
  • 직교 헤드 ($\rho$) 를 제거하면 교차 뷰 로컬라이제이션이 붕괴되어, 스케일 일관성을 위한 필수 연결 고리로서의 역할을 확인시켜 줍니다.
  • 원시 위성 고도 ($\sim5,700$ m) 를 사용하면 학습 발산이 발생하여 고도 재정의 전략의 필요성을 검증합니다.
  • 데이터 확장 실험은 데이터 증가에 따른 단조로운 성능 개선을 보여주어, 모델이 추가 확장을 위한 상당한 여력을 가지고 있음을 시사합니다.

의의 및 주장
이 논문은 Cross3R 이 위성, 드론 및 지상 점 구름, 카메라 포즈, 그리고 교차 뷰 로컬라이제이션을 단일 샷으로 성공적으로 복원하여 실제 지형의 평면 가정 한계를 극복했다고 주장합니다. UAV 이미지를 중간 뷰포인트로 활용함으로써 6 자유도 추정에 필요한 누락된 수직 단서를 제공합니다. 저자들은 현재 모델이 순방향 통과당 세 개의 이미지와 핀홀 입력으로 제한되지만, 제안된 획득 파이프라인과 네트워크 설계가 확장 가능한 데이터 기반 교차 뷰 3 차원 재구성을 위한 새로운 패러다임을 확립했다고 강조합니다. 이 작업은 거친 도로의 자율 주행, 로봇 항법, 수색 및 구조와 같은 응용 분야의 잠재력을 부각시키면서, 원시 지상 이미지 대신 메타데이터 (pano_ids) 만 공개함으로써 프라이버시 제약을 인정합니다.