MapAnything: Universal Feed-Forward Metric 3D Reconstruction

기술 요약: MapAnything

문제 정의

전통적인 이미지 기반 3D 재구성은 특징점 검출(feature detection), 매칭(matching), 포즈 추정(pose estimation), 카메라 캘리브레이션(camera calibration), 번들 조정(bundle adjustment), 그리고 다중 뷰 스테레오(MVS)와 같이 서로 구분된 순차적 작업들로 문제를 분해하는 데 의존합니다. 최근의 피드포워드(feed-forward) 방식들은 이러한 작업들을 일부 통합하기도 했으나, 여전히 특정 입력 구성(예: 고정된 뷰 개수, 이미지만 입력되는 경우)에 국한되거나, 미터법 스케일(metric scale)과 카메라 포즈를 복원하기 위해 비용이 많이 드는 후처리 과정을 요구하는 경우가 많습니다. 미가공 구조 결정(uncalibrated SfM)부터 캘리브레이션된 MVS 및 깊이 완성(depth completion)에 이르기까지 다양한 3D 재구성 작업을 처리하면서, 카메라 내적 파라미터(intrinsics), 포즈, 깊이 맵과 같은 이질적인 입력을 효과적으로 활용할 수 있는 통합된 엔드투엔드(end-to-end) 모델이 부족한 실정입니다.

방법론: MapAnything

MapAnything는 $N$개의 입력 이미지와 선택적인 기하학적 입력을 통해 미터법 3D 장면 기하 구조와 카메라 포즈를 직접 회귀(regress)하도록 설계된 통합된 트랜스포머 기반 피드포워드 모델입니다.

1. 분해된 장면 표현 (Factored Scene Representation)

MapAnything의 핵심 통찰은 다중 뷰 장면 기하 구조의 **분해된 표현(factored representation)**을 사용하는 것입니다. 모델은 결합된 포인트맵(geometry와 camera parameter가 얽혀 있는 형태)을 예측하는 대신, 출력을 다음과 같이 분해합니다:

• 국소 광선 방향 ($R_i$): 각 픽셀의 광선 방향을 나타내는 정규화된 벡터.
• 광선 깊이 ($\tilde{D}_i$): "스케일 상의(up-to-scale)" 공간에서의 광선 경로를 따른 깊이 값.
• 카메라 포즈 ($\tilde{P}_i$): 첫 번째 뷰를 기준으로 하는 단위 쿼터니언($Q_i$)과 스케일 상의 평행 이동($\tilde{T}_i$)으로 표현됨.
• 미터법 스케일 인자 ($m$): 로컬의 스케일 상의 재구성을 전역적으로 일관된 미터법 프레임으로 업그레이드하는 단일 글로벌 스칼라.

최종 미터법 3D 포인트맵 $X^{metric}_i$는 $m \cdot (O_i \cdot (R_i \cdot \tilde{D}_i) + \tilde{T}_i)$로 계산됩니다. 여기서 $O_i$는 쿼터니언으로부터 유도된 회전 행렬입니다.

2. 아키텍처

• 입력 인코딩: 모델은 $N$개의 RGB 이미지와 선택적인 기하학적 입력(광선 방향, 포즈, 깊이 맵)을 수용합니다. 이미지는 DINOv2(ViT-G)를 사용하여 인코딩됩니다. 기하학적 입력은 밀집된 입력(광선/깊이 등)의 경우 얕은 합성곱 인코더(shallow convolutional encoders)를 통해, 글로벌 양(회전/평행 이동 스케일 등)의 경우 MLP를 통해 분해되어 인코딩됩니다.
• 다중 뷰 트랜스포머 (Multi-View Transformer): 인코딩된 특징들은 토큰으로 평탄화됩니다. 하나의 학습 가능한 **스케일 토큰(scale token)**이 $N$개의 뷰 토큰 세트에 추가됩니다. 첫 번째 뷰를 구분하기 위해 고정된 참조 뷰 임베딩이 추가됩니다. 이 토큰들은 뷰 간의 정보를 융합하기 위해 (DINOv2 레이어로부터 초기화된) 16개 레이어의 교대 주의 집중(alternating-attention) 트랜스포머에 의해 처리됩니다.
• 디코딩 헤드 (Decoding Heads):
  • DPT 헤드: $N$개의 뷰 토큰을 디코딩하여 뷰별 밀집 출력(광선 방향, 스케일 상의 광선 깊이, 신뢰도 마스크, 포인트맵 신뢰도 맵)을 생성합니다.
  • 포즈 헤드: 평균 풀링 기반의 합성곱 헤드가 모든 뷰에 대한 단위 쿼터니언과 스케일 상의 평행 이동을 예측합니다.
  • 스케일 헤드: MLP가 스케일 토큰을 처리하여 글로벌 미터법 스케일링 인자 $m$을 예측합니다.

3. 학습 전략

MapAnything는 12가지 이상의 서로 다른 문제 구성(실내, 실외, 합성 데이터)을 포함하는 13개 데이터셋의 다양한 집합체에서 엔드투엔드로 학습됩니다.

• 유연한 입력 증강 (Flexible Input Augmentation): 학습 중에 기하학적 입력(내적 파라미터, 포즈, 깊이)은 실제 환경에서 데이터가 부분적이거나 누락될 수 있는 시나리오를 시뮬레이션하기 위해 다양한 확률(각 인자당 0.5)로 제공됩니다.
• 손실 함수 (Loss Functions): 모델은 다음과 같은 복합 손실 함수를 사용합니다:
  • 광선, 회전, 평행 이동에 대한 회귀 손실.
  • 광선 깊이, 포인트맵, 미터법 스케일 인자의 넓은 동적 범위를 처리하기 위한 로그 공간(log-space) 손실.
  • 신뢰도가 가중치된 포인트맵 손실 및 이진 교차 엔트로피(binary cross-entropy) 마스크.
  • (합성 데이터에 적용되는) 노멀(normal) 및 다중 스속도 그래디언트 매칭 손실.
• 스케일 처리: 스케일 손실의 그래디언트가 기하 구조를 손상시키는 것을 방지하기 위해, 미터법 스케일 인자는 분리된(detached) 스케일 상의 노름 스케일링 인자($z_{metric} = m \cdot \text{sg}(\tilde{z})$)를 사용하여 계산됩니다.

주요 기여

1. 통합 피드포워드 모델: MapAnything는 단일 모델로 12가지 이상의 서로 다른 3D 재구성 문제 구성(예: uncalibrated SfM, calibrated MVS, 단안 깊이 추정, 카메라 위치 추정)을 지원하며, 특화된 모델들과 대등하거나 이를 능가하는 성능을 보여줍니다.
2. 분해된 장면 표현: 로컬 기하 구조(광선/깊이)를 글로벌 포즈 및 미터법 스케일과 분리함으로써, 모델은 비용이 많이 드는 후처리나 중복된 예측 없이도 유연한 입력과 효율적인 예측을 가능하게 합니다.
3. 최첨단 성능 (State-of-the-Art Performance): MapAnything는 다른 피드포워드 베이스라인(예: DUSt3R, VGGT, MASt3R)보다 우수한 성능을 보이며, 특정 작업에 맞춰진 전문가 모델과 대등하거나 그 이상의 성능을 달립니다.
4. 오픈 소스 공개: 저자들은 데이터 처리, 추론 및 학습을 위한 코드와 함께 허용적인 라이선스(Apache 2.0 및 CC BY-NC 4.0) 하에 사전 학습된 모델을 공개합니다.

결과

본 논문은 다양한 작업과 입력 구성에 대해 MapAnything를 벤치마킹합니다:

• 다중 뷰 밀집 재구성: ETH3D, ScanNet++ v2, TartanAirV2-WB에서 MapAnything는 이미지만을 사용했을 때 포인트맵, 포즈, 깊이 및 광선 방향 추정에서 최첨단 성능을 달성합니다. 보조 기하학적 입력(내적 파라미터, 포즈, 깊이)이 제공될 때 베이스라인보다 성능이 크게 향상됩니다.
• 2-뷰 재구성: MapAnything는 모든 입력 구성에서 (사전 지식을 사용하는 유일한 다른 2-뷰 피드포워드 방식인) Pow3R 및 이미지만 사용하는 베이스라인을 능가합니다.
• 단일 뷰 캘리브레이션: 단일 이미지에 대해 특별히 학습되지 않았음에도 불구하고, MapAnything는 ETH3D, ScanNet++ v2, TartanAir에서 최첨단 투영 캘리브레이션 정확도를 달성합니다.
• 깊이 추정: Robust-MVD 벤치마크에서 MapAnything는 다중 뷰 미터법 깊이 추정에서 MASt3R 및 MUSt3R와 같은 특화된 모델보다 뛰어난 성능을 보입니다. 보조 입력을 사용할 경우, 작업별 모델들과 경쟁할 만한 결과를 제공합니다.
• 효율성: 절제 연구(Ablation study, 표 5)에 따르면, 단일 범용 학습 모델이 특정 입력 구성에 맞춰 학습된 여러 개의 맞춤형 모델과 대등하거나 더 나은 성능을 내면서도, 두 개의 맞춤형 모델과 비교했을 때 계산 비용이 비슷함을 입증했습니다.

의의 및 주장

저자들은 MapAnything를 **범용 3D 재구성 백본(universal 3D reconstruction backbone)**을 향한 단계로 정의합니다. 다양한 작업과 입력 모달리티를 단일 피드포워드 패스로 통합함으로써, 이 모델은 많은 시나리오에서 작업별 튜닝과 복잡한 최적화 파이프라인(번들 조정 등)의 필요성을 제거합니다. 분해된 표현 방식은 모델이 부분적인 주석(annotation)과 이질적인 입력을 효과적으로 활용할 수 있게 하여, "in-the-wild" 애플리케이션에 대한 강건성을 제공합니다. 본 논문은 이러한 접근 방식이 미래의 3D/4D 파운데이션 모델 연구를 위한 길을 열어준다고 주장하지만, 동적 움직임 처리, 명시적인 불확실성 정량화, 그리고 매우 거대한 장면에 대한 확장성 측면에서의 한계 또한 인정하고 있습니다.