技術要約: MapAnything

問題提起

従来の画像ベースの3D再構成は、特徴点検出、マッチング、ポーズ推定、カメラキャリブレーション、バンドル調整、マルチビューステレオ（MVS）といった、個別の連続したタスクに問題を分解することに依存しています。近年のフィードフォワード・アプローチは、いくつかのタスクを統合してはいるものの、特定の入力構成（例：固定されたビュー数、画像のみの入力）に限定されることが多く、メトリックスケールやカメラポーズを復元するために高価な後処理を必要とする場合が多々あります。多様な3D再構成タスク（未キャリブレーションのStructure-from-Motion（SfM）から、キャリブレーション済みMVS、および深度補完まで）を扱い、かつカメラの内部パラメータ、ポーズ、深度マップといったヘテロジニアスな入力を効果的に活用できる、統一されたエンドツーエンドのモデルが不足しています。

手法: MapAnything

MapAnythingは、$N$個の入力画像とオプションの幾何学的入力から、メトリックな3Dシーンの幾何構造とカメラポーズを直接回帰するように設計された、統一されたトランスフォーマーベースのフィードフォワードモデルです。

1. 分解されたシーン表現 (Factored Scene Representation)

MapAnythingの核心的な洞察は、マルチビューのシーン幾何学における**分解された表現（factored representation）**の使用にあります。モデルは、幾何構造とカメラパラメータが絡み合った結合されたポイントマップを予測するのではなく、出力を以下のように分解します：

• 局所的なレイ方向 ($R_i$): 各ピクセルのレイの方向を表す正規化されたベクトル。
• レイ深度 ($\tilde{D}_i$): 「スケールを除いた（up-to-scale）」空間におけるレイに沿った深度値。
• カメラポーズ ($\tilde{P}_i$): 第1ビューに対する単位クォータニオン ($Q_i$) と、スケールを除いた並進成分 ($\tilde{T}_i$) として表現。
• メトリックスケール因子 ($m$): 局所的でスケールを除いた再構成を、グローバルに一貫したメトリックフレームへとアップグレードする単一のグローバルスカラー。

最終的なメトリック3Dポイントマップ $X^{metric}_i$ は、$m \cdot (O_i \cdot (R_i \cdot \tilde{D}_i) + \tilde{T}_i)$ として計算されます。ここで、$O_i$ はクォータニオンから導出された回転行列です。

2. アーキテクチャ

• 入力エンコーディング: モデルは、$N$個のRGB画像とオプションの幾何学的入力（レイ方向、ポーズ、深度マップ）を受け取ります。画像はDINOv2 (ViT-G) を用いてエンコードされます。幾何学的入力は、レイや深度のような高密度な入力には浅い畳み込みエンコーダを、回転や並進のスケルのようなグローバルな量にはMLPを用いて、分解およびエンコードされます。
• マルチビュー・トランスフォーマー: エンコードされた特徴量はトークンへとフラット化されます。単一の学習可能なスケール・トークンが、$N$個のビュー・トークンの集合に追加されます。また、第1ビューを区別するために、固定されたリファレンス・ビューの埋め込みが追加されます。これらのトークンは、情報をビュー間で融合させるために、16層の交互注意（alternating-attention）トランスフォーマー（DINOv2のレイから初期化）によって処理されます。
• デコーディング・ヘッド:
  • DPTヘッド: $N$個のビュー・トークンをデコードし、ビューごとの高密度な出力（レイ方向、スケールを除いたレイ深度、信頼度マスク、およびポイントマップの信頼度マップ）を生成します。
  • ポーズ・ヘッド: 平均プーリングベースの畳み込みヘッドにより、全ビューの単位クォータニオンとスケールを除いた並進成分を予測します。
  • スケール・ヘッド: MLPがスケール・トークンを処理し、グローバルなメトリック・スケーリング因子 $m$ を予測します。

3. 学習戦略

MapAnythingは、13のデータセット（屋内、屋外、合成データ）を集約した多様なデータセット上でエンドツーエンドで学習されます。これらは12種類以上の異なる問題構成をカバーしています。

• 柔軟な入力拡張 (Flexible Input Augmentation): 学習中、幾何学的入力（内部パラメータ、ポーズ、深度）は、データが部分的または欠落している実世界のシナリオをシミュレートするために、変動する確率（例：各要素に対して0.5）で提供されます。
• 損失関数: モデルは以下の複合損失関数を利用します：
  • レイ、回転、および並進に関する回帰損失。
  • レイ深度、ポイントマップ、およびメトリックスケール因子の大きなダイナミックレンジを扱うためのログ空間損失。
  • 信頼度重み付きポイントマップ損失およびバイナリ交差エントロピー。
  • 合成データに適用される法線およびマルチスケール勾配マッチング損失。
• スケールの扱い: スケール損失の勾配が幾何構造を破壊するのを防ぐため、メトリックスケール因子は、デタッチされた（detached）アップ・トゥ・スケールのノルム・スケーリング因子 ($z_{metric} = m \cdot \text{sg}(\tilde{z})$) を用いて計算されます。

主な貢献

1. 統一されたフィードフォワードモデル: MapAnythingは、単一のモデルで12種類以上の異なる3D再構成問題の設定（例：未キャリブレーションのSfM、キャリブレーション済みMVS、単眼深度推定、カメラローカライゼーション）をサポートしており、専門特化したモデルと同等またはそれを上回る性能を発揮します。
2. 分解されたシーン表現: 局所的な幾何構造（レイ/深度）をグローバルなポーズおよびメトリックスケールから分離することで、モデルは柔軟な入力と、コストのかかる後処理や冗長な予測を必要としない効率的な予測を可能にします。
3. 最先端の性能: MapAnythingは、他のフィードフォワード・ベースライン（DUSt3R, VGGT, MASt3Rなど）と比較して優れた結果を示し、特定のタスク向けにカスタマイズされたエキスパート・モデルと同等またはそれ以上の性能を実現します。
4. オープンソースでの公開: 著者らは、データ処理、推論、学習のためのコードを、寛容なライセンス（Apache 2.0 および CC BY-NC 4.0）の下で公開しています。

結果

論文では、複数のタスクと入力構成にわたってMapAnythingをベンチマークしています：

• マルチビュー高密度再構成: ETH3D、ScanNet++ v2、および TartanAirV2-WBにおいて、MapAnythingは画像入力のみを使用して、ポイントマップ、ポーズ、深度、およびレイ方向の推定において最先端の性能を達成しています。補助的な幾何学的入力（内部パラメータ、ポーズ、深度）が提供された場合、ベースラインを大幅に上回ります。
• 2ビュー再構成: MapAnythingは、すべての入力構成において、Pow3R（事前知識を使用する唯一の他の2ビュー・フィードフォワード手法）および画像のみのベースラインを凌駕しています。
• 単一ビュー・キャリブレーション: 単一の画像に対して特別に学習されていないにもかかわらず、MapAnythingはETH3D、ScanNet++ v2、およびTartanAirにおいて、最先端のパースペクティブ・キャリブレーション精度を達成しています。
• 深度推定: Robust-MVDベンチマークにおいて、MapAnythingはマルチビュー・メトリック深度推定においてMASt3RやMUSt3Rのような特化型モデルを上回ります。補助入力がある場合、タスク特化型モデルに対して競争力のある結果を提供します。
• 効率性: アブレーション研究（表5）は、単一の普遍的に学習されたモデルが、特定の入力構成に合わせて訓練された複数の専用モデルと同等、あるいはそれ以上の性能を発揮することを実証しており、その計算コストはわずか2つの専用モデルと同程度です。

重要性と主張

著者らは、MapAnythingをユニバーサルな3D再構成バックボーンへの一歩として位置づけています。多様なタスクと入力モダリティを単一のフィードフォワード・パスに統合することで、このモデルは多くのシナリオにおいて、タスク固有のチューニングや複雑な最適化パイプライン（バンドル調整など）の必要性を排除します。分解された表現により、モデルは部分的なアノテーションやヘテロジニアスな入力を効果的に活用することができ、「イン・ザ・ワイルド」のアプリケーションに対する堅牢性を備えています。論文は、このアプローチが将来の3D/4D基盤モデルの研究への道を開くものであると主張していますが、動的な動きの処理、明示的な不確実性の定量化、および極めて大規模なシーンへのスケーラビリティに関する限界も認めています。