技術的サマリー：DéjàView – 多視点 3 次元再構成のためのループ型トランスフォーマー

問題提起

従来の多視点 3 次元再構成は、特徴量マッチング、姿勢推定、ブundle 調整を含む反復的な Structure-from-Motion (SfM) パイプラインに依存していました。近年の進展は、1 回のパスで 3 次元幾何学を回帰するフィードフォワード型トランスフォーマーへと移行しています。しかし、これらの最先端モデルは、コンピュータビジョンにおけるモデル容量の増加というトレンドに従い、10 億以上のパラメータにスケールしています。

著者らは、これらの大規模トランスフォーマーにおける深さからの性能向上は、固有の表現能力というよりも暗黙的な反復的洗練に起因する可能性があると仮説を立てています。証拠は、連続するトランスフォーマー層がしばしば類似した操作の反復適用のように振る舞い、デコーダ層が予測を漸進的に洗練することを示唆しています。現在のアーキテクチャは、各層に固有のパラメータを使用することで、この「反復」を非効率的に支払っています。本論文は、この反復プロセスを明示的にするアーキテクチャの必要性に対処し、大幅に少ないパラメータで高品質な再構成を可能にし、推論時に計算リソースと精度のトレードオフを調整できることを目指しています。

手法：DéjàView

コアアーキテクチャ

DéjàView は、深いフィードフォワード型トランスフォーマースタックを、$K$回再帰的に適用される単一のループ型トランスフォーマーブロックに置き換えます。

1. 初期化: 各視点の特徴量は、事前学習済みの DINOv2 エンコーダを使用して初期化されます。学習可能なレジスタートークンとカメラトークンがトークンシーケンスに先付けされます。
2. 再帰ループ: 単一の共有トランスフォーマーブロックが、変化する状態 $z_k$ に対して $K$ 回適用されます。このブロックは、2 つのアテンションサブブロックで構成されます：
   • フレームアテンション: 2 次元回転位置埋め込みを使用して、各視点を独立して処理します。
   • グローバルアテンション: 全視点にわたる全トークンの結合シーケンス上で動作し、視点間推論を可能にします。
3. 時間条件付け: 離散的なステップインデックスに条件付ける従来の重み共有トランスフォーマーとは異なり、DéjàView はブロックを連続的な時間間隔 $(t_k, t_{k+1})$ に条件付けます。更新は以下のように定式化されます：
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   これにより、単一の重みセットが再学習なしでステップ数 $K$ の範囲をカバーすることが可能になります。
4. ゲート付き更新: ブロックは、時間間隔に条件付けられたゼロ初期化 MLP によって制御されるチャネルごとのスケーリングベクトル（$s_{attn}, s_{mlp}, s_{out}$）を採用します。この設計は、アテンション、MLP、および残差ストリーム更新を調節します。

学習戦略

• 可変$K$学習: 学習中、洗練ステップ数 $K$ は、$[K_{min}, K_{max}]$（例：$[8, 16]$）にスケーリングされたベータ分布からバッチごとにサンプリングされます。これにより、計算量調整ノブとして機能する単一のチェックポイントが作成されます。
• 損失関数: モデルは、深度、レイ、ワールドポイント、カメラパラメータの 5 つの損失項を使用して、予測された幾何学に対して直接教師あり学習されます。予測は、$\ell_2$損失および$\ell_1$損失を計算する前に逆スケーリング因子を介して正規化されます。
• 2 段階深度学習:
  • ステージ 1: リニアピクセルシャッフル深度ヘッドと単純な$\ell_2$損失によるエンドツーエンド学習。
  • ステージ 2: 深度ヘッドを畳み込みヘッドに交換してパッチ境界のアーティファクトを排除し、他のパラメータを固定したまま、信頼度重み付き損失でネットワークを微調整します。

推論

推論時、ユーザーはステップ数 $K_{inf}$ を選択します。モデルは単一の共有ブロックを $K_{inf}$ 回実行します。$K_{inf}$が学習済み範囲 $[K_{min}, K_{max}]$ 内であれば、モデルは高い精度を維持します。$K_{inf}$が学習済み予算を大幅に超えるように押し上げられた場合、パフォーマンスは低下します。

動的性質に関する主要な観察

著者らは、この再帰を方向的洗練として特徴付けます。状態は特徴空間の固定点に収束しません（ノルム $\|z_k\|$ は単調に増加します）。代わりに、状態ベクトルの方向が安定し、最終状態とのコサイン類似度が 1 に近づき、相対更新ノルムが著しく減少します。これにより、デコーダ（事前正規化を使用）はノルムの増加を吸収しつつ、デコードされた表現が方向において収束することを可能にします。

主要な貢献

1. DéjàView モデル: 事前学習済み DINOv2 特徴量に単一の共有ブロックを再帰的に適用し、連続的な時間間隔に条件付けられたループ型トランスフォーマーアーキテクチャ。
2. 可変$K$学習レシピ: 再学習なしで推論ステップ数の範囲をサポートする単一のチェックポイントを学習し、計算量を調整可能なノブとして露出させる手法。
3. 最先端の効率性: 本モデルは、5 つのベンチマーク（室内、屋外、物体中心、運転）において、より大規模なフィードフォワード型ベースラインと比較して、パラメータ数の一部で競合するまたは優れた再構成品質を達成し、同程度またはそれ以下の計算量を実現します。
4. 帰納的バイアスの検証: 実験により、共有重み定式化が、ステップごとの独立したパラメータを持つ同一のバリアントよりも優れていることが示されました。これは、多視点 3 次元再構成において、パラメータのスケールアップよりも、重み共有による明示的な反復の方が強力な帰納的バイアスであることを示唆しています。

実験結果

本論文は、DTU、ETH3D、7-Scenes、ScanNet++、nuScenes の 5 つのベンチマークで DéjàView を評価しました。

• 精度: DéjàView は、ポイントマップ精度（相対$\ell_2$およびインライア比率）およびカメラ姿勢精度（AUC@3°および AUC@30°）において、VGGT-1B、Pi3、DA3-G など、はるかに大規模なモデルと同等またはそれ以上の性能を達成します。例えば、ScanNet++ において、VGGT-Ω-1B よりも AUC@3°で約 50 ポイント上回っています。
• 効率性:
  • パラメータ数: DéjàView は1 億 1700 万パラメータを使用します。これに対し、ベースラインは 3 億 5600 万から 12 億以上です。
  • 計算量: 24 視点に対して75.9 TFLOPsを必要とし、2〜10 倍の計算量を必要とするベースラインと同等かそれ以下です。
  • メモリ: A100 上でのピーク推論メモリは5 GiB未満であり、多くのベースラインよりも大幅に低いです。
• アブレーション研究:
  • 重み共有のみでも、パラメータ数が 16 分の 1 であるにもかかわらず、分離されたブロックよりも性能が向上します。
  • 時間条件付き残差ゲートと状態ゲートは、単調な改善をもたらします。
  • 可変$K$学習は、同じ推論予算において固定$K$の性能と約 2〜3% 以内で一致し、単一チェックポイントの柔軟性を検証しています。

意義と主張

本論文は、3 次元再構成においてパラメータのスケールアップが唯一の先行経路ではないと主張します。共有された時間条件付きループを通じて反復的洗練プロセスを明示的にすることで、DéjàView は以下のことを実証しています：

1. 反復は明示的である: 深層ネットワークの利点は、単一のブロックを再利用することで達成でき、固有の層パラメータの冗長性を回避できます。
2. 計算量はノブである: 二つのモデルは、再学習なしで異なる推論予算（遅延と精度のトレードオフ）に適応できます。
3. 共有重みが優れている: 共有重み定式化は、独立したパラメータよりも強力な帰納的バイアスとして機能します。これは、現在の最先端モデルにおける「深さ」は、主に固有の表現能力というよりも、反復的洗練の代理指標であることを示唆しています。

著者らは限界を指摘しています。モデルは学習済みステップ範囲（$K_{max}$）を超えてよく外挿せず、動的シーンを明示的に処理しないことです。しかし、この研究は、高品質な多視点再構成が、現在のフィードフォワード型巨人の計算コストとモデルサイズの一部分で達成可能であることを確立しています。