技術要約: SCOPE (Scale-Consistent One-Pass Estimation of 3D Geometry)

1. 問題設定

単眼ビデオシーケンスからの3Dジオメトリ推定は、コンピュータビジョンにおける根本的な課題を提示している。それは、高い幾何学的精度と長期的な時間的一貫性のバランスを取ることである。既存の手法は、通常、一方の領域に優れている一方で、もう一方を犠牲にしている。単一画像アプローチ（例：MoGe）は詳細なジオメトリを捉えることができるが、フレームごとに適用すると不整合が生じ、スケールドリフトを引き起こす。逆に、ビデオ特化型の手法は短期的な一貫性は提供できるものの、幾何学的な精密さに欠けるか、複雑なカメラ軌道や照明の変化の下で数百フレームにわたるグローバルなスケールを維持できないことが多い。さらに、長いシーケンスを同時に処理することはメモリ制約のためしばしば不可能であり、精密な時間的位置エンコーディングの必要性と、訓練例よりもはるかに長いシーケンスへの外挿能力との間に緊張関係を生み出している。

2. 手法

SCOPEは、RGBビデオからアフィン不変な3Dポイントマップをシングルフォワードパスで生成する新しいアプローチを提案する。この手法は、シーケンス内のすべてのフレームが同じスケールおよびシフトパラメータを共有することを保証し、一貫したスケール不変表現を可能にする。

2.1 アーキテクチャとコアコンポーネント

本モデルは、DINOv2-Lビジュアルエンコーダとトランスフォーマーベースのデコーダを利用したMoGeアーキテクチャを基盤としている。ビデオを扱うために、4つのデコーダ特徴レベルのそれぞれに時間的アテンションモジュールを挿入している。主な革新点は以下の通りである：

• 視点不変ジオメトリ (Viewpoint-Invariant Geometry): 幾何学的一貫性を強制するために、本手法は個々のカメラ座標からのポイントを、カメラポーズ（訓練中に利用可能）を用いて共通の参照フレームへと変換する。統一された座標系においてマルチスケール幾何損失を適用し、異なる視点間での構造を比較する。これには、粗い構造と微細な詳細の両方を捉えるための、グローバルな整列およびローカルなグリッドベースの整列（グリッドサイズ4および16を使用）が含まれる。
• 外観不変学習 (Appearance-Invariant Learning): 一時的な視覚的条件（例：照明変化、ブラー）に対する堅牢性を確保するため、訓練プロセスでは、独立してサンプリングされたカラー変換とブラーパターンを用いたフレーム固有のオーグメンテーションを採用している。これにより、モデルが一時的な外観の手がかりではなく、不変の幾何学的特徴に集中するように強制する。
• 周波数変調位置外挿 (Frequency-Modulated Positional Extrapolation): 訓練コンテキスト（例：24フレーム）よりも大幅に長いシーケンス（例：300フレーム以上）を扱うために、SCOPEはNeural Tangent Kernel (NTK) 適応を用いた特殊な回転位置エンコーディング (RoPE) を採用している。
  • 動的NTKスケーリング: 周波数成分は、推論シーケンス長と訓練長の比率に基づいてスケーリングされる。これにより、モデルが微細なローカル詳細（高周波成分）を捉える能力を維持しつつ、長距離依存性（低周波成分）のための調整を増幅させる。
  • 訓練時のシーケンス・ストレッチング: 訓練中、モデルは「仮想的な」拡張シーケンスにさらされる。位置エンコーディングはより長い仮想シーケンスに対して計算され、実際の入力長に合わせて間隔を置いてサンプリングされる。これにより外挿をシミュレートし、訓練データよりも数桁長いシーケンスを扱う方法をモデルに学習させる。

2.2 損失関数と時間的一貫性

訓練目的関数は、フレームごとの幾何学的損失とフレーム間の制約を統合している：

• クロスフレーム幾何損失 ($L_{cross}$): ポイントクラウドを共通の参照フレームに整列させ、グローバルおよびローカルスケールにわたる投影誤差を最小化することで、一貫性を強制する。
• 階層的時間監督 ($L_{temp}$): 隣接フレーム間の制約のみに依存すること（これは誤差の蓄積を招く）の代わりに、SCOPEは微分監督フレームワークを導入している。これは、指数関数的に増加する時間間隔（$\delta = 1, 2, 4, 8$）における深度値の時間微分にペナルティを課す。この構造保存制約は、スケールドリフトを直接的に抑制し、長期間にわたる滑らかで一貫した予測を保証する。

2.3 推論戦略

SCOPEはシングルパス方式で動作する。オーバーラップするセグメントを独立して処理するスライディングウィンドウ方式（境界でのドリフトの原因となる）とは異なり、SCOPEは周波数変調位置エンコーディングを使用して、シーケンス全体を一度に処理する。これにより、計算の冗長性を排除し、ビデオ全体を通じてグローバルなコンテキストを維持する。

3. 主な貢献

1. スケール一貫性を持つワンパス推定: ビデオシーケンス全体で共有されたスケールおよびシフトパラメータを持つ3Dポイントマップを生成する統一されたフレームワークを提供し、フレーム単位またはスライディングウィンドウ方式で一般的なスケールドリフトを排除する。
2. 3つの主要な革新:
   • マルチスケール・クロスフレーム損失による視点不変のジオメトリ整列。
   • 一時的な視覚的条件から構造的特徴を分離するための外観不変学習。
   • 長いシーケンスへの堅牢な外挿を可能にする、NTK適応型RoPEと訓練時ストレッチングによる周波数変調位置付け。
3. 効率的な長距離処理: 単一のフォワードパスで数百フレームを処理する能力を持ち、ビデオ拡散モデルやスライディングウィンドウのベースラインと比較して高い計算効率を実現する。

4. 実験結果

Sintel、ScanNet、Bonn、KITTI、DDADを含む多様なデータセットを用いて実験が行われ、合成、屋内、および屋外の走行シナリオをカバーしている。

• 定量的性能: SCOPEは最先端の手法を大幅に上回っている。ScanNetにおいて、既存のアプローチと比較して相対的なポイントマップ誤差を24.2%、時間的整列誤差（TAE）を**34.9%**減少させた。すべての評価データセットにおいて最も低い平均ランクを達成している。
• 指標による比較:
  • MoGe-2と比較して、SCOPEは同等のポイントマップ精度を達成しつつ、大幅に優れた時間的一貫性を実現している。
  • VGGTおよび$\pi^3$と比較して、SCOPEは優れた時間的一貫性を提供し、よりパラメータ効率が高い（$\pi^3$の959Mに対し、SCOPEは322Mパラメータ）。
  • DepthCrafterおよびVideo Depth Anythingと比較して、SCOPEは精度において同等またはそれ以上を維持しながら、6〜42倍高速（39.1 FPS 対 <7 FPS）である。
• ダウンストリームへの影響: 4D再構成（MegaSAM経由）の入力として使用した場合、SCOPEはコヒーレントで断片化のない結果を生成する。Sintelデータセットにおいて、MoGeおよびMonST3Rと比較して、絶対軌跡誤差（ATE）を55〜60%、相対軌跡誤差（RTE）を58〜63%改善した。
• アブレーション研究:
  • 外挿: NTK適応型RoPEとシーケンス・ストレッチングの組み合わせ（RoPE+）が、標準的なエンコーディングと比較して、長いシーケンス（270フレーム）におけるTAEを大幅に減少させ、最良のトレードオフをもたらす。
  • 損失コンポーネント: クロスフレームの幾何学的制約と階層的な時間的監督の両方が極めて重要であり、これらを組み合わせることで最良の時間的一貫性が得られる。
  • 推論: シングルパス処理はスライディングウィンドウ方式を一貫して上回り、KITTIにおいて誤差を10%近く減少させた。

5. 意義と主張

論文は、SCOPEが単眼ビデオ深度推定における幾何学的精度と時間的一貫性の間の根本的な緊張関係に対処していると主張している。単一パスで拡張されたシーケンスを処理することを可能にすることで、SCOPEは、複雑なカメラモーションや照明変化を伴う困難なシナリオにおける高品質な3Dおよび4D再構成を促進する。

著者らは、SCOPEを、自律走行、仮想現実、および新規視点合成のような長期的な一貫性を必要とするアプリケーションにおける重要な進歩として位置づけている。現在の実装は、評価パイプラインにおけるカメラポーズ推定のために外部ツール（MegaSAM）に依存しているが、論文では、ネットワーク内でカメラ軌道を直接推定することを目指した今後の課題についても言及している。本手法は、単一画像の精密さとビデオレベルのコヒーレンスの間のギャップを埋める、堅牢で効率的かつスケーラブルなソリューションとして提示されている。