技術要約: Depth Anything V4 (DAV4)

1. 問題提起

本論文は、単眼ビデオからの動的な4Dシーン再構成という課題に取り組んでいる。先行するDepth Anythingシリーズ（V1–V3）は、フィードフォワード型の単眼深度推定において最先端の性能を確立したが、これらのモデルは速度を優先しており、時間的モデリングを行わない点推定値を出力する判別的な回帰パラダイムに依存している。

Depth Anything V4 (DAV4) は、焦点速度から体積の忠実度と時間的一貫性へとシフトしており、オフラインのコンテンツ制作や3Dアーカイブをターゲットとしている。核心となる技術的課題は、時間の経過とともに進化する有効な4D Gaussian Splatting (4DGS) パラメータ（スケール、回転、不透明度、位置）を生成することにある。標準的なユークリッド補間法では、これらのパラメータに固有の非ユークリッド多様体を横断する際、無効な中間状態（例：負のスケールや非単位クォータニオン）を生成することが多く、結果として再構成品質を低下させる事後的な投影が必要となる。

2. 手法

2.1 コアフレームワーク: リーマン流マッチング (Riemannian Flow Matching, RFM)

DAV4の中核となる革新は、4D Gaussian Splattingのパラメータに対するリーマン流マッチング (RFM) の適用である。標準的な流マッチングがユークリッド空間で動作するのに対し、RFMはガウスパラメータが存在する非ユークリッド多様体上に直接確率パスを定義する：

• スケール ($s$): 対数変換と測地線補間 ($s_t = s_z^{1-t} s_1^t$) を用いて $\mathbb{R}^3_{>0}$ 上にモデル化される。
• 回転 ($q$): 単位クォータニオンに対するExp/Log写像を用いた測地線補間により、$SO(3)$ 上にモデル化される。
• 不透明度 ($\alpha$): ロジット変換を用いて $\mathbb{R}$ にマッピングされる $(0, 1)$ 上にモデル化される。
• 位置 ($\mu$): $\mathbb{R}^3$ 上にモデル化される。

目的関数は、学習されたベクトル場 $v_\theta$ と多様体上の条件付きベクトル場 $u_t$ の間の距離を最小化する：
$$L_{RFM} = \mathbb{E}_{t, G_z \sim p_0, G_1 \sim p_1} \left[ \|v_\theta(G_t, t, f_{img}, \gamma(\tau)) - u_t\|^2_{\mathcal{M}} \right]$$
ここで、$G_t$ はフロー時刻 $t$ における状態を表し、画像特徴 $f_{img}$ とビデオ時間 $\tau$ に条件付けられている。

2.2 アーキテクチャとパイプライン

• バックボーン: 凍結された DINOv2-L バックボーンが、単眼ビデオフレームから意味的特徴を抽出する。
• Perceiverモジュール: ガウス符号化の集合を固定サイズの潜在トークンにマッピングする。
• 時間的条件付け: ベクトル場は、学習可能な埋め込み $\gamma(\tau)$ を介してビデオ時間インデックス $\tau$ に明示的に条件付けられており、これによりモデルは静的な平均ではなく、時間的進化を捉えることが可能になる。
• 自己教師ありティーチャー: ティーチャーモデルは、人間による注釈付きの深度ラベルを使用せずに、自己教師あり損失を用いて訓練される。損失関数は以下を組み合わせる：
  • フォトメトリック一貫性のためのレンダリング損失 ($L_{render}$)
  • 硬直性スコアを伴う $SE(3)$-等変性損失 ($L_{equiv}$)
  • RAFTを用いたオプティカルフロー一貫性損失 ($L_{flow}$)
  • DA2のメディアン深度を用いたスケール正則化 ($L_{scale}$)
  • 正則化 ($L_{reg}$)

2.3 推論とサンプリング

推論プロセスは、粗から精へのODEサンプリング戦略 (Algorithm 1) を採用している：

1. 粗段階 (Coarse Stage): グローバルなシーンレイアウトを捉えるための10ステップ。
2. 精段階 (Fine Stage): 詳細を洗練するための20ステップ。
3. テスト時最適化 (Test-Time Optimization, TTO): 生成されたガウス分布をさらに洗練するために、レンダリング損失の勾配 ($\nabla G L_{render}$) を用いたオプションのガイダンスが精段階中に適用される。

3. 主な貢献と制御実験

本論文は、決定論的MLPベースラインを用いた一連の制御実験を通じて、RFMの寄与を他の要因（事前学習およびTTO）から厳密に分離している。このベースラインは、全く同じデータ、アーキテクチャ（DINOv2-L + Perceiver）、およびTTOプロトコルを共有しているが、RFM目的関数を標準的な $L_2$ 回帰に置き換えている。

分離された利得 (Dynamic-SimにおけるFスコア):

• TTOの寄与: 標準的な4D-GSベースラインにTTOを追加すると、+0.046 の利得が得られる。
• 事前学習の寄与: (RFMなしでの) WebVid-10MおよびMegaDepthへの大規模な事前学習は、4D-GS+TTOに対して +0.014 の利得をもたらす。
• RFMの寄与: RFM定式化自体は、決定論的MLP+TTOベースラインに対して、孤立した +0.044 の利得を提供する (0.806 対 0.762)。

この分解は、改善が単に大規模なデータセットや最適化技術によるものではなく、特に正しい非ユークリッド多様体上に確率パスを定義したことに起因することを証明している。

4. 実験結果

4.1 動的再構成

Dynamic-Sim および KITTI Dynamic ベンチマークにおいて、DAV4 (RFM + TTO) はそれぞれ 0.806 および 0.652 のFスコアを達成している。これは以下を上回る：

• 完全最適化されたシーン毎の4D-GS (5000イテレーション): 0.781 (Dynamic-Sim)。
• 決定論的MLP + TTO: 0.762。
• ユークリッド流マッチング + 事後投影: 0.684 (無効なガウス分布が12.3%)。

DAV4は、無効なガウス分布（負のスケール、非単位クォータニオン）の割合を、ユークリッド的手法による12.3%から 0.01% に減少させており、リーマン幾何学的アプローチの数学的正当性を裏付けている。

4.2 新規視点合成 (NVS)

ETH3D および ScanNet での評価において、DAV4はわずか20ステップのTTOでETH3Dにおいて 25.13 dB PSNR を達成した。これは以下を凌駕する：

• ランダム初期化と20ステップのTTOを用いた3D-GS (22.34 dB)。
• 完全最適化された3D-GS (5000イテレーション, 24.12 dB)。

これらの結果は、学習されたリーマン事前分布がランダム初期化よりも有意に優れた初期化を提供し、より少ない最適化ステップでより良い局所最適解への収束を可能にすることを示している。

4.3 アブレーション研究

• 時間的条件付け: 条件付け入力からビデオ時間 $\tau$ を削除すると、Fスコアは0.806から0.742へ、時間的一貫性 (TC) は0.92から0.78へと低下し、明示的な時間的モデリングの必要性が証明された。
• 不確実性の定量化: DAV4は、マルチハイポセシス・サンプリングを通じて、適切に較正された不確実性推定を提供する。これは、MC-Dropoutやアンサンブル手法を上回る、負のガウス対数尤度 (NGLL) -1.58 および期待較正誤差 (ECE) 0.058 を達成している。

4.4 計算コスト

• 事前学習: 360 GPU時間を要する。
• 推論: 1シーンあたり420ms (DA3の38msより11倍遅い)。
• 償却: 本論文は、DAV4がリアルタイムアプリケーションには適していないことを認めているが、事前学習コストは大規模な展開において効果的に償却される。10,000シーンの場合、償却コストは1シーンあたり約550msに低下し、シーン毎の最適化手法と比較して競争力のあるレベルになりつつ、より高い品質を提供する。

5. 意義と主張

本論文は、Depth Anything V4 が確率的な4Dシーン理解への重要な一歩であることを主張している。その主な意義は以下の通りである：

1. 幾何学的妥当性: スケール、回転、不透明度といったリーマン多様体上に直接流マッチングを定義することが、事後投影を伴うユークリッド近似よりも優れていることを示し、すべての中間状態が有効であることを保証し、再構成品質を向上させること。
2. 孤立した寄与: リーマン定式化自体が、事前学習の規模やテスト時最適化とは独立して、+0.044のFスコアの利得を実証的に提供すること。
3. 自己教師ありパラダイム: 学習損失のための人間による注釈付きの深度ラベルに頼ることなく、高忠実度な動的再構成を実現すること。
4. 不確実性の認識: NGLLおよびECEを通じて不確実性を定量化するフレームワークを提供すること。これは、動的な環境における意思決定において不可欠である。

著者らは、制限事項として、リアルタイム性の欠如（推論に420ms）、高い事前学習コスト、およびランダム初期化された3D-GSとのNVS比較における固有の初期化バイアスを認めている。しかし、彼らはDAV4を、高速なフィードフォワード型深度推定を行うV1–V3に対する補完的な進歩として位置づけており、特に高忠実度なオフラインの3Dアーカイブおよびコンテンツ制作向けに特化しているとしている。