技術的概要：動的特徴量正規化によるストリーミング動画幾何学の安定化

1. 問題定義

現代の単眼幾何学推定（MGE）および単眼深度推定（MDE）の基盤モデル（MoGe、Depth Anything など）は、単一画像において高い精度を達成する一方で、連続する動画ストリームに適用されると、深刻な時間的不整合を示します。この不安定性の主な現れ方はスケーシフトのドリフトであり、予測されたグローバルな深度スケーとオフセットがフレーム間で変動します。

このドリフトは、3 次元再構成において以下のような顕著なアーティファクトを引き起こします：

• 非剛体変形： 再構成されたシーンが時間とともに歪む。
• レイヤーの分断： 表面が分離しているように見える、断絶したポイントクラウド。
• 位置のジッター： グローバル座標系における物体の位置が不安定になる。

既存の解決策は、時間的アテンションや再帰的メモリモジュールを通じてこれを修正しようとするが、しばしば大規模な注釈付き動画データセット全体でのネットワーク微調整を必要とする。このアプローチは計算コストが高く、データ集約的であり、事前学習されたバックボーンのゼロショット汎化能力やフレームごとの精度を低下させる傾向がある。

2. 実証的調査

著者らは、最先端の MoGe モデルを用いて、この不安定性の根本原因を特定するための実証研究を実施した。

• 観察： 個々のフレームを独立したアフィン変換（スケーとシフト）を用いてグランドトゥルースに整合させた場合、幾何学的精度は極めて高い（$\delta < 1.25$ が 99.8% に達する）。しかし、一貫した単一のスケー/シフトをシーケンス全体に適用した場合、精度は著しく低下し（62.5% まで）、深刻な変形が生じる。
• 結論： バックボーンの基礎的な幾何学的理解は堅牢である；不安定性はフレームごとの幾何学の欠陥によるものではなく、予測されたグローバルなスケーとシフトにおけるフレーム間の変動に起因する。
• 根本原因分析： この研究は、エンコーダによって抽出される潜在特徴量の平均と分散と、予測されるスケー/シフトとの間に緊密な結合があることを明らかにした。動画ストリーム全体におけるこれらの潜在特徴量統計量の変動が、観測されるスケーシフトドリフトを直接駆動している。

3. 手法：動的特徴量正規化（DyFN）

これに対処するため、本論文は**動的特徴量正規化（DyFN）**を提案する。これは、ネットワーク全体を再学習することなく、時間的に特徴量統計量を安定化させるように設計された軽量で因果的、再帰的なモジュールである。

アーキテクチャ

• 凍結されたバックボーン： 単一画像の精度とゼロショット汎化を維持するため、事前学習された MGE エンコーダとデコーダは凍結されたままとなる。
• 再帰的モジュール： DyFN はエンコーダとデコーダの間に挿入される。これは、過去のフレームからの履歴的文脈を集約する隠れ状態（$h_t$）を維持するために**畳み込み GRU（ConvGRU）**を利用する。
• 正規化プロセス：
  1. 標準化： 入力される潜在特徴量 $F_t$ を、チャネルごとの平均（$\mu_t$）と標準偏差（$\sigma_t$）を用いて正規化する。
  2. 予測： ConvGRU の隠れ状態 $h_t$ を、2 つの軽量な $1\times1$ 畳み込みヘッドを介して投影し、新しい時間的一貫性のある統計量、すなわち平均 $\hat{\mu}_t$ と標準偏差 $\hat{\sigma}_t$ を予測する。
  3. 変調： 正規化された特徴量を、予測された統計量を用いて再スケーし、シフトする：$F^{consistent}_t = \hat{\sigma}_t \cdot F^{norm}_t + \hat{\mu}_t$。
  4. デコード： 安定化された特徴量を凍結されたデコーダに渡して、最終的な深度マップを生成する。

学習戦略

• パラメータ効率： DyFN モジュールのみが微調整され、これは総パラメータのわずか2%（バックボーンの数十億に対して約 500 万パラメータ）に過ぎない。
• 損失関数：
  • ベース損失（$L_{MoGe}$）： 元の単一フレームの幾何学的忠実度を維持する。
  • グローバル整合損失（$L_{align}$）： シーケンス全体にわたって単一の一貫したスケーとシフトを強制するため、グローバルな最適アフィン変換からの逸脱にペナルティを課す。
  • 時間的損失（$L_{temp}$）： 複数のウィンドウサイズにわたって、予測されたフレーム間デルタとグランドトゥルースとの不一致を最小化し、長期的なドリフトを防止する。

4. 主要な貢献

1. 根本原因の特定： 本論文は、基盤 MGE モデルにおける時間的不安定性が、スケーとシフトの予測を直接決定する潜在特徴量統計量（平均と分散）の変動に起因することを確立した。
2. DyFN モジュール： 再帰的メカニズムを用いてこれらの統計量を動的に変調する、新規かつ軽量な安定化モジュール。これにより、バックボーンの汎化能力を損なうことなく一貫した幾何学を確保する。
3. 効率的な適応： バックボーンを凍結し、DyFN モジュールのみを微調整する本手法は、ネットワーク全体の再学習を必要とする手法を上回る最先端の時間的安定性を達成しつつ、フレームごとの精度を維持することを示した。

5. 実験結果

本手法は、Sintel、ScanNet、KITTI、Bonnの 4 つのベンチマークで評価された。

• 時間的安定性（動画深度評価）：

  • DyFN はすべてのデータセットで最先端のパフォーマンスを達成した。
  • ScanNet において、$\delta < 1.25$ を MoGe v1 の 84.7% から**96.6%**に改善し、11.9% の絶対的向上を実現した。
  • DepthCrafter や Video Depth Anything（VDA）といった強力な動画ベースのベースライン、および FlashDepth などのストリーミング手法を上回った。
  • 定性的な 3 次元再構成において、非剛体変形と位置のジッターを著しく低減した。

• 単一フレーム精度：

  • 単一フレームのパフォーマンスを低下させることが多い他の微調整アプローチとは異なり、DyFN は凍結されたバックボーン（MoGe v1）の単一フレーム精度を完全に継承する。
  • 単一フレーム指標（表 2）の結果は、ベースの MoGe v1 モデルと同一であり、FlashDepth などの手法で見られる精度のトレードオフを回避している。

• 長シーケンスの堅牢性：

  • 最大 500 フレームのシーケンスを用いた実験において、DyFN はベースラインと比較して最小限の誤差蓄積を示し、時間を通じて優れたスケーの一貫性を維持した。

• 汎化：

  • このアプローチは DepthAnythingV2（DAv2）バックボーンに成功裏に適応され、時間的安定性の著しい改善を示した。これは、本手法がアーキテクチャに依存しない性質を持つことを確認した。

6. 意義と主張

本論文は、動的特徴量正規化が、静的な基盤モデルを連続する動画ストリームに適応させるための、シンプルで効率的かつ極めて効果的な道筋を提供すると主張する。スケーシフトドリフトを引き起こす潜在特徴量統計量を直接規制することにより、本手法は以下の成果を達成する：

• 大規模な動画モデルの学習という計算コストなしに、最先端の時間的安定性を実現する。
• バックボーンを凍結させることで、ゼロショット汎化能力と単一画像精度の維持を図る。
• 高遅延とメモリ冗長性に悩むオフライン動画手法、および長期的な一貫性を維持できないことが多い他のストリーミング手法の両方に対して優れた性能を発揮する。

著者らは、特徴量レベルの正規化を通じてスケーシフト不整合という特定の問題を解決することで、高精度な単一画像幾何学推定と、自律走行や具身 AI などの実世界のストリーミングアプリケーションの要件との間のギャップを埋めたと結論づけている。