技術概要：メトリック深度復元のための画像適応型スケール場学習

問題定義

単眼深度推定（MDE）は、トランスフォーマーベースのアーキテクチャと大規模な事前学習により著しく進展しました。しかし、広く用いられている手法の多くは、未知のスケールとシフトまでしか定義されていない深度マップを生成します。一部の手法は直接メトリック深度を推定しますが、ロボティクス、自動運転、3D 再構成といった多くの実用的なアプリケーションでは、明示的なメトリック整列が必要です。この整列は通常、疎なメトリックアンカー（例：LiDAR 点または構造からの運動制約）に依存します。

疎なアンカーからメトリック深度を復元する既存の手法は、一般的に 2 つのカテゴリに分類されます：

1. グローバルアフィン整列：画像全体にわたって一様なスケールとシフトを仮定します。安定性はありますが、バイアスが非一様である多様な物体や複雑なレイアウトを持つシーンでは失敗します。
2. ローカル/領域アプローチ：ピースワイズアフィン整列、局所重み付け回帰（LWLR）、グリッドベース最適化、領域認識適応などの手法は、空間的に変化するバイアスをモデル化しようと試みます。しかし、これらは実シーンでは成立しない可能性のある構造的仮定に依存するか、疎なアンカーセットを断片化し、アンカーが不十分な場合に不安定な推定をもたらします。

核心的な課題は、疎なアンカーから密なピクセルごとのスケールおよびシフト場を復元することが本質的に不適切な問題（ill-posed problem）であることです。既存の解決策は、極端な疎性下では信頼性が低下する可能性のある事前定義された構造的事前分布を課しています。

手法

著者らは、メトリック深度復元を画像適応型スケール場モデリングとして定式化することを提案します。深度マップを直接補正するのではなく、この手法は補正を学習された基底マップの低次元線形結合として再定式化します。

1. ログ空間におけるパラメータ化

メトリック深度 $D_{gt}(x)$ は、アフィン変換を介して推定深度 $D_{MDE}(x)$ と関連付けられます：
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
大きな深度を持つピクセルが最適化を支配する深度依存の勾配スケーリングの問題を回避するため、著者らはログ空間で動作します。彼らはログスケール場 $\ell(x) = \log s(x)$ を定義し、シフト項 $t(x)$ をスケール場内の深度依存補正として吸収します。

2. 基底マップ生成器

ログスケール場は、$K$ 個の画像適応型基底マップの線形結合としてモデル化されます：
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
ここで、$w \in \mathbb{R}^K$ は画像固有の重みであり、$E_m(x)$ は基底マップです。

基底マップ生成器は、以下の 3 つの入力に基づいてこれらのマップを生成するニューラルネットワークです：

• 中間表現（$F(x)$）：深度ヘッド以前に MDE バックボーンから抽出された特徴量で、セマンティックおよび構文学的文脈を捉えます。
• 推定ログ深度：$\log D_{MDE}(x)$ およびその空間勾配で、深度依存幾何学を符号化します。
• 画像座標（$x$）：空間的傾向をモデル化するためです。

生成器アーキテクチャは以下の構成からなります：

• 特徴量 $H(x)$ を生成する共有畳み込みトランク。
• 原始基底マップ $B(x)$ を予測する基底ヘッド。
• ソフトマックスを介して正規化された重み $G(x)$ を予測するゲーティングヘッド。
• 最終的な基底マップは $E(x) = G(x) \odot B(x)$ として計算されます。この因数分解により、空間パターンが異なる画像領域で再利用可能となり、ゲーティングマップによって制御される異なる大きさで制御されます。

3. 最小二乗法による重み推定

重み $w$ は、モデルを疎なメトリックアンカー $A = \{a_i\}$ に適合させることで決定されます。各アンカー $a_i$ に対して、ターゲットは $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$ です。重みは、正則化された最小二乗問題を解くことで見出されます：
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
ここで、$M$ はアンカー位置における基底マップ値の行列です。これにより閉形式解が得られ、極端なアンカーの疎性下でも安定性が保証されます。

4. 訓練目的

基底マップ生成器は、以下の目的関数を用いて訓練されます：

• 密損失：復元されたメトリック深度と真のメトリック深度間の SmoothL1 損失。
• アンカー損失：アンカー位置における予測ログスケールとターゲット間の MSE。
• 非相関損失：冗長性を防ぐために基底マップ間の直交性を促進します。
• ゲーティング正則化：過度に鋭いゲーティング割り当てを防ぐための負のエントロピー損失。

主要な貢献

1. 低次元再定式化：本論文は、メトリック深度復元を複雑な空間場を直接学習するのではなく、画像適応型基底マップの小さな重み集合を推定する問題に還元する定式化を導入します。
2. 疎性に対する頑健性：グローバルに集約された最小二乗ソルバーを使用することで、非常に少数のアンカー（例：画像あたり 1〜9 個）でも安定した解を達成し、アンカーを断片化する手法や局所回帰に依存する手法を上回ります。
3. 解釈可能性：このアプローチは、空間的スケール変動の解釈可能な分解を提供します。学習された基底マップとその重みは、グローバルおよびローカルなバイアスがどのように構造化されているかを明らかにします。
4. 汎用性：この手法はアーキテクチャ非依存であり、事前学習済み MDE モデルからの中間表現と深度推定のみを必要とします。外部セグメンテーションモデルや特定のバックボーンアーキテクチャは不要です。

実験結果

この手法は、代表的な MDE モデルである Depth Anything 3（DA3）および MiDaS を使用して、KITTI、UrbanSyn、SUN RGB-D データセットで評価されました。

• 性能：提案手法（"Basis"）は、すべてのデータセットおよびアンカー密度において、グローバル、ピースワイズ、LWLR、グリッドベース、領域認識のベースラインを一貫して上回りました。
  • KITTI において 10〜15 個のアンカー（低領域）では、この手法は DA3 で AbsRel 0.15、MiDaS で 0.13 を達成し、グローバルベースライン（0.31/0.17）を大幅に上回りました。
  • UrbanSyn/SUN RGB-D において、低アンカー領域では DA3 で AbsRel 0.08、MiDaS で 0.14 を達成しました。
• 極端な疎性：アンカーを 1 つまで減らす「drop-anchor」テストにおいて、この手法は安定性を維持しました。スペクトル分析により、アンカー埋め込み行列の支配的な固有モードがほぼ完全にグローバルスケールチャネルに対応していることが明らかになり、頑健性の理由が説明されました。
• アブレーション：中間表現（$F(x)$）が重要であることが確認されました。これらを無効化すると、モデルは基底容量の増加（より高い $K$）から恩恵を受けられなくなりました。

意義と主張

著者らは、このアプローチが疎なメトリック情報を現代の MDE システムに組み込むための実用的な枠組みを提供すると主張しています。主な要点は以下の通りです：

• 精度の向上：この手法は、多様なシーンおよびアンカー密度において最先端のメトリック深度整列精度を達成します。
• 頑健性：低次元定式化とグローバル最小二乗推定は、アンカー不足により局所的手法が失敗する場所において強力な頑健性を提供します。
• 解釈可能性：基底マップへの分解は、MDE モデルにおけるスケールシフトバイアスを分析・理解するための新たな方法を提供します。

本論文は控えめに、性能は依然としてアンカーの情報量（空間的カバレッジと多様性）に依存し、CNN ベースの MDE モデルでの検証は今後の課題であると指摘しています。しかし、提案された定式化は、いくつかの既存の整列戦略を特殊ケースとして包含する汎用的な解決策として提示されています。