技術的概要：フォーカス可能な単眼深度推定

問題定式化

現在の単眼深度基盤モデル（Depth Anything、UniDepth、Metric3D など）は、多様なドメインにわたって密なシーン幾何学の復元において卓越した性能を発揮しています。しかし、これらは主にすべての画像領域を均等に扱う均一なピクセル単位目的関数で最適化されています。この「画像中心」のアプローチは、ユーザー指定またはタスクに関連するターゲット領域を周囲の文脈から区別することができません。ロボット工学や具現化 AI のようなアプリケーションでは、ターゲット物体付近の正確な深度と鮮明な境界遷移が重要であり、均一なグローバル最適化は、グローバルなシーン幾何学が整合的であっても、前景の精度が軽視され、境界がぼやける結果を招くことが多いです。

このギャップに対処するため、著者らは**フォーカス可能な単眼深度推定（FDE）**を導入します。FDE は、均一な密な予測から、ターゲット条件付き推論へと深度推定タスクを再定義します。入力画像とユーザー指定のターゲット領域（ボックスまたはテキストプロンプトを介して）が与えられた場合、モデルは以下の要件を満たす必要があります：

1. 前景のターゲット領域における深度精度を優先する。
2. ターゲット境界における鮮明な深度遷移を維持する。
3. 画像全体にわたって整合的なグローバルなシーン幾何学を維持する。

手法：FocusDepth

FDE タスクを解決するため、著者らはFocusDepthを提案します。これは、プロンプト条件付きの単眼相対深度推定フレームワークです。核心的な直観は、プロンプト可能なセグメンテーション（Segment Anything Model 3、または SAM3）と密な幾何学基盤モデル（Depth Anything ファミリー、または DA）の相補的な事前知識を組み合わせることです。

アーキテクチャ概要

FocusDepth は、2 つの主要なブランチで構成されます：

1. 幾何学深度ブランチ：事前学習済みの DA（DA2 または DA3）を利用して、グローバルなシーン構造を表すマルチスケール幾何学トークン（$X_g$）を抽出します。
2. プロンプト条件付きブランチ：SAM3 を利用して入力画像とユーザープロンプト（ボックスまたはテキスト）を処理し、ターゲット領域を特定するプロンプト条件付きトークン特徴量（$X_p$）を生成します。

コアモジュール：マルチスケール空間整合融合（MSSA）

中心的な革新は、事前学習済みの幾何学的事前知識を乱すことなく、幾何学表現にプロンプト条件付きの手がかりを注入するMSSAモジュールです。MSSA は幾何学エンコーダの各スケールで動作し、3 つの主要なステップを含みます：

• スケール別空間整合：両方のブランチが同じ ViT パッチグリッド上で画像を処理するため、トークンは 1 対 1 の空間的対応関係にあります。プロンプトトークンはスケール固有の幾何学トークン空間に投影され、幾何学トークンと連結されます。
• ルーティング条件付き融合：軽量なミクスチャー・オブ・エキスパート（MoE）層が連結されたトークンを処理します。ルーターは入力依存のエキスパート出力の組み合わせを計算し、モデルが特定の領域（前景対背景）に対する明示的な監督なしに、空間的位置に基づいて異なる補正を適用できるようにします。
• ゲート付き融合出力：プロンプト手がかりがグローバル幾何学を上書きするのを防ぐため、学習可能なゲート（$G_s$）が注入を制御します。最終特徴量は、ルーティングされた特徴量と元の幾何学トークンの加重和です：$Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$。これにより、プロンプト条件付きの補正が選択的に適用されつつ、グローバルな事前知識が保持されます。

学習目的とトレーニング

モデルは、画像をグランドトラーストマスクに基づいて前景、境界、グローバルの 3 つの領域に分割する領域認識損失関数でトレーニングされます。総損失（$L$）は、これらの領域で計算された深度損失（$L_{fg}, L_{bd}, L_{glb}$）の合計に、補助セグメンテーション損失（$L_{seg}$）を加えたものです。

トレーニングは安定性を確保するために2 段階戦略に従います：

1. 第 1 段階：すべての事前学習済みバックボーンを凍結したまま、MSSA モジュールのみを最適化します。これにより、MSSA は幾何学的事前知識を乱すことなく整合性を学習できます。
2. 第 2 段階：エンコーダを凍結したまま、深度デコーダ、SAM3 プロンプト誘導トランスフォーマ、および補助セグメンテーションデコーダを MSSA とともに最適化します。

ベンチマーク：FDE-Bench

FDE を評価するために、著者らは既存の RGB-D データセットを標準化された画像–ターゲット–深度の三つ組に変換するFDE-Benchというベンチマークスイートを確立しました。

• データセット：NYU v2、TUM RGB-D、YCB-Video、RLBench、RoboTwin から構築され、屋内シーン、卓上物体、および具現化操作環境を網羅しています。
• 規模：972 のターゲットカテゴリにまたがる 252.9K のトレーニング三つ組と 72.5K の検証三つ組を含みます。
• 評価指標：完全画像エラーを報告する標準的なベンチマークとは異なり、FDE-Bench は 3 つの相補的な領域にわたってパフォーマンスを評価します：
  • 前景：ターゲットローカルの深度品質。
  • 境界：深度遷移の鮮明さ。
  • グローバル：画像全体の幾何学的整合性。
    報告される指標には、多数のターゲットを持つ画像による支配を防ぐためにターゲットごとに計算された$\delta_1$と AbsRel が含まれます。

実験結果

実験は、ゼロショット基盤モデル（UniDepth、Metric3D、DA2、DA3）およびグローバルに微調整されたベースライン（DA2-ft、DA3-ft）と比較して FocusDepth を評価する FDE-Bench 上で行われました。

• 性能向上：FocusDepth は、特にターゲット中心の領域において、グローバルに微調整されたベースラインを一貫して上回ります。例えば、ボックスプロンプトを用いた RLBench において、FocusDepth(DA3) は DA3-ft と比較して、境界 AbsRel を 0.073 から 0.049 に、前景 AbsRel を 0.095 から 0.056 に削減し、同時にグローバル AbsRel を 0.042 から 0.030 に改善しました。
• プロンプトの頑健性：プロンプトの正確性に関する研究では、正しいプロンプトが最良の結果をもたらしますが、誤ったプロンプトまたは空のプロンプトであっても、プロンプトなしのベースラインよりも優れた性能を示すことがわかりました。これは、プロンプト条件付きブランチが完全なガイダンスがなくても有用なローカルおよびグローバルな手がかりを提供することを示唆しています。
• 定性的分析：可視化は、標準的な微調整と比較して、FocusDepth が指定された領域でより鮮明なターゲット境界と低い深度エラーを生み出し、背景にアーティファクトを導入しないことを示しています。

アブレーション研究

RLBench 上でのアブレーション研究は、特定の設計選択の重要性を浮き彫りにします：

• 空間整合：プロンプトと幾何学トークン間の空間的対応関係（シャッフル）を乱すと、最も顕著な劣化を引き起こし、グローバル AbsRel を最大 13.8% 増加させます。これは、空間整合が主要な設計要因であることを確認します。
• スケール固有およびルーティング融合：スケール固有の融合を除去するか、MoE ルーターを単一の MLP に置き換えると、前景および境界の精度が一貫して悪化し、スケール認識および条件付き融合の必要性を示しています。
• ゲート付き注入：ゲート機構を除去すると一貫して劣化し、プロンプト補正と事前学習済み幾何学的事前知識のバランスを取るその役割を確認します。
• トレーニング戦略：1 段階のトレーニングアプローチはローカルな微細化を弱め、クロスモデル整合とダウンストリーム適応を分離するための 2 段階戦略の有効性を検証します。

意義と主張

本論文は、均一な画像中心目的関数の限界を超えて、領域優先の深度推定のための具体的なタスク定式化としてFDEを確立すると主張しています。著者らは、FocusDepthが MSSA を介してプロンプトに根ざしたターゲット証拠を密な幾何学表現へ効果的に転移させ、空間整合およびゲート付き条件付き微細化を可能にすると述べています。

その意義は、グローバルなシーン幾何学的整合性を損なうことなく、ローカルなターゲット精度と境界忠実度を向上させることが可能であることを実証することにあります。著者らは、標準的な深度モデルが関連する幾何学を優先するのに失敗する可能性がある、特定の物体との正確な相互作用（例：ロボット操作）を必要とするアプリケーションにとって、FDE は必要なステップであると位置づけています。この研究は、大規模な共同トレーニングの必要性やダウンストリームタスク応用のさらなる探求といった限界を指摘し、これらは将来の課題として残されています。