One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

問題提起

単眼深度推定（MDE）の基盤モデルは、通常、「単一深度」のパラダイム、すなわち単一のRGB画像をピクセルごとの単一のスカラー深度値にマッピングするという条件下で動作します。この仮定は不透明なシーンでは成立しますが、層状の3Dシーン（例：透明なガラス）では成立しません。そこでは、単一のカメラ光線が複数の幾何学的に妥当な表面（手前のガラス板と奥の物体）を通過するためです。

本論文は、現在の教師あり学習が、この多層的な幾何構造を「データセットの形状に合わせた単一のスカラーターゲット」へと崩壊させていると主張しています。その結果として得られる深度ラベルは、シーンの固有の真実ではなく、アノテーションの選択、センサーの制限（LiDAR対超音波など）、および学習データのバイアスによって決定される「慣習」となります。その結果、凍結された基盤モデルは「層のない（layer-free）」幾何学を学習しているのではなく、曖昧性が存在する場合に近位（手前）または遠位（奥）のレイヤーのいずれ方を報告するかという「深度レイヤーへの選好（depth-layer preference）」、すなわちバイアスを学習しています。単一の正解（Ground Truth）との一致を報酬とする標準的な評価指標は、妥当な代替解釈を罰することになり、モデルの真の幾ability（幾何学的推論能力）を隠蔽してしまいます。

手法

1. MultiDepth-3k (MD-3k) ベンチマーク
透明なレイヤーに対して、センサー中立的なメトリック（計量）的なグランドトゥルースを得ることが困難であることを踏まえ、著者らは、疎な順序関係（ordinal relation）を用いたベンチマークであるMD-3kを導入し、この選好性を測定します。

• データ: GDDデータセットから抽出された、透明な物体を含む3,161枚のRGB画像。
• アノテーション: 密な深度マップの代わりに、曖昧な領域における1組の疎な点を提供します。決定的なのは、各アノテーションが2つの順序ラベル（透明な手前レイヤーと、見える背景レイヤーの相対的な深度順序）を持っていることです。
• サブセット: データセットは、「Same」サブセット（手前と奥の深度順序が一致する場合）と、「Reverse」サブセット（それらが矛盾する場合）に分割されます。「Reverse」サブセットこそが、単一出力モデルが両方のレイヤーを同時に満たすことができない、極めて重要なテストケースとなります。

2. Laplacian Visual Prompting (LVP)
著者らは、凍結されたモデルの深度レイヤーへの選好性が、入力表現を変更することで変調可能かどうかを調査するための、学習不要な手法を提案しています。

• メカニズム: LVPは、入力RGB画像に離散ラプラシアンカーネル（高周波スペクトル変換）を適用します。得られた符号付き残差は正規化され、モデルの入力範囲（例：0–255）にマッピングされます。
• 仮説: 高周波のエッジを強調することで、LVPはスペクトルプローブとして機能し、重みの再学習や変更を行うことなく、凍結されたモデルを別の妥当な深度仮説（例：手前への選好から背景への選好への切り替え）へと導く可能性があります。

3. 評価指標

• Spatial Relationship Accuracy (SRA): 点のペアにおいて、予測された深度順序が特定のレイヤーのグランドトゥルースと一致する割合を測定します。
• Depth-Layer Preference ($\alpha$): $S_{RA}(2) - S_{RA}(1)$ と定義されます。$\alpha$ が正であれば背景への選好、負であれば手前への選好を示します。
• Multi-Layer Spatial Relationship Accuracy (ML-SRA): 一対の仮説（例：RGB出力とLVP出力）を評価します。これらの一対が、最適に2つのレイヤーに割り当てられた際に、両方のレイヤーの順序制約を同時に満たしているかを確認します。

主な貢献

1. 深度レイヤー選好の特性評価: 本論文は、多様な単眼深度基盤モデル（Depth Anything v1/v2, DPT, Marigoldなどを含む）が、標準的なRGB入力の下で、どのように異なるモデル固有のバイアス（手前または背景へのバイアス）を示すかを体系的に初めて特性化したものです。
2. MD-3k ベンチマーク: 密なメトリック的な多層グランドトゥルースが不可能であることを回避し、疎な順序関係を通じて深度レイヤーの選好性を測定可能にする、現実世界のベンチマークを導入しました。
3. 入力依存の変調: Laplacian Visual Prompting (LVP) が、凍結されたモデルの表現される深度レイヤーの選好性を大幅に変調できることを示しました。特定のモデルにおいて、LVPは「スイッチ」として機能し、補完的な幾何学的仮説を明らかにします。これにより、単一出力モデルであっても、異なる入力でクエリを行うことで、複数の妥当な解釈を効果的にカバーすることが可能になります。

結果

• 多様なバイアス: 標準的なRGB入力の下では、モデルは強力ながらも一貫性のないバイアスを示します。例えば、屋内用に調整されたDepth Anything v2のバリアントは手前（ガラス）を好む傾向がありますが、屋外用に調整されたモデルや生成モデル（Marigoldなど）は、しばしば背景を好む傾向があります。
• LVPの有効性: LVPは、特定のモデル（DPT, Depth Pro, DAv2-Lなど）において選好性の実質的なシフトを引き起こしますが、他のモデル（DAv1や一部の生成モデルなど）にはほとんど影響を与えません。
  • DAv2-Lの事例: 最も顕著な例はDAv2-Lです。RGB入力下では手前へのバイアス（$\alpha \approx -30.6$）がありますが、LVP下では背景へのバイアス（$\alpha \approx +68.2$）へとシフトします。
• ML-SRAの性能:
  • 「崩壊した（collapsed）」ベースライン（単一の深度マップを複製したもの）は、MD-3kのReverseサブセットにおいて、相反する順序制約を同時に満たすことができないため、厳格な天井値である 56.4% に留まります。
  • DAv2-Lを用いた RGB/LVPのペア は、全体で 75.5%、Reverseサブセットで 52.2% のML-SRAを達成しました。これは単一仮説の天井値を大きく上回っており、入力表現が変わることで、凍結されたモデルが補完的な順序関係を表現できることを証明しています。
• アブレーション研究: この効果は高周波プロンプティングに特有のものであり、低域通過型のガウスプロンプトはレイヤーの選好性を変調できません。また、この効果はラプラシアン演算器特有のものではなく、他の高周波変換（Sobel, Fourier）にも一般化しますが、LVPが最も堅牢なデフォルトとして機能します。

意義と主張

本論文は、標準的なRGB推論は、より豊かな幾何学的事後分布の単一の断面しか捉えていないと主張しています。曖昧さをノイズとしてではなく、測定可能な幾何学的構造として扱うことで、著者らは以下のことを示しました。

1. 曖昧さは本質的である: 深度基盤モデルは複数の妥当な幾何学的仮説をエンコードしていますが、標準的な学習と評価は、これらを単一のバイアスのかかった慣習へと崩壊させてしまいます。
2. 変調は可能である: シンプルで学習を必要としないスペクトル入力変換（LVP）によって、凍結されたモデルに潜む補完的な仮説を引き出すことができます。
3. 評価の再考: 将来の深度システムは、単一のスカラー出力を強制するのではなく、複数の妥当な3D解釈を表現し保持する能力に基づいて評価されるべきです。

認められている限界:

• LVPはモデル依存であり、普遍的なレイヤー抽出器ではありません。周波数成分が複雑に絡み合う半透明の表面では機能しません。
• ベンチマークは疎な形式であり、透明性に焦点を当てています。そのため、密なメトリック的な検証は提供しません。
• LVPは、曖昧でないシーンにおける標準的な単一深度の精度を低下させることが多く、これはLVPが標準的な推論の代替ではなく、診断・調査用ツールであることを示唆しています。

著者らは、曖昧さを「測定し表現すべき幾何学的構造」として扱う、「曖昧さを意識した（ambiguity-aware）」レンズをコミュニティが採用することを提唱しています。