技術要約：深度曖昧性モデリング (Modeling Depth Ambiguity, MDA)

問題提起

単眼および多視点深度推定における著しい進歩にもかかわらず、「フライング・ポイント（flying points）」として知られる持続的な失敗モードが広く見受けられる。これらは、特に物体の境界付近において、前景と背景の間の空隙に予測されてしまう偽の3D点である。著者らは、このアーティファクトが根本的なモデリングの限界に起因すると主張している。すなわち、標準的な深度推定器は、各ピクセルに対して単一の深度仮説（単峰型分布）を割り当てるという点である。

物体の境界では、一つのピクセルが遮蔽エッジ（occlusion edge）をまたいでいることが多く、前景と背景の両方の表面からの視覚的特徴を含んでいる。モデルがこのような曖昧なピクセルに対して単一の深度値を予測することを強制されると、学習目的関数（通常は $\ell_1$ または $\ell_2$ 損失の最小化）によって、予測値が二つの有効な表面の中間的な妥協点へと引き寄せられる。この中間値は空隙の中に位置するため、再構成されたジオメトリを損ない、新規視点合成やロボット操作などのダウンストリームタスクを妨げる「フライング・ポイント」として現れる。著者らは、この問題がより強力なバックボーンやより大規模なデータセットを用いても解消されないことから、これがスケーリングの問題ではなくモデリングの問題であることを指摘している。

手法：深度曖昧性モデリング (MDA)

本論文では、境界付近の深度の曖昧性を明示的にモデリングする混合密度表現である深度曖昧性モデリング (MDA) を提案する。

コア概念

MDAは、ピクセルごとに単一の深度値を予測する代わりに、$K$ 個の深度仮説を、それに関連する確率（混合重み）およびスケールパラメータと共に予測する。

• 表現: 各ピクセルに対し、モデルは $K$ 個の深度仮説 $\{\hat{D}_k\}$、スケール $\{b_k\}$、および混合重み $\{\pi_k\}$ （ただし $\sum \pi_k = 1$）を出力する。
• 分布: 深度分布は、ラプラス分布（またはガウス分布）の混合としてモデル化される：
  $$p(D | \{\hat{D}_k, b_k, \pi_k\}) = \sum_{k=1}^K \pi_k \cdot \frac{1}{2b_k} \exp\left(-\frac{|\hat{D}_k - D|}{b_k}\right)$$
• 挙動: 滑らかで曖昧さのない表面では、すべての仮説が同じ深度に収束する。境界においては、異なる仮説がそれぞれ異なる表面（例：一つは前景、もう一つは背景）を表すように特化する。

学習目的関数

モデルは、混合密度の負の対数尤度 (Negative Log-Likelihood, NLL) を用いて学習される。

• 損失関数は混合NLLから導出され、各コンポーネントの損失の加重和へと簡略化される。
• 単一の予測を強制する標準的な単峰型損失とは異なり、この目的関数により、ネットワークは異なるコンポーネントが有効な表面に固定されるマルチモーダルな分布を学習することが可能となる。

デコーディング戦略

推論時には、仮説を平均化することはない（平均化はフライング・ポイントの問題を再発させるため）。代わりに、最も尤もらしい仮説を選択する。

1. 各候補深度 $\hat{D}_k$ に対して、学習された混合分布の下での密度を評価する。
2. スコアが最も高いコンポーネントが最終的な深度予測として選択される。
3. これにより、出力される深度が、二つの候補間の空隙ではなく、いずれかの候補表面上に位置することを保証する。

アーキテクチャと拡張

• 最小限のオーバーヘッド: MDAは既存のバックボーン（DA3, VGGTなど）の最終予測層のみを変更する。これは、$3K+1$ のチャネル（深度、信頼度、および $K$ 個のコンポーネントに対するロジット）を出力する軽量なヘッドを追加するものである。
• 透明な物体: レイが複数の表面を通過する透明な物体を扱うために、著者らはソフトマックス混合重みを独立したシグモイド重みに置き換えている。これにより、複数のコンポーネントを同時にアクティブにすることができ、共存する深度レイヤー（例：ガラスの表面と背景）の復元が可能になる。
• 空領域: 空をモデル化するために、固定の大きな深度パラメータを持つ専用コンポーネントが追加されている。このコンポーネントは無限の深度を持つピクセルを吸収し、スカイライン沿いに有限の深度コンポーネントがフライング・ポイントを生成することを防ぎ、閾値なしの空セグメンテーションを可能にする。

主な貢献

1. 原因の特定: 著者らは、フライング・ポイントが、境界の曖昧なピクセルに対して単一の値を予測させるという強制的なモデル仮定の結果であり、ネットワークの容量やデータの量による失敗ではないことを特定した。
2. 混合密度表現: 複数の深度仮説と確率を予測する、軽量な $K$ コンポーネントの混合密度表現を提案した。これにより、境界ピクセルは前景と背景のどちらかの表面を「選択」できるようになり、平均化されることを回避できる。
3. 汎用性: このフレームワークは異なるバックボーン（DA3 および VGGT）において効果的に動作し、同じ予測ヘッド内で透明な物体や空領域といった他の形態の深度の曖昧性にも自然に拡張できる。

実験結果

著者らは、境界品質、ビデオ深度推定、および入力のボケに対する堅牢性の観点からMDAを評価している。

• 境界品質: NRGBD、7Scenes、HiRoomを含むデータセットにおいて、MDAはベースラインと比較して境界誤差（Chamfer Distance および Accuracy）を大幅に減少させている。
  • フライング・ポイントの除去: 定性的な結果では、PPD/PPVDのような拡散ベースの精緻化手法を含むベースラインが目に見えるフリエング・ポイントを残しているのに対し、MDAは実際の表面に整合したクリーンな境界を生成している。
  • 速度: MDAはベースラインのフィードフォワードモデルと同等の速度（例：約33-34 FPS）で動作する。対照的に、拡散ベースの精緻化手法は約80倍遅い。
• ボケへの堅牢性: 入力のボケ（ダウンサンプリングによってシミュレート）条件下において、MDAは単峰型のベースラインよりも緩やかに性能を低下させる。混合分布は、画像のエビデンスが弱まった場合でも前景と背景の両方に対してアクティブなモードを維持できるため、単一仮説モデルで見られる外れ値の蓄積を回避できる。
• アブレーション研究: 実験により、性能向上は単にネットワークのヘッド数を増やすことではなく、主に混合密度表現によって駆動されていることが確認された。単峰型損失を混合NLLに置き換えることが、改善の大部分を占めている。
• 拡張:
  • 透明な物体: シグモイド重みを用いたバリアントは、透明な物体上のマルチレイヤー深度を正常に復元し、可視表面と遮蔽された背景の両方を予測できる。
  • 空: 専用の空コンポーネントは、スカイライン沿いのフライング・ポイントを排除し、別途のネットワークなしに正確な空のセグメンテーションを提供する。

意義と主張

本論文は、MDAが、境界における物理的な実態である「深度の曖昧性」にモデリングの仮定を一致させることで、フリエング・ポイント問題に対する根本的な解決策を提供すると主張している。

• 効率性: 反復的な精緻化や拡散プロセスに伴う計算コストをかけることなく、最先端の境界再構成を実現する。
• 簡潔さ: 既存の最先端モデルに対する最終層の変更のみで済むため、導入が容易である。
• 統一されたフレームワーク: 標準的な深度推定、透明な物体、および空領域を同時に扱うことができる単一のフレームワークを提供し、複数のソースの深度の曖昧性に同時に対処する。

著者らは、本手法がすべての深度推定の課題を解決することを主張しているのではなく、単峰型モデリングに起因する持続的なアーティファクトであるフリエング・ポイントを標的にしており、理論的に裏付けられ、経験的にも効果的な代替案を提供していることを強調している。