技術サマリー: FlexDepth – 自己教師あり単眼深度推定のための柔軟なスケール駆動型ファミリー

1. 問題提起

自己教師あり単眼深度推定（MDE）は、高密度な正解深度ラベルを必要としないことから、自動運転やロボティクスにおいて極めて重要である。しかし、既存の手法は複雑な走行環境において重大な制限に直面している。

• スケールと堅牢性のトレードオフ: ほとんどの軽量モデルは、単一スケールの設計や簡略化されたデコーダに依存しており、動的なシーン（例：移動する車両、歩行者）における性能低下や、物体の境界における構造的忠実度の低さを招いている。
• 動的ハンドリングの複雑さ: 動的な物体を扱うために設計された手法は、過度な複雑さ、補助タスク（例：オプティカルフロー、セマンティックセグメンテーション）、あるいは重いバックボーン（例：Vision Transformer）を導入することが多く、リソース制約のあるエッジデバイスへの適用が困難である。
• 基盤モデルの限界: 教師あり学習を用いた基盤モデル（例：Depth Anything V2）は、強力なゼロショット汎化性能を提供する一方で、大規模なデータセットへの依存と重い計算要件により、リアルタイム性が求められるエッジベースの自動車シナリオへの展開を妨げている。

解決すべき核心的な課題は、データの効率性とエッジハードウェアへの展開可能性を維持しつつ、軽量な自己教師ありモデルと大規模な教師ありモデルとの間の堅牢性のギャップをいかに埋めるかである。

2. 手法

著者らは、動的な走行シナリオに合わせて設計された、スケール駆動型の自己教師ありMDEモデルのファミリーであるFlexDepthを提案している。そのアーキテクチャは、主に3つの革新的な要素で構成されている。

A. スケール駆動型デコーダ (SDD)

固定されたパイプライン（事前畳み込み $\to$ アップサンプリング $\to$ 結合）を使用する従来のデコーダとは異なり、FlexDepthはモデルのスケール（Nano, Small, Medium, Large, X-Large）に基づいてコンポーネントを適応的に選択するデコーダを導入している。

• 後置畳み込み設計 (Post-Convolution Design): 著者らは、グローバルな意味情報の不可逆的な損失を防ぐために、事前畳み込みステージを排除した。代わりに、後置畳み込み ($C$)、アップサンプリング ($U$)、および予測ヘッド ($P$) に焦点を当てている。
  • 小規模スケール (Nano/Small): 勾配フローの安定性を確保するために高効率ボトルネック (HEB) を利用し、伝統的な予測ヘッドの順序を採用する。
  • 大規模スケール (Medium/X-Large): より微細なローカル特徴のキャプチャを実現するために、Cross Stage Partial (CSP) 構造を持つ高性能ボトルネック (HPB) と、高チャネルの特徴の一貫性を活用するための反転予測ヘッド（予測の前にアップサンプリングを行う）を利用する。
• 動的アップサンプリング ($U$): 標準的なバイリニア補間を、オフセット生成と動的リサンプリングの2段階プロセスに置き換えている。畳み込み層が意味的内容に基づいてオフセット ($\Delta P$) を予測することで、モデルは特徴マップから最適な位置を適応的にサンプリングでき、結果として物体の境界がより鮮明になる。

B. 2段階の静的・動的デカップリング学習

外部の事前知識に頼ることなく、動的な物体による不安定性に対処するため、FlexDepthは2段階の学習戦略を採用している。

1. 第1段階 (共同最適化): 標準的なフォトメトリック再投影誤差、最小再投影誤差、およびエッジ認識平滑化損失を用いて、深度予測ネットワークとPoseNet（ResNet-18ベース）を同時に学習させる。
2. 第2段階 (動的精緻化): 動的な領域は、静的な背景と比較して、予測の不安定性（学習の初期エポックと最終エポックの間の分散）が高いという観察に基づいている。
   • 第1段階の初期エポックと最終エポックの視差マップを比較することで、静的・動的デカップリングマスク ($M$) を生成する。
   • 適応的な閾値関数 $g(\phi(f_{si}, f_{sl}))$ が、固定された閾値ではなく特徴量の進化に基づいてマスクを決定し、動的な物体を静的な背景から区別する。
   • 深度ネットワークは、このマスクを用いたマスク正規分布損失と幾何学的深度平滑化を用いて再学習され、動的なノイズを静的なシーンの学習から効果的に分離する。

C. 自己教師あり学習パイプライン

モデルは、フォトメトリック一貫性を用いて、ラベルのないビデオシーケンスのみで学習される。

• 損失関数: フォトメトリック誤差 ($L_p$)、最小再投影誤差 ($L_r$)、エッジ認識平滑化 ($L_{smooth}$)、および第2段階におけるマスク正規分布損失 ($L_m$) と幾何学的深度平滑化 ($L_{GDS}$) を組み合わせる。
• 補助データの不在: この手法は、セマンティックラベル、オプティカルフロー、または疑似深度マップを使用せずに動作する。

3. 主な貢献

1. FlexDepthファミリー: 精度の向上と効率性のトレードオフを体系的に研究した、スケーラブルなモデルファミリー（NanoからX-Largeまで）であり、最小限の計算オーバーヘッドでSOTA（最先端）の性能を達成している。
2. スケール駆動型デコーダ (SDD): モデルサイズに応じてボトルネックのタイプ（HEB vs. HPB）とアップサンプリング戦略を動的に選択し、リアルタイム推論と高精度な深度マッピングのバランスを取る、新しいデコーダアーキテクチャ。
3. 静的・動的デカップリング学習: 学習の不安定性から導出された適応的マスクを用いて、動的な物体を静的な背景から分離する2段階戦略。これにより、追加の推論コストや補助入力なしに、動的な環境における堅牢性を高めている。

4. 実験結果

実験は KIT_TI、Cityscapes、および Make3D（ゼロショット汎化用）に対して行われた。

• 性能 vs. 効率:
  • Flex-Nano: わずか 0.7 GFLOPs の計算量でありながら、モバイルプラットフォーム（Snapdragon 8 Elite）で 37.6 FPS を達成。Lite-MonoのTinyおよびSmallバリアントよりも精度が高く、かつ大幅に軽量である。
  • Flex-X-Large: 24.6 GFLOPs で、KITTIおよびCityscapesにおいて新たなSOTAを樹立。これは、より重いモデルであるMonoVit (59.7 GFLOPs) や DSI-MonoViT を凌駕する。
• 動的シーンへの堅牢性: Cityscapesにおいて、Flex-X-Largeは、補助的な手がかり（例：ProDepth, DSI-MonoViT）を用いる手法と比較しても、追加情報なしで動的領域において優れた精度（Abs Rel 0.091）を達成した。
• ゼロショット汎化: KITTIで学習されたモデルは、Make3Dデータセットに対して強い転移性を示し、他の自己教師あり手法を上回り、特定の指標において大規模な基盤モデルの性能に迫る。
• アブレーション研究: SDDのコンポーネント（HPB、動的アップサンプリング、反転ヘッド）および2段階の学習戦略が、性能向上に不可欠であることを確認した。第2段階を除去すると、動的なシーンにおいて深刻な性能低下を招く。

5. 意義と主張

本論文は、FlexDepthが軽量な効率性と、動的な走行環境における堅牢な知覚との間のギャップを正常に埋めたと主張している。

• 展開の実現可能性: 最小限の計算コスト（例：Nanoで0.7 GFLOPs）でSOTAの性能を達成することで、FlexDepthはリソース制約のある自動車用エッジデバイス上での信頼性の高いリアルタイム知覚を可能にする。
• 本質的な堅牢性: 複雑な補助パイプラインや重いバックボーンに頼ることなく、アーキテクチャ設計と学習戦略（静的・動的デカップリング）を通じて、動的なシーンの堅牢なハンドリングが可能であることを示している。
• 基盤モデルへの補完: 大規模な基盤モデル（例：Depth Anything V2）の優れたゼロショット能力を認めつつも、著者らは、インドメインの自己教師あり学習（FlexDepthのような）が、その低いリソースフットプリントと、特定の走行コンテキストにおける同等または優れた精度により、エッジ展開において実用的な利点を提供すると主張している。

限界: 著者らは、FlexDepthが走行知覚向けに特別に設計されており、不規則なテクスチャや近距離の遮蔽が存在する屋内環境への適用性は限定的であると述べている。