論文要約：自己教師あり単眼深度推定のための適応型深度変換スケール畳み込み

1. 背景と課題 (Problem)

自己教師あり単眼深度推定（Self-supervised Monocular Depth Estimation, MDE）は、深度センサー（LiDAR など）の代わりに単眼カメラ映像から深度マップを推定する重要な技術です。しかし、既存の手法には以下の根本的な課題が存在します。

• 深度と物体サイズの関係性の無視: 単眼ビデオにおいて、カメラが移動すると、同じ物体でもフレーム間での深度変化に伴い画像上のサイズが連続的に変化します。既存の畳み込みニューラルネットワーク（CNN）は、固定されたスケール（受容野）で処理を行うため、深度変化による物体サイズの連続的な変化に適応できず、サイズと深度の曖昧さ（Ambiguity）が生じます。
• 局所変形への偏重: 従来の研究（可変畳み込みなど）は、フィルタ形状の「局所的な変形（Local Deformation）」に焦点を当てていますが、深度変化に伴う「畳み込みフィルタのスケール（受容野の大きさ）」そのものの適応的変化には十分に対応していませんでした。
• 固定スケールの限界: 既存のプーリングや画像ピラミッドによるマルチスケール処理は、事前に定義された固定されたスケール変化に限られており、フレーム間で連続的に変化する物体のサイズを柔軟に捉えることができません。

2. 提案手法 (Methodology)

本論文は、物体の深度と画像上のサイズ（スケール）の間に存在する物理的な関係（ピンホールカメラモデルに基づく逆比例関係）を利用し、畳み込みのスケールを深度情報に基づいて適応的に変更する新しいフレームワークを提案しています。

2.1 核心技術：Depth-converted-Scale Convolution (DcSConv)

深度情報から畳み込みフィルタの適切なサイズを導出する畳み込み演算です。

• 原理: 物体の深度 $D$ が深くなるほど画像上のサイズは小さくなるという関係を利用し、基準深度 $D_r$ に対する深度 $D$ の比率に基づいて、畳み込みフィルタのサイズ $k_d$ を動的に計算します（$k_d = k_r \cdot \frac{D_r}{D}$）。
• 実装: 整数座標ではない受容野のサンプリング位置を扱うため、双線形補間（Bilinear Interpolation）を用いて特徴量を生成します。
• 効果: 同じ物体がフレーム間で移動・深度変化しても、画像上の物体サイズに合わせた最適な受容野で特徴を抽出し、一貫性を保ちます。

2.2 代替アプローチ：Depth-converted Multiple Scale Fusion (DMSF)

複数の固定サイズのフィルタ（1x1, 3x3, 5x5 など）で並列に特徴を抽出し、深度変換されたスケール情報に基づいて重み付けして融合する手法です。DcSConv の近似版として機能します。

2.3 一般化：Generalized Learned-Scale Convolution (GLSConv)

深度マップを明示的に使わず、特徴量から直接「深度→スケール」の変換を学習する拡張版です。

2.4 融合モジュール：Depth-converted-Scale aware Fusion (DcS-F)

DcSConv で得られた「スケール適応型特徴」と、従来の固定スケール畳み込みで得られた「標準特徴」を効果的に融合するモジュールです。

• 構造: チャネルアテンションブロックと空間アテンションブロックを備えています。
• 機能: 深度変換されたスケールマップ（Scale Map）をアテンション計算に組み込むことで、どのチャネルや空間位置で DcSConv 特徴を重視すべきかを動的に決定します。これにより、同一フレーム内の物体間関係と、フレーム間での同一物体の関係を両方捉えることができます。

2.5 全体アーキテクチャ

既存のエンコーダ - デコーダ構造（Monodepth2, CADepth など）のデコーダ部分に、DcSConv と DcS-F を組み込んだ「DcS-D（Depth-converted-Scale aware feature Decoding）」モジュールをプラグアンドプレイ形式で導入します。初期深度マップまたは前段階で推定された深度マップをガイドとして使用し、逐次的に深度マップを高精度化します。

3. 主な貢献 (Key Contributions)

1. 適応型スケール畳み込みの提案: 深度情報に基づき畳み込みのスケールを適応させる DcSConv を初めて提案しました。これはフィルタの局所変形ではなく、スケールそのものの適応に焦点を当てた画期的なアプローチです。
2. 2 つの適応手法の開発: 深度変換マルチスケール融合（DMSF）と、直接スケールを計算する DcSConv（およびその一般化版 GLSConv）を開発しました。
3. スケール認識融合モジュール (DcS-F): 深度/スケール情報を活用して、適応型特徴と標準特徴を最適に融合する新しいアテンション機構を設計しました。
4. 汎用性の証明: 既存の CNN ベースの深度推定ネットワークに対して、デコーダ部分のみを置き換えるプラグアンドプレイ型モジュールとして機能し、幅広いバックボーン（ResNet, Transformer など）で有効であることを実証しました。

4. 実験結果 (Results)

KITTI データセット（Eigen Split）および Make3D, NYU V2 などの他のベンチマークで評価を行いました。

• KITTI での性能:
  • Monodepth2 ベース: SqRel 指標で 11.6% の改善（0.903 → 0.798）。
  • CADepth ベース: SqRel 指標で 17.1% の改善。
  • MonoViT (Transformer) ベース: SqRel 指標で 23.4% の改善。
  • 既存の自己教師あり手法（SGDepth, HRDepth など）と比較しても、AbsRel や SqRel において SOTA（State-of-the-Art）の性能を達成しました。
• アブレーション研究:
  • DcSConv は、可変畳み込み（Deformable Convolution）や固定スケール畳み込みよりも優れた性能を示しました。これは「深度推定タスクにおいて、フィルタの局所変形よりもスケールの適応の方が重要である」ことを示唆しています。
  • DcS-F モジュールは、単純な結合（Concatenation）や CBAM などの既存アテンション機構よりも大幅に性能を向上させました。
• 汎化性能: KITTI で学習したモデルを Make3D（屋外）や NYU V2（屋内）に転用しても、大幅な精度向上（12.59% 〜 18.06% の改善）が見られ、高い汎化能力を有しています。
• 定性的評価: 物体の境界が鮮明になり、細部まで正確な深度マップが生成されていることが確認されました。

5. 意義と結論 (Significance)

本論文は、単眼深度推定において「深度と物体サイズの物理的関係」を畳み込み演算の核心部分に組み込むことで、フレーム間での連続的なサイズ変化を解決する新しいパラダイムを提示しました。

• 理論的意義: 従来の「フィルタ形状の変形」に偏重していた研究に対し、「フィルタのスケール適応」が深度推定において同等、あるいはそれ以上に重要であることを実証しました。
• 実用的意義: 既存のネットワーク構造を大きく変更することなく、モジュールとして追加可能（Plug-and-play）であり、計算コストの増加を抑えつつ大幅な精度向上を実現します。
• 将来展望: このアプローチは、深度推定に限らず、スケール変化が重要な他のビジョンタスク（物体検出、セグメンテーションなど）への応用も期待されます。

結論として、提案された DcSConv と DcS-F は、自己教師あり単眼深度推定の性能限界を押し広げる有効な手法であり、特に動画シーンの連続的な深度変化に対するロバスト性を飛躍的に向上させました。