BINO: Encoder Centric Self Supervised Stereo With Native Pair Input

技術的概要（日本語）

本論文は、ステレオビジョン（立体視）における特徴量学習の新しいアプローチであるBINO（Binocular Encoder-centric Self-supervised Stereo）を提案するものです。従来の自己教師あり学習モデルが単一視点（モノキュラー）に特化している点や、既存のステレオ手法がデコーダや明示的なリンクモジュールに依存している点に対し、BINO はコンパクトなエンコーダ内部で強力な双視点（バイノキュラー）構造を学習できることを実証しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

従来の自己教師あり視覚モデル（MAE, DINOv2 など）は、セマンティックな類似性やグローバルな不変性を重視しており、ステレオマッチングに必要な「細かな視点間対応（cross-view correspondence）」を直接学習するよう設計されていません。
一方、幾何学に焦点を当てたステレオ手法は、通常、事前学習中に双視点デコーダやコストボリューム、あるいは明示的なリンクモジュールを必要とします。これにより、推論コストが増大し、エンコーダ自体の表現力がリンクモジュールの能力と混同されて評価されにくくなるという課題があります。

核心となる問い：
「双視点間の空間的関係を解くための専用リンクモジュールは本当に必要なのか？それとも、コンパクトなエンコーダ単体で十分な双視点空間理解を獲得できるのか？」

2. 手法 (Methodology)

BINO は、事前学習中に双視点デコーダやコストボリュームを使用せず、エンコーダ内部で双視点構造を学習するアーキテクチャです。主な設計原則は以下の 4 点です。

1. **入力段階での双視点融合 **(Early Binocular Fusion)

   • 左画像（L）と右画像（R）を別々のストリームとして処理するのではなく、入力段階でピクセルを水平方向に交互に配置（インターリーブ）し、単一の画像のようなテンソル $X$ として融合します。
   • これにより、各トークンは最初から左右両方の視点情報を含むことになります。

2. **ステレオマイクロセルトークン化 **(Stereo Micro Cell Tokenization)

   • 融合された画像に対してパッチ埋め込みを適用します。パッチ幅を偶数に設定することで、各トークンが「左視点の局所領域」と「右視点の局所領域」の両方を同時にカバーする「ステレオマイクロセル」として機能するように設計されています。

3. **行認識パッチ位相位置符号化 **(Row Aware Patch Phase Positional Encoding)

   • 整流されたステレオ画像では、対応点は同じ行（エピポーラ線）上に存在します。
   • 一般的な絶対的な 2D 位置符号化ではなく、パッチ列インデックスとマイクロセル内の位相（0 または 1）を区別する「パッチ位相」ベースの位置符号化を採用します。これにより、絶対的な列位置を暗記するのではなく、相対的な水平構造（ disparity）を推論するよう誘導します。

4. **片視点マスクトークン蒸留 **(One View Masked Token Only Distillation)

   • 教師モデルには完全な双視点入力を、学生モデルには片方の視点のみをマスクした入力を提供します。
   • 学生は、補完的な視点（マスクされていない方）から欠損情報を推論して、教師のトークン分布を再現する必要があります。
   • 目的関数は、トークンレベルの均一な蒸留（Cross-Entropy）のみに限定され、グローバルな CLS トークンは使用しません（局所的な対応関係の学習を優先するため）。

5. ステレオ対応ノイズ:

   • 学習中に、部分的な遮蔽（オクルージョン）や視点固有の外観変化（フォトメトリックノイズ）を付与し、現実の困難な条件下でも対応関係が維持されるようにします。

3. 主要な貢献 (Key Contributions)

• エンコーダ単体での双視点構造学習の実証: 事前学習中にデコーダやコストボリュームを不要とし、エンコーダ内部だけで強力な双視点空間理解を獲得できることを示しました。
• 効率的なアーキテクチャ設計: 入力レベルの融合とマイクロセルトークン化により、従来の双視点モデルよりもはるかに少ないパラメータ数で同等以上の性能を達成しました。
• 多角的な評価プロトコル:
  • Frozen No-Linkage Probe: 学習済みエンコーダを固定し、学習されたマッチャーなしで記述子として直接使用する厳密な評価。
  • Shared Head Benchmark: 全てのモデルに同じ軽量なステレオヘッドを付与し、エンコーダの表現力のみを公平に比較。
  • Native Pair Input: 学習時の入力形式（融合された双視点）のまま推論を行う評価。

4. 実験結果 (Results)

KITTI Object データセット（ラベルなし）でのみ事前学習を行い、KITTI Stereo 2012/2015 で評価を行いました。

• Frozen No-Linkage 評価（記述子抽出）

  • プロキシ密なステレオマッチング、ハードネガティブ検索、実データ（KITTI 2012）の disparity 精度において、BINO はすべてのベースライン（CroCo v2, DINOv3, iBOT など）。
  • CroCo v2 と比較して、PCK@1tok で約 5% 向上、EPE（End-Point Error）で約 28% 削減されました。
  • 学習された双視点潜在表現が、追加のマッチングモジュールなしでも直接利用可能なメトリック記述子として機能することを示しました。

• Shared Head 評価（共通ヘッド）

  • 全てのエンコーダに同じ軽量ステレオヘッドを付与した場合でも、BINO は CroCo v2 と同等かそれ以上の性能を維持しました。
  • 重要点: BINO は CroCo v2 の約 40%（1.339M パラメータ vs 3.337M）のパラメータ数で、同等以上の性能を達成しました。

• Native Pair Input 評価:

  • 大きな disparity（視差）を持つ領域や、片方の視点が遮蔽された状況において、BINO のネイティブな融合入力形式が特に有効であることが確認されました。遮蔽下では、CroCo v2 に比べて誤差の劣化が大幅に小さいことが示されました。

• メカニズム分析:

  • エンコーダの深層において、エピポーラ構造（同じ行への集中度）が自然に発現し、補完的な視点の順序に依存して幾何学構造が形成されていることが確認されました。

5. 意義と結論 (Significance)

本論文は、ステレオマッチングのような幾何学的タスクにおいて、「双視点間の推論」を専用のリンクモジュールやデコーダに委ねる必要はなく、コンパクトで再利用可能なエンコーダ内部で学習可能であることを示しました。

• 科学的意義: 表現の質とマッチャーの能力を分離して評価する枠組みを提供し、エンコーダ単体での双視点空間理解の可能性を明らかにしました。
• 実用的意義: 推論コストを大幅に削減しつつ、高い幾何学精度を維持できるため、リソース制約のある環境や、凍結されたエンコーダを再利用する応用（記述子抽出など）に極めて有効です。

BINO は、自己教師あり学習の分野において、単一視点モデルの限界を超え、効率的かつ強力な双視点表現学習の新たな方向性を提示する画期的な研究と言えます。