技術要約: X-Lens

問題提起

自律ロボットやVision-Language-Action (VLA) モデルを含む現代のエンボディド・システムは、包括的な空間カバレッジを実現するために、狭いFOV（画角）を持つピンホールカメラと広いFOVを持つフィッシュアイカメラを組み合わせたマルチカメラ・リグにますます依存しています。しかし、既存の3D深度推定および幾何学的基盤モデルは、このヘテロジニアス（異種混合）カメラ設定において重大な限界に直面しています。

1. モデルのミスマッチ: ほとんどの手法はピンホール中心の仮定またはシングルカメラモデルに基づいて構築されており、混合リグにおける非一様な投影幾何学や視点依存の歪みを処理することができません。
2. 計算コスト: 既存の幾何学的基盤モデルは計算負荷が高く、厳格なレイテンシとメモリ予算の下でのリアルタイムなエッジ推論が困難です。
3. データの不足: ヘテロジニアス（フィッシュアイ + ピンホール）なマルチビュー構成において、高密度なメトリック（実測値）グラウンドトゥルースを含む大規模で同期されたデータセットが不足しています。
4. 非効率性: 現在のアプローチは、広FOVの入力を扱うために、パノラマのスティッチング（ネイティブな幾何学の変更）や補助的な再構成ターゲット（最適化の複雑さの増大）に依存することがよくあります。

手法

X-Lensは、可変数の校正済みフィッシュアイおよびピンホール視点から、リアルタイムのメトリック深度推定を行うために設計されたコンパクトなフィードフォワードモデルです。パノラマのスティッチングや補助的な再構成ターゲットを避け、高密度な深度とグローバルなメトリックスケールの直接的な予測に焦点を当てています。

1. 定式化と設計

• 汎用レイ表現: 特定のピンホール内在パラメータ行列 $K$ に依存する代わりに、X-Lensは汎用的な逆投影マップ $G$ を用いてカメラを抽象化します。これにより、アーキテクチャを変更することなく、ピンホールとフィッシュアイ（パラメトリックな歪み）の両方のモデルに対応し、ピクセル座標を共有レイ空間内の逆投影された単位レイにマッピングします。
• 因数分解された予測: モデルは以下の3つの要素を出力します：
  • $\hat{D}$: 正規化された深度フィールド（スケール不変）。
  • $\hat{C}$: 自己校正された信頼度マップ。
  • $\hat{m}$: 単一のグローバルなメトリックスカラー。
    最終的なメトリック深度は $\hat{D}_m = \hat{m} \cdot \hat{D}$ として再構成されます。これにより、絶対スケールを一次元のパスウェイに分離し、幾何学的損失をスケール不変な空間で動作させることが可能になります。

2. ヘテロジニアス投影トランスフォーマー

コアアーキテクチャは、局所的（ビュー内）およびグローバル（クロスビュー）な層を交互に配置したVision Transformer (ViT) バックボーンであり、以下の2つの主要コンポーネントによって強化されています。

• 学習可能な校正トークン: レンズ固有の歪みが共有されるビジュアルトークンを損なうのを防ぐため、モデルは層およびカメラタイプ固有の校正トークン ($\Theta$) をシーケンスに注入します。これらのトークンは、特定のビューに対して局所的にアテンションを行い、歪みパターンを補正しますが、次の層に進む前にドロップされます。これにより、グローバルなメトリック融合を妨げないように設計されています。
• ヤコビアンによるパラメータ化された歪みバイアス: ビュー間の幾何学的ギャップを埋めるために、バイアス項がクロスアテンションメカニズムに注入されます。このバイアスは、逆投影マップのヤコビアン（局所的なレイ方向と投影歪み）から導出されます。これは、歪んだ座標における外観の類似性だけに頼るのではなく、互換性のある3Dレイ幾何学と局所的な投影構造を持つパッチを優先するようにアテンションの重みを調整します。
• スケールアテンション: メトリックスケールの予測を堅牢にするため、モデルは信頼度の低い下位25%のピクセル（多くの場合、フィッシュアイの境界付近）を破棄し、残りの信頼できる領域に対して信頼度重み付きプーリングを実行してから、グローバルスケール $\hat{m}$ を回帰します。

3. 多段階トレーニング戦略

X-Lensは、レンズ固有の適応と結合最適化を分離するために、段階的な3ステージのトレーニングパイプラインを採用しています。

1. ステージ1（ピンホール事前学習）: モデルをマルチビューのピンホールデータで学習させ、堅牢な幾何学的事前分布とスケール認識を学習させます。この段階では校正トークンと歪みバイアスは無効化されています。
2. ステージ2（フィッシュアイ・トークン適応）: バックボーンを凍結し、フィッシュアイデータを用いて校正トークンのみを更新します。これにより、確立されたピンホール事前分布を上書きすることなく、広FOVの歪みにモデルを適応させます。
3. ステージ3（ヘテロジニアス結合学習）: ヤコビアン歪みバイアスを有効にし、混合されたフィッシュアイ・ピンホールデータ（新しいOmniSceneデータセットを含む）と純粋なピンホールデータを併用して、クロスビューの相互作用を整合させるために共同で微調整を行います。

4. OmniSceneデータセット

データの不足に対処するため、著者らは大規模な合成データセットであるOmniSceneを導入しています。

• 規模: 103の屋内および屋外シーンにわたる、約266,000個の同期された6ビューフレーム（170万枚の画像）。
• 構成: 4つのフィッシュアイ（FOV 180°）と2つのピンホールカメラからなる、剛体6カメラリグ。
• 品質: すべてのフレームに対して、高密度でノイズのないメトリックグラウンドトゥルース（z深度）、有効性マスク、および校正された内在・外在パラメータを提供します。

主な結果

実世界のデータセット（KITTI360, ETH3D, ScanNet++）および合成データセット（OmniScene）を用いた広範な実験により、X-Lensの精度と効率における優位性が示されました。

• ヘテロジニアス性能: OmniScene-Fullベンチマーク（6ビュー：4フィッシュアイ + 2ピンホール）において、X-Lensは最強のベースライン（MapAnything）と比較して、AbsRelを25.4%削減しつつ、88.9%少ないパラメータ数（0.04B vs. 1.23B）を実現しました。
• リアルタイム推論: NVIDIA H100 GPU上で、単一のフィッシュアイビューに対して41 FPS、フルヘテロジニアス6ビュー入力に対して22 FPSを達成し、より大規模なモデルを大幅に上回る速度を実現しました。
• 汎化性能: 未知の環境に対しても強力なゼロショット汎化能力を示し、均質なピンホールのみ、またはフィッシュアイのみの設定においても競争力のある性能を維持しています。
• パラメータ効率: わずか0.04Bのパラメータで、最先端のメトリック深度精度を達成しており、他の幾何学的基盤モデル（例：VGGT, DepthAnything3）の極めて小さなサイズとなっています。

意義と主張

本論文は、X-Lensがエンボディド・システムのためのリアルタイム空間インテリジェンスに向けた重要な一歩であることを主張しています。その主な貢献は以下の通りです：

1. ネイティブなヘテロジニアス・サポート: パノラマのスティッチングやハードウェア固有のステレオボリュームを必要とせず、生の混合フィッシュアイおよびピンホール入力をネイティブにサポートする初のコンパクトなモデルです。
2. 効率と精度のトレードオフ: 深度知覚を完全な3D再構成（ポーズ、内在パラメータ、ポイントマップ）から切り離し、メトリック深度とスケールに焦点を当てることで、X-Lensはエッジ展開に適した高い精度と低レイテンシのバランスを実現しています。
3. データリソース: OmniSceneの公開は、ヘテロジニアスなマルチビュー深度知覚の学習と評価のための重要なリソースを提供し、この分野の大きなギャップを埋めるものです。

著者らは、X-Lensを単なる深度推定器としてではなく、メトリック深度モデリングと、ロボットの計画やインタラクションのようなリアルタイムのダウンストリーム・アプリケーションとの架け橋となる幾何学に配慮したビジュアルエンコーダとして位置付けています。また、グラウンドトゥルースの校正への依存や、極端で未知のレンズ構成におけるシム・トゥ・リアル（シミュレーションから現実への移行）のギャップといった限界についても認めており、時間的集約やより広範な内在パラメータの多様性に関する今後の課題を示唆しています。