技術要約: OccAnyScene

問題提起

3Dセマンティック・オキュパンシー（占有領域）予測は、自動運転やエンボディドAIにおける包括的なシーン理解に不可ズです。しかし、既存の手法は主にシーン特化型であり、空間範囲、ボクセル解像度、カメラ構成、およびセマンティック分類学に関する固定されたプロトコルに基づいて設計されています。このような特殊化は、汎用的な3D知覚の開発を妨げます。

本論文では、単一のモデルが異種混合の屋内および屋外シーンを同時に扱うことを要求する新しいタスク設定である、クロスシーン3Dセマンティック・オキュパンシー予測を導入します。この設定は、根本的な課題を提示しています。それは、メトリックの一貫性を保ちつつ、シーンに適応可能な画像から3Dへのリフティングを実現することです。

• メトリックの不整合: 屋内シーン（例：部屋）は微細で短距離の知覚を必要とする一方、屋外シーン（例：道路）は粗い長距離の知覚を必要とします。
• パラメータ化の困難さ: 既存のガウス関数ベースの手法は、遮蔽（オクルージョン）の補完に必要な絶対的なオフセットとスケールがドメイン間で大幅に異なるため、苦戦します。カメラの内部パラメータやシーンの深さが異なるため、共有された絶対的なパラメータ化を学習することは困難です。

手法: OccAnyScene

これらの課題に対処するため、著者らは、学習済みの深度基盤モデル（例：DepthAnythingV2/V3）に基づいたピクセル・フラスタム中心のガウス・フレームワークであるOccAnySceneを提案しています。このフレームワークは、固定されたボクセルグリッドや単一のレイに頼るのではなく、各特徴ピクセルに関連付けられた有限の3Dフラスタム（視錐台）を、連続的なシーン表現を構築するための基本単位として扱います。

アーキテクチャは、主に以下の2つのモジュールで構成されています。

1. ピクセル整列フラスタム特徴集約 (PFFA)

このモジュールは、遮蔽領域を推論するために、各特徴ピクセルに対してカメラを考慮したフラスタム・クエリを構築します。

• 入力: 深度基盤モデルのDPTヘッドからの高密度幾何学特徴（$F_{geo}$）と、ViTエンコーダからの視覚トークンを受け取ります。
• 初期化: ピクセルクエリは、幾何学的手がかりとカメラレイの方向（内部パラメータから導出）を用いて初期化されます。
• コンテキスト集約: このモジュールは、逐次的なViTトークンを2Dグリッドに復元し、ピクセル整列型デフォーマブル・クロスアテンションを実行します。これにより、特徴ピクセルの周囲にあるセマンティックおよび構造的な手がかりを集約し、可視表面の幾何学、視覚幾何、およびローカルなコンテキストをエンコードしたフラスタム・クエリを生成します。

2. フラスタム・パラメータ化ガウス構成 (FPGC)

このモジュールは、予測されたピクセル深度とフラスタム幾何学によって制約された位置とスケールを持つ、複数のガウス・プリミティブ（1ピクセルあたり$K$個のガウス関数）へと各フラスタム・クエリをデコードします。

• 深度アンカリング: 様々な内部パラメータを持つデータセット間でのメトリックの一貫性を確保するため、モデルは軽量なMLPを用いて標準カメラ表面深度（$D_{surf}$）を予測します。これが共通の深度アンカーとして機能します。
• ポジショニング:
  • 深度増分 ($\Delta d_{p,k}$): すべてのガウス関数を表面に配置するのではなく、モデルは可視表面から遮蔽領域へと表現を拡張するための深度増分を予測します。
  • サブピクセル・オフセット ($\Delta u_{p,k}$): ダウンサンプリングされた特徴ピクセルの粗さを考慮し、限定されたサブピクセル・オフセットによって、ガウス関数の中心が対応するピクセル・フラスタム内で横方向に移動することを可能にします。
• スケール・パラメータ化: 不安定な絶対スケールの学習を避けるため、モデルはフラスタム相対スケールを使用します。モデルは、ガウス関数の深さにおけるフラスタムのメトリック断面に基づくスカラー・フラスタム・スケール参照値（$b_{p,k}$）を計算します。デコーダは、この参照値に乗算される無次元の相対スケール（$\hat{s}_{p,k}$）を予測します。これにより、異なるカメラパラメータやシーン範囲に対して空間的なサポートを自動的に適応させます。
• 出力: 得られたガウス関数は、学習可能な分類行列を介してシーン固有のセマンティック分類学にマッピングされ、ターゲットのボクセルグリッド上にスプラット（投影）されます。

主な貢献

1. タスク定義: 本論文は、異なるプロトコルを持つ異種混合の屋内および屋外シーンから共同で学習しなければならない設定である、クロスシーン3Dセマンティック・オキュパンシー予測を正式に導入しました。
2. フレームワーク設計: ピクセル・フラスタム中心のガウス・フレームワークであるOccAnySceneを提案しました。これは、以下の手法を通じてオキュパンシー予測を統一します。
   • PFFA: 遮蔽を推論するフラスタム・クエリを構築するため。
   • FPGC: 様々なスケールや内部パラメータに対して安定性を実現するために、フラスタム幾何学に対して位置とスケールをパラメータ化する、シーン適応型のガウス構成のため。
3. 性能: 広範な実験により、OccAnySceneが屋内（Occ-ScanNet）および屋外（SurroundOcc-nu_scenes）の両方のベンチマークにおいて、最先端（SOTA）の結果を達成していることが示されました。決定的なことに、クロスシーン・モデルは、個別に訓練されたシーン特化型モデルと同等の性能を発揮しており、統一されたモデルが大幅な性能低下なしに多様な環境を扱えることを証明しています。

実験結果

• 屋内 (Occ-ScanNet): DAv3エンコーダを使用した場合、クロスシーン設定において59.51% mIoUを達成しました。これは、シーン特化型の性能（59.92% mIoU）にほぼ匹敵し、他のクロスシーン適応（例：SplatSSC†は大幅に低下）よりも優れた結果となっています。
• 屋外 (SurroundOcc-nu_scenes): DAv3エンコーダを使用した場合、クロスシーン設定において22.87% mIoUを達成しました。これも同様に、シーン特化型の対応モデル（23.06% mIoU）に匹敵し、適応されたベースラインよりも優れています。
• 効率性: OccAnyScene-DAv2は、RTX 4090において、パラメータ数98.2M、推論時間86.4ms、メモリ使用量670 MiBという高い効率性を示しており、EmbodiedOccやSplatSSCといった先行研究と比較してメモリ使用量を80%以上削減しています。
• アブレーション研究:
  • PFFAまたはFPGCを取り除くと大幅な性能低下が生じ、フラスタムベースの特徴集約とパラメータ化の必要性が確認されました。
  • 「フラスタム相対スケール」と「深度増分」は、メトリックの変化と遮蔽補完を扱う上で極めて重要です。
  • ピクセルあたりのガウス関数の数（$K$）を1から3に増やしても、わずかな向上しか見られませんでした。これは、遮蔽の補完が単一のフラスタム内での深いスタッキングではなく、隣接するピクセルの集合的な寄与によって主に達成されていることを示唆しています。

意義と主張

本論文は、固定された空間表現から、カメラの幾何学とシーンの範囲に適応する幾何学的リファレンスへと移行することで、OccAnySceneがクロスシーン・オキュパンシー予測の困難さに成功的に対処したと主張しています。

著者らは、彼らのアプローチによって、ルームスケールとストリートスケールのオキュパンシー予測を単一のフィードフォワード・モデルへと統合できると断言しています。これにより、異なる環境に対して別々のモデルを維持・切り替える必要がなくなり、多様な環境で動作する自律システムへの展開とスケーリングが簡素化されます。本研究は、適切な幾何学的パラメータ化（ピクセル・フラスタム中心）を用いることで、統一されたモデルが高度な計算効率を維持しながら、専門化されたモデルに匹敵する性能を達成できることを示しています。

認められた限界:
著者らは、現在の評価が2つのデータセット（Occ-ScanNetおよびSurroundOcc-nu_scenes）に限定されており、未知の任意のシーンへの汎化能力についてはまだ実証されていないことを指摘しています。さらに、ピクセル・フラスタム表現は本質的にカメラの視野角内の領域のみをカバーしており、サラウンドビュー設定におけるカメラ間の隙間は、少数の補足的な空間クエリによって埋められますが、これらは集計メトリクスには最小限の影響しか与えず、カメラの視野外の領域を完全にカバーすることに対する限界を示しています。