技術的サマリー：PanoWorld：360°パノラマ世界における空間超知覚への道

問題定義

マルチモーダル大規模言語モデル（MLLM）は、主に透視図画像で訓練されているため、狭い視野（FoV）を継承しており、周囲環境全体を知覚する能力が制限されるという理由から、堅牢な空間推論に苦戦しています。360°パノラマセンシングは、観測者中心の環境全体を捉えることで「超知覚」を提供しますが、既存の MLLM パイプラインは通常、これらのパノラマを複数の離散的な透視図に分解します。このアプローチは、等角投影（ERP）の球状構造を暗黙のものと扱い、パノラマデータに内在するグローバルに整合した巻き戻り連続性や、観測者依存の空間関係を十分に活用できていません。

幾何学的歪み、不均一な空間サンプリング、境界の非連続性といった根本的な表現のギャップにより、透視図ベースのモデルをパノラマに直接転用することは困難です。さらに、現在のパノラマ MLLM 研究は断片的であり、標準的な視覚質問応答（VQA）指標を超えた空間推論を評価するための体系的な能力分類と統一ベンチマークが欠如しています。

手法

著者らは、MLLM が連続的な観測者中心の ERP パノラマ上で直接推論することを可能にする「パノネイティブ」空間学習のための統合フレームワークPanoWorldを提案します。この手法は、3 つの中核コンポーネントで構成されます。

1. 能力分類

本論文は、監督とベンチマークの基盤となる 4 つの能力ファミリーを通じてパノネイティブ理解を定義します。

• セマンティック・アンカリング: 言語を視覚的エンティティ、属性、およびグローバルなシーントポロジーに接地させること。
• 球面グラウンディング: 平面画像座標ではなく、ヨー（yaw）とピッチ（pitch）パラメータを使用して、観測球面上でエンティティを局所化すること。
• 参照フレーム変換: 観測者の回転（カメラ回転）またはオブジェクト条件付きの再方向付けにおける空間関係の推論。これには、継ぎ目を意識した巻き戻り連続性も含まれます。
• 深度認識型 3D 空間推論: 球面観測を深度、相対距離、および観測者中心の関係（例：左/右、前/後）を含む 3D 構造と結びつけること。

2. 大規模メタデータ構築パイプライン

この分類をサポートするため、著者らは混合ソース（屋内/屋外、合成/実写）から57 万 7 千枚の高品質 ERP パノラマのデータセットを構築しました。幾何学的に意識され、言語に接地し、深度を認識した監督を生成するための検証可能なメタデータパイプラインを開発しました。

• 幾何学的意識検出: パノラマを検出のために重なり合う透視図に投影し、その後、歪みと継ぎ目の分割に対処するため、幾何学的検証（IoU ベースの抑制、クロスビュー整合性）を伴って ERP 座標に再投影します。
• 言語接地セマンティクス: MLLM がセマンティック注釈と参照フレーズを生成し、テキストと視覚領域の整合性を確保するために「記述 - 再検出」ループを通じて検証します。
• 深度関連付け: エンティティをソースデータからの深度情報に関連付けるか、パノラマ深度モデルを通じて推定します。
• 構造化グラフ: これらの要素は、エンティティとその球面/3D 関係を表現するメタデータグラフ $G=(V, E)$ を形成し、そこから299 万 8 千の指示チューニング例が導き出されます。

3. パノ対応モデル適応（PanoWorld）

このモデルはQwen3.5-VLを基盤とし、**球面空間クロスアテンション（SSCA）**モジュールで拡張されています。

• 球面トークンの構築: 各視覚パッチについて、モデルは ERP 座標におけるその中心を計算し、球面方向 $(\lambda, \phi)$ にマッピングします。これらの方向は正弦波球面符号化を通じてエンコードされ、視覚的隠れ空間に投影されて球面トークン $S$ を作成します。
• クロスアテンション注入: パッチ埋め込みの直後に、視覚トークン $H^{(0)}$ がクロスアテンションを介して球面トークン $S$ をクエリします。これにより、モデルは観測者中心の方向に基づいて幾何学的に意識された信号を取得できます。
• ゲート付き融合: 生成された幾何学的に意識された信号は、ゲート付き残差更新を介して視覚ストリームに融合され、事前学習されたバックボーンを維持しつつ球面幾何学を注入します。

主要な貢献

1. 能力分類: セマンティック・アンカリング、球面グラウンディング、参照フレーム変換、および深度認識型 3D 推論に分解されたパノラマ空間推論の体系的な定式化。
2. データとベンチマーク: 検証済みグラフを伴う 57 万 7 千枚のパノラマを生成するスケーラブルなメタデータ駆動パイプライン、および局所化、関係推論、3D 空間理解、継ぎ目連続性における ERP ネイティブ空間推論を評価する診断ベンチマークPanoSpace-Bench。
3. モデルアーキテクチャ: 幾何学的整合性のある理解のために球面幾何学を視覚ストリームに注入する、球面空間クロスアテンションを備えたPanoWorldモデル。
4. 実証的検証: 堅牢なパノラマ推論には、専用のパノネイティブ監督と幾何学的意識適応が必要であることを示す広範な実験。

実験結果

提案されたフレームワークは、PanoSpace-Bench、H*Bench（人間中心視覚検索）、および R2R-CE Val-Unseen（視覚言語ナビゲーション）で評価されました。

• PanoSpace-Bench: PanoWorld は全体精度**56.5%**を達成し、GPT-4o（31.8%）などのプロプライエタリモデルやオープンソースのベースラインを大幅に上回りました。BFOV 局所化（ベースラインの<5% に対し 73.3% mIoU）および継ぎ目連続性推論（約 37% に対し 65.5%）において顕著な改善が観察されました。
• H*Bench 転移: ゼロショット設定において、PanoWorld は**56.1%**の全体精度を達成し、最良の透視図ベースライン（38.4%）を大幅に上回りました。微調整後、**70.1%**に達し、学習された表現が過学習することなく下流の検索タスクに効果的に転移することを示しました。
• R2R-CE Val-Unseen: 入力として ERP パノラマのみを使用し、PanoWorld は成功率（SR）54.3%、SPL**52.1%**を達成しました。これは、標準的な訓練データの 80% しか使用していないにもかかわらず、最近の RGB みの VLN モデルやウェイポイント予測器手法を上回りました。
• 効率性: 直接 ERP 推論は単一のフォワードパスを必要とするのに対し、透視図回転方式は 3.5〜6.3 の逐次相互作用ステップを必要とするため、PanoWorld は相互作用ステップとトークン使用量の点で著しく効率的です。

意義と主張

本論文は、ERP 画像を単に広幅の 2D 画像として扱うか、プロンプトレベルの座標記述に依存するだけでは、堅牢なパノラマ推論は達成できないと主張しています。その代わり、専用のパノネイティブ監督と幾何学的意識モデル適応が必要です。

著者らは、自らの研究が以下のことを実証していると主張します。

1. パノネイティブ学習の必要性: 汎用 MLLM は球面推論に失敗する。球面幾何学の特定のアーキテクチャ注入と、能力に整合したデータでの訓練が不可欠である。
2. 統合表現: 断片的な局所ビューにシーンを分解するよりも、連続的なパノラマ空間上で直接推論する方が効率的かつ効果的である。
3. 転移性: パノネイティブ監督から学習された空間事前知識は、人間中心の視覚検索や身体化ナビゲーションを含む多様な下流タスクに一般化し、透視図探索に依存する手法を上回る。

本論文は、PanoWorld と PanoSpace-Bench が、透視図画像パラダイムの限界を超え、全方位空間知能の進展の基盤を提供すると結論付けています。