A 3D Isovist World Model -- Revealing a City's Unseen Geometry and Its Emergent Cross-City Signature

技術要約：3Dアイソビスト・ワールドモデル

問題の定式化
都市ナビゲーションにおける現在の具現化された（embodied）ワールドモデルは、通常、2つの表現上の限界に直面している。一つは「外観優先（Appearance-first）」モデルであり、これは将来のRGBフレームを予測するため、幾何学構造が照明やテクスチャといった無関係なフォトメトリックの変化と絡み合ってしまう。もう一つは「鳥瞰図（BEV）占有」モデルであり、これは3D環境を2Dの地上平面へと押し潰してしまい、垂直方向や多層構造（高架橋や重層的なファサードなど）といった重要な情報を破棄してしまう。さらに、既存のアイソビストに関する文献は、可視性ボリュームを既知のマップから算出される記述統計として扱っているが、本研究では、事前の知識を持たないエージェントがナビゲートするための「予測的な状態」として扱う。

本論文は、「負の空間（negative space）」におけるワールドモデリングを提案する。建物の外観や平坦なフットプリントを予測するのではなく、モデルは3Dアイソビスト、すなわち建物間の開けた、航行可能なボリュームを予測する。アイソビストは、あらゆる方向における最短表面までの距離を記録する球面深度マップ（$D \in \mathbb{R}^{H \times W}$）としてエンコードされる。この表現は計量的であり、アクションに条件付けられ、純粋に幾何学的であり、レンジセンサーが知覚するもの、およびエージェントが実際に通過するものを直接的に反映している。

手法
著者らは、過去のアイソビストの履歴（$D_{t-T} \dots D_T$）と移動アクションベクトル（$a$）から、次のアイソビスト（$D_{T+1}$）を予測する、アクション条件付き自己回帰型ワールドモデルを導入している。

• アーキテクチャ: モデルは、隠れ次元256のエンコード・集約・デコードのパイプラインに従う。
  • エンコーダ: 各コンテキストフレームは、深度CNNとアンカーMLP（32個の幾何学的に顕著な点を検出）によって処理され、これらはフレームトークンへと融合される。
  • 時間的集約: カスタムのパス・トランスフォーマー（PathTransformer）（4レイヤー、8ヘッド）がトークンシーケンスを集約する。決定的なのは、位置エンコーディングが離散的なステップインデックスではなく、**累積弧長（cumulative arc-length）**に基づいている点であり、これにより不規則なステップ間隔に対する不変性が確保される。
  • アクション条件付け: 5自由度（移動量と方位変化）のアクションベクトルがフーリエ埋め込みされ、時間的サマリーに注入される。
  • デコーダ: 残差深度デコーダは、絶対的な次フレームではなく、深度変化マップ（$\delta$）を予測する。最終的な予測は $D_{T+1} = \text{clamp}(D_T + \delta, 0, R_{max})$ となる。これにより、モデルは前フレームの鋭い建物のエッジを継承し、視野の端における構造的な微小変化の学習に集中することができる。
• 持続的な空間メモリ: 同じ場所を通過する独立した経路間で幾何学的な一貫性を強制するため、モデルは持続的な潜在BEV空間マップを利用する。これは、絶対的な世界座標をキーとする潜在特徴の2Dグリッドである。モデルは現在の位置におけるバイリニア補間を介してこのマップから読み込み、指数移動平均（EMA）メカニズムを用いて書き込みを行う。この明示的で書き込み可能なメモリにより、同じ交差点を横切る異なる軌跡が、同一の幾何学的メモリを読み書きすることが保証される。
• 学習戦略: モデルはセルフ・ロールアウト・スケジューリング・サンプリングを用いて学習される。ガウスぼかしによるデータの破損（これは無効で滑らかなアイソビストを生んでしまう）を行う代わりに、モデル自身が予測を生成し、それが正解（Ground Truth）と凸結合されることで、破損したコンテキストが形成される。これにより、学習分布が有効な「幾何学多様体」上に維持される。損失関数は、重み付きログ深度誤差（エッジをアップウェイト）と勾配一貫性項を組み合わせたものである。

データセット
著者らは、OpenStreetMapのデータを用いて、マンハッタン（格子状）とパリ（オスマン様式）に関する再現可能なデータセットを構築した。

• 生成: 建物のフットプリントを高さ方向に押し出し（欠落しているOSM高さタグに対する特定のバックフィル戦略を伴う）、水密（watertight）なメッシュを作成した。
• サンプリング: 独立した軌跡間でのルート中盤のオーバーラップを確実にするため、交差点のアンカーを中心にパスを生成した。
• アイソビストの作成: 観測点（高さ1.6m）からレイをキャストし、球面深度マップ（解像度 $64 \times 128$）を生成した。
• プロトコル: 単一の**シティ・ブラインド（都市識別不能）**モデルが、都市ラベルを入力なしに、結合されたデータに対して学習された。

主な結果

1. 予測の質: モデルは、MAE、RMSE、およびEdge-F1において、強力な「コピー・ラスト（前フレームをそのままコピーする）」ベースラインを上回り、SSIMにおいては同等の性能を示した。これは、モデルが視野の端における微細で構造的な幾何学的変化を学習できることを示している。
2. 創発的な都市シグネチャ: 主要な発見は、単一のシティ・ブラインド・モデルが創発的な空間シグネチャを発達させることである。モデルの時間的潜在変数（PathTransformerの出力）を線形分類器でプローブすると、都市の識別（マンハッタンかパリか）が89.3%の精度（5分割交差検証）でデコード可能であった。
   • これは、生のピクセル・プローブ（78.5%）や単一フレーム統計プローブ（69.4%）を大幅に上回る数値である。
   • これは、シグネチャが静的な外観から派生しているのではなく、モデルが移動のシーケンスと可視性ボリュームの進化をどのように統合するかから派生していることを示唆している。
3. 再構成特性: 軌跡に沿って予測されたアイソビストを蓄積することで、負の空間を囲む「正の空間（建物のファサード）」を、ポイントクラウド内の高密度なリッジとして復元できる。
4. 空間マップの一貫性（予備的検討）: 合成された交差点を用いたアブレーション研究により、持続的なBEVマップを有効にすることで、マップなしの状態と比較して、クロスパスの幾何学的一貫性指標（例：+96% voxel IoU）が向上することが示された。

意義と主張
本論文は、負の空間のワールドモデリングが、具現化された都市空間推論のための軽量で解釈可能、かつ再現可能な基盤を提供すると主張している。

• 核心的な貢献: 外観を明示的に指定したり都市分類の目的関数を用いなくても、幾何学的な負の空間の予測的学習を行うことで、粗い都市形態（都市の「シグネチャ」）をエンコードする表現が得られることを示した。
• 謙虚な姿勢: 著者らは以下の点において、自らの主張を明確に限定している。
  • このシグネチャは、わずか2つの都市（マンハッタンとパリ）において実証されたものである。
  • この結果は、**高さの由来に関する混同要因（height-provenance confound）**に依存している（パリの高さは主に近傍の中央値によって補完されたが、マンハッタンは高い直接的なOSMカバレッジを持っていた）。これは隠蔽されることなく開示されている。
  • 空間マップの一貫性の結果は、大規模な検証ではなく、単一の合成交差点を用いた予備的な概念実証である。
  • モデルは、伝統的な意味での明示的な地図作成やローカライゼーションを行うとは主張しておらず、ナビゲーションのダイナミクスから都市のアイデンティティというデコード可能な軸が創発することを主張している。

本研究は、都市の「隠れた幾何学」――外観とは独立した航行可能な構造――が、エージェントが移動するにつれて開けた空間がいかに変化するかを予測することのみを通じて、学習および表現され得ることを確立している。