Geometry-Aware Spatio-Temporal Context Modeling for 4D Occupancy Forecasting

技術要約：4D Occupancy Forecastingのための幾何学認識型時空間コンテキストモデリング

問題提起
4D occupancy forecasting（4D占有予測）は、過去の観測から3Dシーンの時空間的な進化をモデル化することを目指しており、これは長期間の動作計画やコーナーケースのシミュレーションといった自動運転アプリケーションにおいて極めて重要な能力である。既存の手法は、3Dシーンを離散的なトークン（例：VQ-VAE経由）に圧縮し、将来のトークンを逐次生成するという自己回帰パラダイムを通じて進歩してきたが、主に以下の3つの限界に直面している：

1. 幾何学的歪み： 静的な構造に対する明示的な幾何学的制約の欠如により、長期予測において形状の歪みや位置のドリフト（例：道路や建物）が生じる。
2. 一貫性のない時間的コヒーレンス： 因果的なステップバイステップの生成プロセスは、タイムスタンプ間のグローバルな空間コンテキストのモデリングを妨げ、時空間的な一貫性を損なう。
3. 表現能力の制約： トークン化とシーケンスモデリングを分離する2段階の学習パイプラインは、トークナイザーの表現能力によって予測器が制約され、誤差の蓄積を招く。

手法：GAST
著者らは、離散的なトークン空間ではなく、連続的なBird's-Eye-View (BEV) 空間で動作するエンドツーエンドのフレームワークであるGAST (Geometry-Aware Spatio-Temporal context modeling) を提案している。そのアーキテクチャは、主に4つのコンポーネントで構成される：

1. Occupancy Encoder（占有エンコーダ）： 過去の占有グリッドとエゴポーズをコンパクトなBEV特徴量へとエンコードする。また、軽量なポーズエンコーダとクロスアテンションを用いて、将来の相対的なエゴポーズ（並進および回転）を予測する（ただし、評価時にはグランドトゥルースのポーズを使用することも可能）。
2. Progressive Explicit-Implicit Generation (PEIG)（漸進的明示・暗示的生成）： このモジュールは、3つのステップを通じて、初期のフレームごとの将来の特徴量を生成する：
   • Explicit Geometric Transformation (EGT)（明示的幾何変換）： 予測されたエゴポーズを利用して、現在のBEV特徴量を将来のエゴ座標系へと剛体的な空間ワーピングを行う。これにより、静的なシーン要素の幾何学的整合性が強制される。
   • Implicit Feature Modulation (IFM)（暗示的特徴変調）： 将来の相対的なポーズ変化を事前知識として用い、チャネルごとのアフィン変換（スケーリングおよびシフト）を介してワーピングされた特徴量を適応的に精緻化し、非剛体的な動的シーンの変化をモデル化する。
   • Feature Refinement (FR)（特徴精緻化）： デフォーマブル・クロスアテンションを採用し、現在の観測からの高忠実度な手がかりを将来の特徴量に融合させ、予測を現在のシーンのコンテキストに接地させる。
3. Dual-Path Spatio-Temporal Modeling (DPSTM)（デュアルパス時空間モデリング）： フレーム間のコヒーレンスを確保するために、フレームごとの特徴量を並列に処理する：
   • Global Spatial Context Aggregation (GSCA)（グローバル空間コンテキスト集約）： エゴポーズを用いて、過去と将来の特徴量を共有されたグローバル座標系に統合する。粗い解像度から細かい解像度までのマルチスケールな空間コンテキストを集約し、長距離の構造的依存関係を捉える。
   • Temporal Dynamics Extraction (TDE)（時間的ダイナミクス抽出）： ConvGRUを用いて、過去および将来の特徴量のシーケンスを時系列順に処理し、意味論的な進化をモデル化して時間的な滑らかさを確保する。
     これら2つのパスの出力は融合され、最終的な将来のBEV特徴量が生成される。
4. Occupancy Decoder（占有デコーダ）： 過去の再構成と将来の予測を共同で最適化する。過去の特徴量と強化された将来の特徴量を結合し、4D occupancyボリュームを予測することで、統一されたフレームワーク内で知覚と予測を橋渡しする。

主な貢献

• 統一されたフレームワーク： GASTは、トークン化してから生成するという2段階のパラダイムを、連続的なBEV空間において過去の再構成と将来の予測を共同で最適化するエンドツーエンドのアプローチに置き換える。
• 漸進的明示・暗示的生成： ポーズ駆動のワーピングを通じて静的な幾何学を明示的に伝播させると同時に、動きを考慮した変調とアテンションベースの精緻化を通じて動的な意味論を暗示的に洗練させる、斬新な戦略。
• デュアルパス時空間モデリング： グローバルな空間集約による幾何学的整合性と、逐次的なダイナミクス抽出による時間的コヒーレンスの両方を同時に強制するメカニズム。
• 性能と効率性： 本手法は、自己回帰型のベースラインと比較して計算コストを大幅に削減しながら、最先端（SOTA）の結果を達成している。

実験結果
Occ3D-nuScenes検証セットを用いた広範な実験、およびOcc3D-Waymoに対するゼロショット評価が行われた。

• 精度： グランドトゥルースの3D occupancyおよびグランドトゥルースのエゴ軌跡を用いたOcc3D-nuScenesにおいて、GASTは47.40% mIoUおよび56.24% IoUを達成した。これは、前述のSOTAであるI2-Worldを、mIoUで7.67%、IoUで**6.44%**上回る数値である。
• 長期予測： 8秒の予測ホライゾンにおいて、GASTは優れた性能を維持し、24.12% mIoUおよび39.06% IoUを達成し、拡散モデルベースや自己回帰型のベースラインを大幅に凌駕した。
• 効率性： GASTは、I2-Worldと比較して、より少ないパラメータ数（12.09M vs 22.67M）と低いFLOPsでありながら、2.84倍の高速化（レイテンシ 80.03ms vs 227.09ms）を実現した。
• 汎用性： Occ3D-Waymoにおけるゼロショット評価では、10HzサンプリングにおいてI2-Worldを13.74% mIoU上回る、堅牢な性能を示した。

意義
本論文は、GASTが、静的な構造に対して幾何学的制約を明示的に課し、トークンベースの生成に固有の誤差蓄積なしにグローバルな時空間依存性をモデル化することで、現在の自己回帰型占有ワールドモデルの根本的な限界に対処していると主張している。連続空間において再構成と予測を統一することにより、本手法は、動的な3Dシーンのより堅牢で、幾何学的に忠実、かつ時間的に一貫した表現を提供しており、これは安全で効果的な自動運転システムにとって不可欠である。著者らは、彼らのアプローチが、高精度な4D occupancy forecastingのための幾何学認識型モデリングとデュアルパス時空間処理の有効性を検証していることを強調している。