技術概要：中心を占める運転シーン生成のスケールアップ

1. 問題定義

運転シーンの生成は、特に知覚と計画の評価において、高コストな実世界データ収集への依存を軽減するため、自動運転（AD）の開発に不可欠です。しかし、既存の生成モデルには以下の 3 つの主要な限界があります：

1. データ不足: 高性能な中心を占める手法は、注釈付きのセマンティック占有データに依存していますが、これは依然として希少であり、規模が限られています（例：先行研究は Nuscenes データセットに依存していました）。
2. モダリティの断片化: 現在の手法は通常、単一の形式（例：RGB ビデオ）でデータを生成するか、BEV マップや 3D 境界ボックスといった粗い幾何学的条件に依存しており、実世界のシーンの複雑な分布を捉えきれず、結果として忠実度が最適化されません。
3. スケーラビリティの制約: 先行する統合フレームワーク（例：UniScene）は、シナリオの多様性とデータセットの規模が限られているため、大規模な下流タスクでの有用性が阻害されています。

2. 手法：UniScenev2

本論文は、大規模な 4 次元動的シーン生成向けに設計された、統合された中心を占めるフレームワークであるUniScenev2を提案します。このシステムは、階層的で時空間的に分離されたアーキテクチャを通じて、高品質なセマンティック占有、マルチビュー動画、および LiDAR 点雲を合成します。

A. データセット：Nuplan-Occ

データ不足を克服するため、著者らはこれまでに最大のセマンティック占有データセットであるNuplan-Occをキュレーションしました。

• 規模: Nuscenes-Occupancy と比較して、注釈付きシーンは約19 倍、フレーム数は18 倍多く、高解像度のボクセル注釈（400×400×32）を備えた約 360 万フレームを合計しています。
• 注釈戦略: このデータセットは、**Foreground-Background Separate Aggregation（FBSA）**パイプラインを採用しています：
  1. 分離: 点雲を、境界ボックスに基づいて背景（静的）と前景（動的物体）に分離します。
  2. 集約と登録: 背景の点は、ノイズを低減し幾何学を整合させるために、統計的フィルタリングと反復登録（Kiss-ICP）を受けます。前景の点は局所座標で集約されます。
  3. 再構築: ニューラルカーネルサーフェス再構築（NKSR）を用いて、背景と物体の両方の高密度メッシュを生成します。
  4. ラベリング: 前景物体には境界ボックス注釈を、背景領域には BEV マップ注釈を組み合わせたハイブリッドなラベリング手法を用いて、正確なセマンティックラベルを割り当てます。

B. 4 次元占有生成

このフレームワークは、時空間分離アーキテクチャを用いて、4 次元シーンの合成を 2 つの補完的なタスクに分解します：

1. 空間拡張: 空間占有拡散トランスフォーマ（DiT）が、ノイズまたは任意の BEV レイアウトから拡張されたグローバルなセマンティック占有グリッドを生成します。
2. 時間予測: 時間占有 DiT が、静的な自己運動と動的物体の運動に基づいて、将来の占有シーケンスを予測します。

• データフィルタリング: これらの異なるコンポーネントを訓練するために、データセットをフィルタリングします：空間データには自己車両が移動するシーンを含め、時間データには自己車両は静止しているが周囲の交通が移動するシーンを含めます。
• アーキテクチャ: システムは、圧縮用に 4 次元占有 VAE（3D CNN と軸方向アテンションを備える）を、ノイズ除去用に DiT バックボーンを利用します。

C. マルチビュー動画生成

3 次元占有と 2 次元動画の間のギャップを埋めるため、著者らはガウススプラッティングに基づくスパース点マップレンダリング戦略を導入します：

• スパースレンダリング: 占有グリッドを 3D ガウスプリミティブに変換し、スパースなセマンティックおよび深度点マップとしてレンダリングします。幾何学的精度を確保するために、小さなガウススケール（0.01）を使用します。
• 堅牢な較正: 大規模データ（Nuplan）におけるセンサーの誤整合とレンズ歪みに対処するため、**Unscented Transform（UT）**を投影パイプラインに統合します。これにより、非線形カメラモデル下での 3D ガウスの分布を近似し、マルチビュー画像との正確な整合を保証します。
• 生成: これらレンダリングされたマップは、マルチビュー動画を合成する動画拡散トランスフォーマ（DiT）のための堅牢な条件付けガイダンスとして機能します。

D. LiDAR 点雲生成

現実的な LiDAR データをシミュレートするため、フレームワークはセンサー固有の埋め込み戦略を採用します：

• センサー認識: モデルは、フーリエ符号化とプルッカー座標を用いて、LiDAR センサーリグデータ（位置と光線幾何学）を明示的に符号化します。
• 柔軟なシミュレーション: リサンプリングネットワークが統合された LiDAR リグ埋め込みを生成し、モデルが異なる LiDAR 設定とパターンを柔軟にシミュレートできるようにします。
• 光線平滑化正則化: 新しい損失項は、類似のヒストグラム特徴を持つ光線間の深度平滑化を促進し、平坦な表面（例：道路）における LiDAR スキャンラインの連続性を模倣します。
• 出力: モデルは、各光線に対して深度、反射強度、および光線ドロップ確率を予測します。

3. 主要な貢献

1. スケーラブルな統合フレームワーク: UniScenev2 は、モデルアーキテクチャと訓練データを同時にスケールアップすることで以前の規模制限を克服し、占有、動画、および LiDAR の高忠実度生成を達成します。
2. 時空間分離: 分離されたアーキテクチャと専用のデータフィルタリング戦略の導入により、4 次元動的シーンに対する堅牢な空間拡張と時間予測を可能にします。
3. モダリティ架橋技術:
   • ノイズに強い動画条件付けのための、Unscented Transform 較正を備えたガウススプラッティングに基づくスパースレンダリング手法。
   • 柔軟で現実的なマルチ LiDAR シミュレーションのためのセンサー固有の埋め込み方式。
4. Nuplan-Occ データセット: 革新的な FBSA 注釈パイプラインを備えた、大規模で高解像度のセマンティック占有ベンチマーク（360 万フレーム）の公開。

4. 実験結果

Nuplan-Occ のミニセットとフル検証セットにおける広範な実験は、優れた性能を示しています：

• 占有: 再構築で98.5% mIoU、生成（フルセット）で33.41% mIoUを達成し、UniScene や OccSora を大幅に上回りました。
• 動画: フル検証セットで7.59 FIDおよび61.42 FVDを達成し、Vista や MagicDrive などの最先端手法を上回りました。
• LiDAR: フルセットで0.575 × 10⁻⁵の MMD を達成し、UniScene より54.25% 改善されました。
• 下流タスクへの有用性: UniScenev2 によって生成された合成データは、NAV SIM/Nuplan テストセットにおける下流の計画指標（過失なし衝突と走行可能領域の遵守）を向上させます。生成データ量を Nuplan-Occ の 10% から 100% にスケールアップすると、計画性能に顕著な改善が見られます。
• 汎化能力: モデルは、異なるセンサー設定（6 個の魚眼カメラ＋フロント LiDAR）を備えた社内データセットにおいて、強力な汎化能力を示します。

5. 意義と主張

本論文は、UniScenev2 がデータ不足とモダリティ断片化という重要なボトルネックに対処することで、運転シーン生成における重要な進歩を表していると主張しています。大規模な Nuplan-Occ データセットと統合された中心を占めるアプローチを活用することで、この手法は多様で高忠実度な 4 次元動的シーンの合成を可能にします。著者らは、このフレームワークが最先端の生成忠実度を達成するだけでなく、スケーラブルで高品質な合成データを通じて下流の知覚および計画タスクの性能を向上させることで、自動運転研究に実用的な価値を提供すると述べています。