技術サマリー：AnyScene

1. 問題定義

信頼性の高いレベル 4 自動運転の開発は、既存の公開データセットで過小評価されている、稀かつ安全性が重要なシナリオの「ロングテール」分布によって阻害されている。この課題に対処するためにスケーラブルな合成データ生成は不可欠であるが、現在の手法は、精密な制御性（ユーザー指定のシーン構成を忠実に実体化すること）とどこでも展開可能性（未見の地理、交通パターン、任意のレイアウトへの汎化）という 2 つの基本的な要件を満たす上で、重大な構造的限界に直面している。

既存の手法は、以下の 3 つの主要な領域で不十分である：

• 直接エンドツーエンド動画生成：粗いプロンプトから視覚的に魅力的なシーケンスを生成するモデルは、視点や時間全体にわたって幾何学的整合性が欠如し、微細な制御を困難にしている。
• 再構成ベースのシミュレータ：これらは高い視覚忠実度を達成するが、シーンごとの最適化に依存するため記録された軌道の再生に限定され、新規シーンの生成能力を欠いている。
• 既存の占有空間ガイド手法：3D 意味占有空間は構造化された視点非依存表現を提供するが、現在のパイプライン（UniScene、InfiniCube など）は脆弱である。これらは浅いクロスアテンションアダプタや過剰なトリープレーン因数分解に依存しており、微細な制御を弱体化させ、エージェントの欠落やぼやけた編集をもたらすことが多い。さらに、これらは通常低周波数（2 Hz）で動作し、参照フレームと固定カメラアライメントに構造的に依存するため、任意の鳥瞰図（BEV）入力から全く新しいシーンを生成することを妨げている。

2. 手法

著者は、運転シーン生成のための統合された占有空間中心のフレームワークであるAnySceneを提案する。このフレームワークは、BEV レイアウトから高忠実度の意味占有空間シーケンスを生成し、その占有空間からマルチビュー動画を合成するという 2 段階のプロセスに分解される。

A. BEV 条件付き制御可能占有空間生成

この段階では、任意の BEV レイアウトを 3D 意味占有空間の時間的シーケンスに変換する。

• BEV ベースの占有空間 VAE：計算効率と 2D 拡散モデルとの互換性を確保するため、著者は完全な 2D 変分オートエンコーダを採用する。これは 2D 軸アテンション層を用いて、3D 占有空間ボリュームをコンパクトな 2D BEV 潜在表現に変換する。モデルはクラス不均衡に対処するための Focal Loss、Lovasz-Softmax Loss、および KL 発散を用いて最適化される。
• 時空間占有空間拡散トランスフォーマ（STOccDiT）：これは中核的な生成モデルである。BEV レイアウト特徴と占有空間潜在変数を共同でトークン化する。直接マッピングを学習する以前の手法とは異なり、STOccDiT は因果的時空間アテンションマスクを備えた自己回帰生成プロセスを採用する。
  • 学習：モデルが前のフレームのクリーンな潜在変数と現在のフレームのノイズ入り潜在変数を受け取る「ティーチャフォース」戦略を採用し、並列学習しながら強力な条件制御を学習する。
  • 推論：モデルは自己生成した前のフレームを条件として、自己回帰的に占有空間を生成する。これにより、任意の、データセット横断的な、およびユーザー定義の BEV 入力から、精密かつ高周波数（12 Hz）の制御が可能になる。

B. 幾何学に基づくビュー拡張（GGVE）

この段階では、参照フレームに依存することなく、生成された占有空間シーケンスから直接、時間的およびクロスビュー整合性を持つマルチビュー運転動画を合成する。

• 標準的な空間表現：生成された占有空間シーケンスは、標準的な 3D シーン表現として扱われる。
• 明示的な幾何学的条件付け：各カメラビューに対して、システムは占有空間ボリュームから明示的な幾何学的信号をレンダリングする。意味バッファ、座標バッファ、およびカメラポーズのPlücker 埋め込みである。
• アーキテクチャ：GGVE は、VACE スタイルの ControlNet を備えた Wan2.1-T2V-14B バックボーンを基盤としている。学習可能な制御ブランチが、凍結された DiT バックボーン alongside で幾何学的条件（バッファと Plücker 埋め込み）を処理する。
• 自己回帰的マルチビュー合成：モデルは自己回帰的に動画を合成する。フロントカメラから開始し、以前に生成されたフレームをアンカーとして使用しながら、サイドおよびリアビューへと段階的に拡張する。これにより、再学習なしに推論時に柔軟なカメラ設定（任意のビュー数とポーズ）が可能になる。

C. データセット：nuCraftv2

高周波数評価を支援するため、著者は nuScenes データセットの 12 Hz リサンプリングであるnuCraftv2を導入する。これには、同期された高解像度 3D 意味占有空間、HD マップ注釈、および 3D 境界ボックスが備わっている。データセット構築には、クロスモーダル 3D 検出、インスタンスごとの 3D アセットバンク（SAM3/SAM3D を使用）、および元のデータの垂直バイアスを修正するための LiDAR ベースのポーズ再推定が含まれる。

3. 主要な貢献

1. BEV 条件付き制御可能占有空間生成：2D BEV ベースの占有空間 VAE と STOccDiT からなる新規パイプライン。この設計により、自己回帰生成を通じて、任意の BEV 入力（データセット横断的およびユーザー定義レイアウトを含む）からの精密かつ高周波数の制御を可能にする。
2. 幾何学に基づくビュー拡張（GGVE）：生成された占有空間を空間的アンカーとして扱うパラダイム。明示的な幾何学的条件付け信号をレンダリングすることで、GGVE は参照フレームに依存せず、任意のカメラ数とポーズを持つ自己回帰的マルチビュー動画合成を可能にし、以前の手法の参照フレーム依存性を克服する。
3. nuCraftv2 ベンチマーク：同期された BEV レイアウトと高密度な意味占有空間を備えた高周波数（12 Hz）ベンチマークであり、高周波数時空間モデルの学習と評価を容易にする。

4. 実験結果

著者は nuCraftv2 上で AnyScene を評価し、占有空間生成および動画生成の両方で最先端のパフォーマンスを実証した。

• 占有空間生成：
  • BEV ベースの占有空間 VAE は、以前の手法と比較して優れた再構成精度を達成した（例：同じ圧縮設定下で X-Scene よりも mIoU が 8.8% 上回る）。
  • 生成タスクにおいて、AnyScene は 3D ボリューム上で mIoU 19.01、IoU 15.58 を達成した。
  • モデルは入力条件への強い適合性を示し、「BEV 対レイアウト」設定で mIoU 52.45、IoU 68.97 を達成し、BEV 条件付けの有効な利用を確認した。
• 動画生成：
  • AnyScene は、評価されたすべてのフレーム長（8、16、49 フレーム）において最良の Fréchet Video Distance（FVD）スコアを達成し、MagicDrive-V2 や GenieDrive などのベースラインを大幅に上回った。
  • 制御性指標（mIoU および mAP）は既存の手法よりも著しく高く（例：GenieDrive の 30.97 に対し 38.26 mIoU）、より強力な意味的および空間的制御を示している。
• 汎化性と柔軟性：
  • フレームワークは、未見のデータセット（nuPlan、シンガポール、ドイツ、中国）および OpenStreetMap（OSM）から派生したカスタマイズされたレイアウトに対するゼロショット汎化を実証した。
  • 再学習なしに新規ビュー合成および任意のカメラアライメント（例：6 から 12 または 24 ビューへの拡張）をサポートする。
  • 定性的結果は、テキストプロンプトによる属性制御（天候、照明）の忠実さと、グランドトラース占有空間が不完全な場合でも完全なシーン構造を生成する能力を示した。

5. 意義と主張

本論文は、AnyScene が「どこでも」展開可能な極めて制御性の高い運転シーン生成への重要な一歩であると主張する。予測された占有空間を中央表現として位置づけることで、このフレームワークは幾何学と外観を成功裏に分離する。これにより以下が可能になる：

• 精密な制御：高忠実度で、ユーザー定義またはデータセット横断的な BEV レイアウトからのシーン生成能力。
• スケーラビリティ：シーンごとの最適化なしに、長距離シーケンスの生成と任意のカメラ設定への適応能力。
• 下流タスクでの有用性：生成されたデータは、高密度で幾何学的に整合性のある新規ビューを提供することで、スパースビュー 3D 再構成などの下流タスクに測定可能な利益をもたらす。

著者は限界を認め、現在のフレームワークはエージェントが固定された BEV レイアウトに条件付けられているため、反応的なエージェントの行動や交通流の相互作用をモデル化していないと指摘している。今後の研究は、交通行動モデルを統合し、ターゲットとなるコーナーケースを生成するためにこのフレームワークを閉ループシミュレーションに利用することを目指している。