InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation

技術要約: InstaDrive

問題提起
自動運転システムは、知覚、物体追跡、プランニングといったダウンストリームタスクの学習のために、高品質かつ大規模なマルチビュー走行ビデオに大きく依存しています。「ワールドモデル」は、現実世界のデータ収集に代わるコスト効率の高い選択肢を提供しますが、既存のアプローチには以下の2つの決定的な限界があります。

1. インスタンスレベルの時系列一貫性: 現行のモデルは、特定のオブジェクトの属性（色、質感、アイデンティティなど）をフレーム間で安定して維持することに失敗することが多く、ちらつきやアイデンティティの切り替わりを引き起こします。
2. 空間幾何学的忠実度: 生成されたビデオは、制御信号（例：バウンディングボックスが意図した位置から逸脱するなど）との不一致を示すことが頻繁にあり、また遮蔽階層（例：遠方の物体が近方の物体を誤って遮蔽する）を正しくモデル化できていません。

これらの欠陥は、厳密な空間コンテキストと時系列的に安定した物体追跡を必要とする、高度な自動運転タスクへの合成データの適用を妨げています。

手法
著者らは、OpenSora V1.1フレームワーク（変分オートエンコーダ、T5テキストエンコーダ、および空間・時間拡散トランスフォーマーを利用）に基づいた走行ワールドモデルであるInstaDriveを提案しています。InstaDriveは、上述の課題に対処するために、2つの新しいインスタンス認識モジュールを導入しています。

1. Instance Flow Guider (IFG):

   • 目的: インスタンスの特徴量をフレーム間で追跡・伝播させることで、時系列の一貫性を強制すること。
   • メカニズム: このモジュールは、トラッキングIDを利用して、周囲の物体の運動軌跡（インスタンスフロー）を捕捉します。現在のフレームと、そのインスタンスの直近の可視フレームとの間の3次元変位ベクトル（オフセット）を計算します。
   • 実装: このオフセットは、潜在空間内の「モーションマップ」としてレンダリングされます。ここでは、x、y、zのオフセットがRGBチャンネルにマッピングされます。このモーションマップは、ControlNetを介してDiffusion Transformer (DiT) バックボーンに注入されます。
   • 効果: 時系列アテンション層はこのモーション条件を使用して、前のフレームからセマンティック特徴（カテゴリ、色、質感）を抽出し、それを前方へ伝播させます。これにより、物体が遮蔽後に再出現した場合でも、そのアイデンティティが安定したまま維持されます。

2. Spatial Geometric Aligner (SGA):

   • 目的: 正確な空間的な局在化と正しい遮蔽推論を確保すること。
   • メカニズム: このモジュールは、ワールド座標系からの3Dバウンディングボックスを、カメラの第一人称視点（FPV）へと変換します。
   • 実装:
     • 投影: 3Dボックスのコーナーを2Dピクセル座標に投影し、RGBドメインにおける明示的な空間制約を作成します。
     • 深度順序: 遮蔽をモデル化するために、システムはカメラの光学中心に対する各コーナーポイントの深度を計算します。これらの深度値は、フーリエ埋め込みとMLPを介してエンコードされ、深度順序表現が作成されます。
     • 融合: 投影されたボックス条件と深度順序表現は、生成パイプラインに注入される前に、クロスアテンションメカニズムを用いて融合されます。
   • 効果: これにより、生成された物体がバウンディングボックスの制御信号に厳密に従い、かつ近方の物体が遠方の物体を正しく遮蔽するようにします。これにより、幾何学的な一貫性が維持されます。

主な貢献

• Instance Flow Guider: 外部の特徴抽出器に依存することなく、フレーム間でインスタンス特徴を抽出し伝播させる軽量なモジュール。
• Spatial Geometric Aligner: インスタンスをピクセル空間に整合させ、遮蔽階層を解決するために、3Dバウンディングボックスの投影と明示的な深度順序を統合するメカニズム。
• プロシージャルなロングテール・シミュレーション: CARLAのオートパイロットを活用し、多様なマップ上で稀な安全性に関わる走行シナリオ（例：急ブレーキ、割り込み）を確率的にシミュレートするパイプラインを提供し、ビデオ合成のための厳密な制御条件を実現します。
• 統合フレームワーク: これらのモジュールをControlNetと組み合わせ、複数の制御信号（ロードマップ、3Dボックス、カメラポーズ）を効率的に処理するエンドツーエンドのアプローチ。

結果
nuScenesデータセットを用いた評価において、InstaDriveは最先端（SOTA）の性能を示しています。

• ビデオ品質: FID 3.96およびFVD 38.06を達成し、MagicDrive-V2、DriveDreamer2、Panaceaなどの既存手法を凌駕しています。
• 時系列一貫性: StreamPETRモデルを用いたマルチオブジェクト追跡（MOT）タスクにおいて、InstaDriveが生成したデータはIDスイッチ（IDS）を532に減少させました（DriveDreamer2の593および実世界のベースラインの687と比較）。これは、優れたインスタンス安定性を示しています。
• 空間的忠実度: 知覚タスクにおいて、InstaDrive生成データで学習されたモデルは、検証セットに対してnuScenes検出スコア（NDS）40.51（実データに対する相対性能86.38%）を達成しました。データ拡張（合成データと実データの混合）に使用した場合、知覚モデルのNDSは実データのみの学習と比較して3.6ポイント向上しました。
• 定性的分析: 視覚的な比較により、先行研究が偏差を示す傾向にある一方で、InstaDriveは色の変化を排除し、バウンディングボックスの制約を遵守し、遮蔽関係を正しくレンダリングしていることが確認されました。

意義
本論文は、InstaDriveが、合成生成と現実世界の自動運転要件の間のギャップを効果的に埋める、きめ細かく堅牢なワールドモデルを確立したと主張しています。インスタンスレベルの時系列一貫性と空間幾何学的忠実度を明示的に扱うことで、このモデルは高品質なビデオを生成するだけでなく、ダウンストリームの知覚、追跡、およびプランニングタスクの学習に直接適用可能で有益な合成データを生み出します。さらに、CARLAとの統合によるプロシージャルなロングテール・シナリオ生成は、自動運転システムにおける安全性に関わる評価への潜在能力を強調しています。