💻 computer science

InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving

InfiniVerseは、単一フレームから3Dオキュパンシーを再構成し、それを自己回帰的に拡張し、さらにビデオ拡散モデルの出力を3D空間表現に整合させる階層的なスケッチ・アンド・リファイン・パラダイムを通じて洗練させることで、自動運転のための現実的で制御可能かつ時間的一貫性のある長距離の都市シーンを生成する統合パイプラインである。

原著者： Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、自動運転車が学習するための、終わることのないリアルな街路の動画を構築しようとしている建築家だと想像してください。通常、これは非常に困難な作業です。単にコンピュータに「動画を作り続けて」と頼むだけでは、次第に「幻覚（ハルシネーション）」が始まってしまいます。道が不可能な形にねじ曲がったり、建物が消えたり、あるいは車が何もない空中へと突っ込んでいったりするのです。一方で、厳格な地図に従わせようとしすぎると、動画は硬くて不自然なものになってしまいます。

InfiniVerseは、ラフなスケッチと高精細カメラの両方を使って働く熟練の建築家として振る舞うことで、この問題を解決する新しいシステムです。

その仕組みは、以下のステップで行われます。

1. 「3Dスケルトン」（オキュパンシー・グリッド）

まず、システムは街の断面図（車のカメラなど、複数の角度から撮影されたもの）を1枚見ます。単なる平面の画像として見るのではなく、世界の**3D「スケルトン（骨組み）」**を構築します。これは、巨大で目に見えないブロックの格子（グリッド）のようなもので、コンピュータが「このブロックは道路、これは建物、これは空（空間）」と判断していくものです。

なぜ重要か： これにより、システムは確固たる物理的な構造を持つことができ、動画が長くなっても道を見失うことがなくなります。

2. 「ラフなスケッチ」（自己回帰的な拡張）

次に、元の写真には存在しない新しい道を車に走らせたいとしましょう。あなたは地図上に、進みたい方向を示す単純な線（「スケッチ」）を描きます。

InfiniVerseはこのスケッチを使用して、3Dスケルトンを前方へと拡張します。あなたの経路に沿って、新しい街のブロックを埋めていくのです。
この段階では、街はまだ少しカクカクとした低解像度の状態（マインクラフトの世界のような状態）ですが、正しい形状とレイアウトを持っています。

3. 「高精細カメラ」（ビデオ生成）

次に、システムはこのカクカクした3Dスケルトンを取り、強力なAIビデオジェネレーターにこう命じます。「これを本物の、フォトリアルな映画のように見せてくれ。」

システムは、これらの粗いブロックを、滑らかなアスファルト、光沢のある車、そしてリアルな樹木へと変貌させます。
決定的なのは、スケッチした経路に沿ってカメラが正確に動き続けるように制御している点です。

4. 「フィードバック・ループ」（秘伝のソース）

これが最も重要な部分です。通常、AIビデオジェネレーターは、自分自身の創造性に「酔いしれて」しまい、しばらくすると現実から逸脱してしまいます。InfiniVerseは、双方向の対話によってこれを防ぎます。

3Dが2Dを導く： 粗い3Dスケルトンがビデオジェネレーターに対し、「道路から外れるな。建物を浮かせたりするな」と指示を出します。
2Dが3Dを導く： 美しくリアルな映像が生成された後、システムはその映像を、再び3Dスケルトンへと投影します。そして、「おい、ビデオにはここに木が映っているぞ。だから、木を含めるように3Dスケルトンを更新しろ」と指示を出します。

これにより、**クローズドループ（閉じた輪）**が形成されます。3D構造がビデオの崩れを防ぎ、リアルなビデオが3D構造の正確さを保ちます。両者が常に互いの仕事を確認し合っているのです。

結果

この論文は、このシステムが、従来のメソッドよりもはるかに長く、現実的かつ物理的に一貫した、連続した長い走行動画を生成できると主張しています。

魔法の地図は不要： 事前に用意された完璧な世界地図を必要としません。たった一枚の開始写真から、自ら世界を構築していきます。
安定性： 道が壁の中に曲がってしまったり、空が緑色に変わったりするといった「ドリフト（逸脱）」が発生しません。
コントロール： 左折、直進、右折といった指示を与えるだけで、その経路に従ってリアルな街を構築してくれます。

要するに、InfiniVerseは、セット（3D）を構築しながら同時にシーン（2D）を撮影し、俳優がまだセットの上に立っているか、そしてセットが依然として映画として成立しているかを常にチェックする、自己修正型の映画監督のようなものです。これにより、自動運転車が練習するための、終わりのないリアルな走行シナリオを作り出すことが可能になるのです。

技術要約: InfiniVerse

問題提起

現実的で制御可能、かつ時間的な一貫性を持つ都市環境の生成は、自動運転における極めて重要かつ未解決の課題であり続けている。既存の手法は短距離のクリップを合成することはできるが、長期間（long-horizon）の生成には苦慮している。

暗黙的自己回帰手法（例：ビデオ拡散モデル）は、高い視覚的忠実度を実現する一方で、明示的な3D構造を欠いているため、時間の経過とともに幾何学的なドリフトや「幻覚（hallucinations）」が蓄積される。
明示的事前知識ガイド型アプローチ（例：BEV/HDマップに依存するもの）は、空間的一貫性を強制できるが、入力される事前知識の範囲に制限があり、長時間のビデオ生成や、生成された幾何構造と視覚的外観の間の整合性の維持に課題がある。

単一のフレームから、固定された定義済みのマップに依存することなく、長距離で2D–3Dが整合し、制御可能な動的シーンを生成できる統一されたパイプラインが必要とされている。

手法: InfiniVerse

InfiniVerseは、階層的なスケッチ・アンド・リファイン（sketch-and-refine）パラダイムを通じて、3Dオキュパンシー（占有）モデリングと2Dビデオ生成を橋渡しする統一フレームワークである。本システムは、双方向のクローズドループ・フィードバック機構によって接続された、主に2つのステージで動作する。

1. 画像誘導型ボクセル生成（初期再構成）

バックボーン: システムは、階層的なスパース・ボクセル・グリッドと潜在拡散（latent diffusion）に基づく大規模3D生成モデルであるXCubeを利用する。
コンディショニング: 入力されるマルチビュー・フレームは、LSS（Lift-Splat-Shoot）アンプロジェクション・パイプラインを通じて処理される。DINO-V2から抽出された特徴量は、高密度な3Dボクセル・グリッドへとエンコードされる。
出力: このステージでは、詳細なセマンティクスと幾何学構造を備えた初期のオキュパンシー・シーン（ $O_0$ ）を再構成し、効率化のために**トライプレーン潜在表現（triplane latent representation）**へとエンコードする。

2. スケッチ誘導型ボクセル生成（粗い拡張）

メカニズム: ユーザーが定義した任意の軌道に沿ってシーンを拡張するために、システムはスケッチ誘導型拡散ヘッドを採用している。
プロセス: 初期グリッドと軌道シーケンスが与えられると、モデルは次のオキュパンシー・ボリュームを予測する。これは以下に分解される：
- 粗レベルのスケッチ（Coarse-level Sketching）: 全体的な構造を効率的に捉えるため、低解像度（例： $128^3$ ボリューム）でグローバルなシーン・レイアウトを生成する。
- スライディング・ウィンドウ（Sliding Window）: 前のパッチからのコンテキストを用いたデノイジング・ループを使用し、軌道全体にわたってスムーズな遷移と局所的な一貫性を確保する。

3. 双方向クローズドループ生成（リファインメント）

核心となる革新は、3Dオキュパンシーと2Dビデオ間の相互的なループである：

Voxel-to-Video（粗から精へ）:
- 粗いオキュパンシー・グリッドは、セマンティクスと幾何情報（遮蔽されたコンテンツを含む）の両方をエンコードする**マルチプレーン画像（MPIs）**に変換される。
- ビデオ拡散モデル（LoRAで微調整されたCogVideoX1.5-5Bに基づく）が、これらのMPIを高品質なマルチビュー・ビデオ・シーケンスへと変換する。
- 制御: システムは、1×1畳み込みを介してMPIの特徴量をUNetデコーダに注入し、カメラ間およびフレーム間での一貫性を維持するためにクロスビュー／クロスフレーム・アテンションを利用する。
Video-to-Voxel（リファインメント）:
- 生成された高品質なRGBビデオは、3D空間へと**再投影（re-projected）**される。
- これは、オキュパンシー表現を洗練させ、ドリフトを修正し、幾何学的な詳細を強化するための、画像条件付きのフィードバック信号として機能する。
- これにより、3Dシーンと2Dビデオが互いに制約し合い、強化し合うクローズドループ・リファインメント・プロセスが構築される。

4. 学習と制御

損失関数: モデルは統一されたデノイジング目的関数を用いて学習される。道路表面や動的なアクター（車両、歩行者）を優先するために、**領域重み付き再構成損失（region-weighted reconstruction loss）**が導入されている。
テキスト制御: 高レベルの外観（天候、スタイル）は、拡散プロセスに注入されるテキストエンコーダ（例：「雪の降る」、「サンドストーム」）を通じて制御される。
超長期間のロールアウト（Ultra-long Rollout）: 特徴量の周期的な再アンカリングを伴うスライディング・ウィンドウ・サンプラーにより、任意に長いシーケンス（最大300フレーム以上）にわたるドリフトを防止する。

主な貢献

統一されたパイプライン: 明示的なHDマップやBEV事前知識を必要とせず、単一のマルチビュー・フレームから幾何学的に正確でセマンティクスの一貫性がある長距離3Dシーンを生成するシステム、InfiniVerseを提案する。
階層的スケッチ・アンド・リファイン・パラダイム: 長距離生成を、粗い構造のスケッチと、きめ細かな画像条件付きのリファインメントへと分解することで、一貫性と制御性を高める2段階のプロセスを導入する。
相互的な2D–3Dアライメント: 3Dオキュパンシーがビデオ生成をガイドし、生成されたビデオが3D表現を洗練させる双方向フィードバックループを確立し、幾何学的なドリフトと幻覚を大幅に減少させる。
最先端の性能: 標準的なベンチマークにおいて、生成品質と生成時間の両面で優れた性能を実証する。

実験結果

本手法は、Waymo Open DatasetおよびnuScenesを用いて評価された。

定量的指標:
- FID (Fréchet Inception Distance): nuScenesにおいて6.40を達成し、既存の手法（例：Unisceneの6.45、MagicDrive-V2の20.91）を大幅に上回った。
- FVD (Fréchet Video Distance): 67.97を達成し、優れた時間的一貫性を示した。
- 長期間の安定性: ロールアウトの長さが増加するにつれて（最大300フレーム）、InfiniVerseはVistaなどのベースラインと比較して、FIDおよびFVDの劣化傾向が非常に緩やかであることを示した。
定性的結果:
- システムは、現実的な外観、天候条件、および動的なアクターを備えた長時間のビデオを正常に生成した。
- RGB、セマンティクス、深度、オキュパンシー、およびLiDARの間の厳格な整合性を維持している。
- ユーザー定義のスケッチ（例：左折、直進レーン）が、軌道とシーンのレイアウトを効果的にガイドしている。

意義と主張

論文は、InfiniVerseが、明示的な3D構造推論とビデオ拡散の視覚的リアリズムを統合することで、現在の自動運転シーン生成における根本的な限界に対処していると主張している。

ドリフトの克服: オキュパンシー誘導型のワールドモデリングとビデオ生成を結合することで、純粋な暗黙的自己回帰手法に共通する「幻覚」問題を解決する。
スケーラビリティ: 本アプローチは、定義済みのマップの範囲による制約を受けることなく、任意に長い走行シナリオの合成を可能にする。
応用: 本システムは、制御可能な都市環境を生成するためのスケーラブルなパラダイムを提供し、自動運転システムにおけるデータ生成、シミュレーション、および大規模な評価に向けた有望な方向性を示すものである。

著者らは、本手法が単一のフレームからこれらの結果を達成していることを強調しており、これは、より柔軟で堅牢なシーン合成に向けた、明示的なマップや事前知識を必要としない新たな転換点となるものである。