技術要約：学習不要な走行規範の注入（Training-Free Norm Injection）によるドライビング・ワールドモデル

問題提起

大規模ビデオ拡散バックボーンに基づくドライビング・ワールドモデルは、リアルなセンサー・ストリームを生成する能力を持つ一方で、制御性の決定的な欠如という課題を抱えている。交通規範（例：速度制限の遵守、衝突回避）を強制するための現在の最先端戦略は、通常、新しい制約ごとにバックボーンを微調整するか、あるいは訓練時に組み込まれた手作りのレイアウト（マップ、バウンディングボックス）にモデルを条件付けるかのいずれかを必要とする。これらのアプローチはスケーリングのコストが高く、展開されたモデルがサンプリング時にルールを追加したり優先順位を変更したりすることを妨げる。著者らは中心的な問いを投げかける：「制御性には、果たして学習が必要なのだろうか？」 具体的には、凍結されたワールドモデルを、サンプリング時の介入のみを通じて、走行規範を満たすように誘導できるのだろうか？

手法

本論文は、rectified-flow（整流フロー）型ドライビング・ワールドモデルに適用される、**学習不要なエネルギー・ガイダンス（training-free energy guidance）**手法を提案している。

1. モデル・アーキテクチャ

バックボーンは、凍結された Open-Sora 2.0 MM-DiT（マルチモーダル拡散トランスフォーマー）であり、以下の要素を共同でデノイズするようにLoRAを用いて事後学習されている：

• 未来のビデオフレーム（画像ストリーム）。
• 計画されたエゴ・トラジェトリ $x_{ego} \in \mathbb{R}^{T \times d}$（テキストストリーム。ここで $T=40$ フレーム、$d=4$ 成分：$x, y, \theta, v$）。
  極めて重要な点は、このモデルはエージェントやマップの情報なしに、観測された過去のフレームのみに依存して訓練されていることである。

2. 学習不要なガイダンス・メカニズム

著者らは、rectified-flowモデルにおけるエネルギーベースのガイダンスの概念を適応させている。再学習を行う代わりに、各サンプリングステップにおいて、予測されたクリーンなエゴ・トラジェトリ $\hat{x}_0$ に対して微分可能なエネルギー関数 $E(\cdot)$ を評価することで、走行規範を注入する。

プロセスは以下の通りである：

1. 一ステップ推定（One-Step Estimation）: 時刻 $t$ において、モデルは学習された速度場 $v_\theta$ を用いて、クリーンなサンプル $\hat{x}_0$ を推定する：
   $$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$$
2. エネルギー降下（Energy Descent）: 走行規範のエネルギーを最小化するために、クリーン・トラジェトリ空間内で勾配ステップを取る：
   $$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$$
   ここで、$E(\hat{x}_0)$ は、反事実的なターゲット（例：低速走行する先行車両をシミュレートしたブレーキ目標）への平均二乗誤差（MSE）による吸引として定義される。
3. 速度補正（Velocity Correction）: 更新された推定値は、サンプリングODEのための速度補正へと変換される：
   $$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$$
4. 安定化（Stabilization）: ガイダンスによってトラジェトリがデータ多様体から逸脱するのを防ぐため（$\hat{x}_0$ がサンプリング初期に不正確な場合に起こる既知の問題）、ステップごとのガイダンス補正は、バックボーン自身の速度の固定倍数に制限される。また、数値的不安定性を回避し、事前分布がグローバルな構造を確立できるように、非対称なスケジュール $\lambda(t)$ を使用し、$t=0$ および $t=1$ 付近ではガイダンスをゼロに設定する。

主な貢献

1. 定式化: 著者らは、走行規範への適合を、凍結されたrectified-flow型ワールドモデルに対する学習不要なエネルギー・ガイダンス問題として定式化し、知識が完全にサンプリング時に追加可能であることを示した。
2. 実証的検証: 本手法が、Open-Sora 2.0上に構築されたワールドモデルのエゴ・トラジェトリを、再学習なしに反事実的なブレーキ目標（追突事故回避シナリオをシミュレートしたもの）へと効果的に誘導できることを示した。
3. アーキテクチャに関する洞察: 本論文は、現在の共同生成アーキテクチャにおける決定的な限界を特定している。すなわち、トラジェトリは正常に誘導されるものの、生成されたビデオは誘導されたトラジェトリに従わないということである。著者らは、この失敗の原因を、現在のモデルにおける特定のクロスストリーム結合（結合自己注意機構）にあるとしている。つまり、ビデオストリームがトラジェトリストリームによって誘発された変化を伝播できていないのである。

実験結果

著者らは、反事実的なブレーキ目標を用いて35個のサンプルクリップを評価した：

• トラジェトリ制御: ガイダンスはトラジェトリに対して非常に効果的であった。誘導されたトラジェトリは、ブレーキ目標から平均 1.3メートル の位置で終了したが、誘導されていない（事実に基づいた）トラジェトリは 13.6メートル であった。
• ビデオの一貫性: エゴ・トラジェトリに大幅な変化があったにもかかわらず、生成されたビデオはその変化を反映していなかった。誘導されたビデオと誘導されていないビデオの間のフレームごとのオプティカルフローの差は、統計的に区別がつかなかった（クリップ間の変動のノイズ範囲内である $\lesssim 2\%$ の変化）。
• 結果に関する結論: 「誘導された計画はピクセルを動かさない（steered plan does not move the pixels）」。現在のアーキテクチャ下では、ビデオストリームはトラジェトリストリームから分離されたままである。

意義と主張

本論文は、走行規範への適合には再学習を必要としないことを主張している。凍刻されたワールドモデルは、微分可能なエネルギー関数を用いることで、サンプリング時に計画されたエゴ・トラジェトリを制御できる。これは、展開されたモデルが新しいルールに適応したり、安全制約の優先順位を動的に変更したりするための経路を提供するものである。

しかし、著者らはエンドツーエンドの制御性に関する現状については控えめな表現を用いている。彼らは、ビデオ生成が誘導されたトラジェトリに従っていないことを明示的に述べている。彼らは、クロスストリーム結合（具体的には、彼らの修正モデルにおけるシングルストリーム・ブロックのバイパス）が中心的な障害であると特定している。論文は、完全なエンドツーエンドのロールアウトを実現するには、より深いビデオとトラジェトリの共同デノイジングが必要であり、両方のストリームをバックボーンのシングルストリーム・ブロックにルーティングすることが、ビデオを誘導されたトラジェトリと一致させるための次のステップであると結論付けている。

本研究は、学習不要なガイダンス（以前はトラジェトリのみのモデルに適用されていた）と、制御可能なワールドモデル（以前は訓練時のコンディショニングを必要としていた）との間の架け橋となる位置付けであり、完全なセマンティック制御のために解消されるべきアーキテクチャ上のギャップを浮き彫りにしている。