SceneStreamer: Continuous Scenario Generation as Next Token Group Prediction

自律運転システムの訓練・評価に不可欠なリアルタイムかつインタラクティブな交通シミュレーションを実現するため、トランスフォーマーモデルを用いてシーンをトークン列として連続的に生成する新しいフレームワーク「SceneStreamer」を提案し、その高忠実度と汎用性を検証した論文です。

要約

自動運転の「練習用シミュレーター」を作る新しい魔法：SceneStreamer の解説

自動運転車を開発する際、現実の道路で何度も事故を起こしながら練習するのは危険すぎます。そこで、コンピューターの中で「現実と同じような交通状況」を再現して練習させるシミュレーターが必要になります。

しかし、これまでのシミュレーターには大きな弱点がありました。

• 固定された台本: 事前に記録された実際の交通データを再生するだけなので、自動運転車が「急ブレーキを踏んだら、前の車はどう反応する？」といった新しい状況に対応できません。
• 登場人物の固定: 最初にいる車や歩行者しかいなく、新しい車が道路に飛び出してきたり、誰かが去ったりする「生きた交通」を表現できませんでした。

この論文で紹介されている**「SceneStreamer（シーン・ストリーマー）」は、これらの弱点をすべて解決する、まるで「生きた交通状況を描き続ける天才的な小説家」**のようなシステムです。

---

🌟 核心となるアイデア：交通を「単語」の羅列として見る

SceneStreamer の最大の特徴は、複雑な交通状況を**「単語（トークン）」の並び**として捉える点です。

🏗️ 従来の方法 vs SceneStreamer

• 従来の方法（ブロック積み）:
  最初に「ここに車 5 台、歩行者 2 人」とブロックを積み上げ、その後「車は直進、歩行者は横断」という動きを別々に計算します。まるで**「事前に完成したジオラマを動かす」**ようなもので、途中で新しいブロックを足すのは大変です。

• SceneStreamer の方法（物語の執筆）:
  交通状況を**「物語の文章」**のように扱います。

  1. 地図（背景）
  2. 信号の色（「青」「赤」）
  3. 車の状態（「車 A は青信号で加速中」）
  4. 車の動き（「車 A は 1 秒後に右折」）

これらをすべて**「単語」として一続きの文章（トークン列）にします。そして、「次の単語は何が来るか？」**を予測して、文章を次々と書き足していくのです。

🎭 比喩：料理のレシピ
従来のシミュレーターは、**「完成した料理の写真」を並べて見せているようなものです。
SceneStreamer は、「料理を作る過程そのもの」をリアルタイムで描く料理番組のようなものです。
「まず玉ねぎを炒めて（状態）、次にトマトを投入して（新しい登場人物）、最後に火を強めて（動き）」と、「今、何が起こっているか」**を一つずつ積み上げていくので、途中で新しい食材（新しい車）を加えても、物語（シミュレーション）が自然に続きます。

---

🚀 3 つのすごい機能

1. 無限に続く物語（連続生成）

SceneStreamer は、信号が切り替わる瞬間や、新しい車が交差点に現れる瞬間を、文章の次の単語を予測するように自然に描き出します。

• メリット: 自動運転車が「あ、あそこに子供が飛び出しそう！」と予測して反応する練習ができます。従来のシミュレーターでは、子供が飛び出すという「台本」が最初から決まっているため、自動運転車の反応をテストできませんでした。

2. 登場人物の入れ替え（動的な追加・削除）

物語の中で、新しいキャラクター（車や歩行者）を突然登場させたり、退場させたりできます。

• 比喩: 映画の撮影現場で、監督が「あ、このシーンにタクシーを 1 台追加して！」と指示すると、SceneStreamer は**「タクシーがどこから現れて、どう動くか」**を即座に計算して物語に組み込みます。これにより、非常に多様でリアルな交通状況を作れます。

3. 自動運転車の「練習帳」としての活用

このシステムで作られた「多様で予測不能な交通状況」で、自動運転の AI（頭脳）を訓練すると、驚くほど強くなります。

• 結果: 現実のデータだけで訓練した AI よりも、SceneStreamer で訓練した AI の方が、「初めての状況」や「危険な状況」でも冷静に判断できることが実験で証明されました。まるで、**「過酷なトレーニングを積んだアスリート」**が、本番でどんな相手にも負けないように成長したようなものです。

---

🧩 技術的な仕組み（簡単に）

1. 地図を「固定の背景」にする: 道路の形状は文章の冒頭で固定します。
2. 単語を「グループ」に分ける: 信号、車の状態、車の動きを、文法的に正しい順番で（例：まず「誰が」→「どこに」→「どう動く」）生成します。
3. Transformer（変圧器）モデル: 人間の脳のように、過去の文脈（前の車の動きや信号）を全部覚えていて、「次はこうなるはずだ」と確率的に予測する AI を使っています。

---

💡 まとめ：なぜこれが重要なのか？

SceneStreamer は、自動運転車の開発において**「安全で、安く、そして無限に練習できる環境」**を提供します。

• 現実のリスクなし: 事故を起こさずに、ありとあらゆる「もしも」の状況を体験できます。
• 柔軟性: 道路に新しい車が現れる、信号が壊れる、歩行者が急に飛び出す……そんな**「予測不能な現実」**を、シミュレーターの中で自由に再現できます。

この技術は、自動運転車が**「ただ走るだけでなく、周囲の状況に柔軟に反応できる賢いドライバー」**になるための、最強のトレーニングパートナーとなるでしょう。

一言で言うと：
「SceneStreamer は、自動運転車のための**『無限に広がる、生きた交通の練習場』**を作ってくれる魔法のエンジンです。」

技術概要

以下は、ICLR 2026 で発表された論文「SCENESTREAMER: CONTINUOUS SCENARIO GENERATION AS NEXT TOKEN GROUP PREDICTION」の技術的な要約です。

SceneStreamer: 次トークングループ予測による連続シナリオ生成

1. 背景と課題 (Problem)

自動運転システムの開発・評価には、現実的でインタラクティブな交通シミュレーションが不可欠です。しかし、既存のデータ駆動型シミュレーション手法には以下の重大な限界がありました。

• 静的な初期化またはログ再生への依存: 多くの手法は、実世界のログデータを再生するだけであり、背景エージェント（他の車や歩行者）が自車（Ego Vehicle）の行動に反応しないため、クローズドループ評価には不向きです。
• エージェント数の固定: 既存の生成モデルの多くは、シミュレーション開始時にエージェント数を固定しており、時間経過とともに新しい交通参加者が進入したり、退出したりする「開かれたシステム」としての交通のダイナミクスをモデル化できません。
• 共変量シフト（Covariate Shift）: 従来の運動予測モデルは「ワンショット」予測として訓練されることが多く、シミュレーションをロールアウト（展開）する際に誤差が蓄積し、分布外の状態に陥って非現実的な結果を招く傾向があります。
• 初期状態と運動予測の分離: 初期状態の生成と運動予測を別々の段階で行う手法は非効率的であり、両者の文脈共有が不足しています。

2. 提案手法 (Methodology)

著者らは、SceneStreamer と呼ばれる統合された自己回帰（Autoregressive）フレームワークを提案しました。これは、交通シナリオ全体を「トークンの列」として表現し、Transformer モデルを用いてステップごとに生成するアプローチです。

2.1 トークン化とシーケンス構造

SceneStreamer は、静的な地図、信号、エージェントの状態、運動をすべて離散的なトークンに変換し、単一の自己回帰系列として扱います。各タイムステップ $t$ におけるトークン列は以下の構成です：
$$x_{1:T} = [\langle \text{MAP} \rangle; (\langle \text{TL} \rangle, \langle \text{AS} \rangle, \langle \text{MO} \rangle)_1; (\langle \text{TL} \rangle, \langle \text{AS} \rangle, \langle \text{MO} \rangle)_2; \dots]$$

• $\langle \text{MAP} \rangle$ (地図トークン): ベクトル化されたレーンセグメントなどの静的地図情報をエンコード。シミュレーション全体で固定され、クロスアテンションのキー/バリューとして機能します。
• $\langle \text{TL} \rangle$ (信号トークン): 各信号機のステート（青・黄・赤・不明）と位置を表現。
• $\langle \text{AS} \rangle$ (エージェント状態トークン): 各アクティブなエージェントに対して 4 つのトークンで構成されます。
  1. <SOA>: エージェント開始フラグ。
  2. <TYPE>: エージェントの種類（車、歩行者、自転車）。
  3. <MS>: エージェントが位置する地図セグメントの ID。
  4. <RS>: 選択された地図セグメントに対する相対状態（形状、位置オフセット、ヘディング残差、速度など）。
  • 特徴: 絶対座標ではなく「地図セグメントに対する相対状態」を予測することで、トークン語彙をコンパクトに保ち、スケーラビリティを確保しています。
• $\langle \text{MO} \rangle$ (運動トークン): 各エージェントの運動ラベル（加速度 $a$ とヨーレート $\omega$ のペア）を離散化して表現。

2.2 自己回帰生成メカニズム

モデルはエンコーダ - デコーダ構造を採用しています。

1. エンコーダ: 地図セグメント情報を静的な地図トークンに変換。
2. デコーダ: 各ステップで以下の順序でトークンを生成します。
   • 信号トークン $\langle \text{TL} \rangle$ の生成。
   • エージェント状態トークン $\langle \text{AS} \rangle$ の生成（タイプ $\to$ 地図セグメント $\to$ 相対状態の順で階層的に生成）。
   • 全エージェントの運動トークン $\langle \text{MO} \rangle$ の生成。

2.3 柔軟な制御と「State-Forcing」

SceneStreamer の最大の特徴は、State-Forcing（状態強制）と呼ばれるメカニズムです。

• 既存エージェントの継続: 既に存在するエージェントについては、予測されたトークンを生成する代わりに、現在の状態（前ステップの運動から計算された状態）を再構成し、それを直接入力トークンとしてモデルにフィードバックします。これにより、エージェントの動きを連続的に維持しつつ、モデルの誤差蓄積を防ぎます。
• 新規エージェントの注入: 新しいエージェントを生成する場合は、上記の自己回帰プロセス（タイプ、位置、状態のサンプリング）を実行します。
• タスクの柔軟性: どのトークングループを「State-Force」するか、どのトークンを「サンプリング」するかを動的に変更することで、運動予測、シナリオ生成、シーン編集（エージェントの追加/削除）、クローズドループシミュレーションなど、多様なタスクを単一のモデルで実行できます。

2.3 アテンション機構

• トークングループアテンション: 同一グループ内のトークン同士、および論理的に先行するグループへのアテンションを許可しつつ、因果関係を維持するマスクを適用します。
• 相対アテンション: トークン間の相対的な位置・時間情報（$\Delta x, \Delta y, \Delta \psi, \Delta t$）をアテンション重みにバイアスとして加味し、モデルの学習を容易にします。

3. 主要な貢献 (Key Contributions)

1. 統合された状態・軌道トークン化: エージェントの初期状態と運動軌道を、単一の連続トークン系列として生成する自己回帰モデルを提案。これにより、エージェントの開始位置と動きの間の条件付けの一貫性を保証し、従来の 2 段階モデルの非柔軟性を解消しました。
2. エージェント状態の自己回帰生成: エージェントの状態トークンを自己回帰的に展開し、地図ベースの相対状態（タイプ、位置、運動学的詳細）を生成する新規スキームを設計。これにより、特定のレーンへの正確な配置と、コンパクトで学習可能な表現での現実的な状態詳細の生成が可能になりました。
3. 多用途な能力: 動的にトークングループを State-Force することで、運動予測、交通シミュレーション、シナリオ生成、シーン編集など多様なタスクに対応可能であることを実証しました。

4. 実験結果 (Results)

Waymo Open Motion Dataset (WOMD) 上で評価を行いました。

• 初期状態の品質: 生成された初期状態の分布を現実データと比較した MMD（Maximum Mean Discrepancy）指標において、SceneStreamer は既存の手法（TrafficGen, UniGen など）と同等かそれ以上の性能を示しました。特に、自己回帰デコーディングを無効化した場合の性能低下から、順序付けられたトークン生成の重要性が確認されました。
• 運動予測: 8 秒先の軌道予測において、ADE/FDE（平均/最終位置誤差）で妥当な性能を達成しました。完全なシナリオ生成モデル（SceneStreamer-Full）は、運動予測専用モデルよりも精度はわずかに劣るものの、多様性（ADD/FDD）が向上しました。
• 強化学習（RL）プラナーへの応用:
  • SceneStreamer で生成されたシナリオで訓練された RL プラナーは、実世界のログ再生データで訓練されたプラナーと比較して、より高い堅牢性（Robustness）と汎化性能を示しました。
  • 特に、適応型（Adaptive）トレーニング（自車の軌道もモデルにフィードバックするクローズドループ設定）と、完全シナリオ生成（新規エージェント注入を含む）を組み合わせることで、衝突率の低下とルート完了率の向上が最も顕著でした。
• WOSAC (Waymo Sim Agents Challenge): 2025 年のテストセットにおいて、競合する最先端モデルと比較して、現実性や行動の尤もらしさにおいて競争力のある結果を残しました。

5. 意義と結論 (Significance)

SceneStreamer は、交通シミュレーションにおける「静的な初期条件」や「固定されたエージェント数」という制約を打破しました。

• 連続性とダイナミクス: 時間経過とともにエージェントが進入・退出する、現実的な「開かれたシステム」としての交通を、単一のモデルで連続的に生成・シミュレートできます。
• 高忠実度シミュレーター: 生成されたシナリオは、自動運転プラナーの訓練、特に強化学習を用いた安全で堅牢なポリシーの学習に対して、ログ再生データよりも効果的なデータ拡張ツールとして機能します。
• 汎用性: 単一のモデルで、初期状態生成、運動予測、シーン編集（密度増加など）を統一的に扱えるため、開発フローの効率化が期待されます。

この研究は、自動運転システムの評価と訓練において、より動的でインタラクティブなシミュレーション環境を実現する重要な一歩であり、将来の安全な自動運転技術の普及に貢献すると考えられます。