技術要約: ECoSim: 制御可能な交通シミュレーションのためのデータ効率的なファインチューニング

問題提起

制御可能な交通シミュレーションは、自動運転（AV）システムのテストにおいて不可欠であり、システムのエラーを特定し安全性を検証するための、ターゲットを絞った「もしも（what-if）」シナリオの作成を可能にする。しかし、既存のアプローチには以下のような重大な限界がある：

1. 推論時のガイダンス（例：勾配ベースの最適化）は、柔軟性は高いものの、計算コストが高く、注意深く設計された目的関数に依存する。
2. 再学習による直接的な条件付けは、大規模なペアとなる制御データと、新しい制御モダリティ（テキスト、スケッチなど）ごとに高価な再学習を必要とし、異なるモデルアーキテクチャ間での汎用性に欠けることが多い。
3. データの希少性: 既存の多くの手法は、大規模なアノテーション付きデータセットなしでは、多様なコンテキストにわたる制御可能な反事実的（counterfactual）シナリオの生成に苦慮しており、ロングテールな相互作用の合成能力が十分に探索されていない。

核心となる課題は、事前学習済みの高度な交通モデル（拡散モデルおよび自己回帰モデルの両方）に対し、最小限のペア制御データを用いながら、マルチモーダルな制御可能性（スケッチ、潜在的な振る舞い、テキスト）を実現し、かつベースモデルの生成的な事前知識とクローズドループのリアリズムを維持することである。

手法

著者らは、事前学習済みの交通モデルのバックボーンを凍結し、軽量な制御アダプターを学習させる、軽量でデータ効率的な制御適応フレームワークであるECoSimを提案する。

1. アーキテクチャ: 特徴量線形変調 (FiLM)

本フレームワークは、FiLMレイヤーを用いて、凍結されたバックボンの中間特徴量に条件付け信号を注入する。

• メカニズム: デコーダレイヤー $l$ における中間特徴マップ $h^{(l)}$ に対し、入力モダリティから導出された制御埋め込み $z_i$ が、軽量なMLPを介してアフィンパラメータ $\gamma^{(l)}$ と $\beta^{(l)}$ を予測する：
  $$\text{FiLM}(h^{(l)}; z_i) = \gamma^{(l)}(z_i) \odot h^{(l)} + \beta^{(l)}(z_i)$$
• 恒等初期化 (Identity Initialization): 重要な設計上の選択として、$\gamma \approx 1$ および $\beta \approx 0$ と初期化すること。これにより、適応されたモデルは初期状態でベースモデルと同一の挙動を示し、学習初期におけるクローズドループ交通シミュレーションを不安定化させる累積誤差を防ぐことができる。
• モダリティ非依存: 同一のアダプターメカニズムが、拡散ベース（VBD）と自己回帰ベース（SMART）の両方のバックボーンに対して機能する。

2. マルチモーダル制御表現

本フレームワークは、統一された条件付け空間にマッピングされた3つの異なる制御モダリティをサポートする：

• スケッチ (Sketch): エージェントのローカルフレームにおける軌跡のウェイポイント。時間的エンコーダを介してエンコードされる。
• テキスト (Text): 自然言語によるコマンド（例：「左折」）。LoRAで適応されたDistilBERTモデルによって処理される。
• 潜在変数 (BehaviorVAE): 条件付きVAE（CVAE）を通じて学習された、コンテキストを考慮した振る舞いの潜在空間。このエンコーダは、シーンのコンテキストとエージェントの軌跡を処理し、高レベルの相互作用パターン（例：譲り合い、合流）を表すコンパクトな潜在コード ($z_i$) を抽出する。これには手動のアノテーションは不要である。

3. クローズドループ・ファインチューニング

マルチエージェント間の相互作用における安定性を確保するため、アダプターはクローズドループ・シミュレーション下で訓練される：

• 拡散モデル: 「計画・選択・実行」のパラダイムを使用する。複数の候補ロールアウトを生成し、グラウンドトゥルースに最も近いものをアダプターの更新用に選択する。
• 自己回帰モデル: 動的に生成された結合状態履歴に対してクロスエントロピー目的関数を最適化し、制御信号に沿った軌跡へとサンプリングをバイアスさせる。

4. コンテキストを考慮したシナリオ転送

手動の指定なしに反事実的およびロングテールな生成を可能にするため、著者らは検索パイプラインを導入している：

• コンテキスト・マッチング: クエリエージェントをエンコードし、シーンコンテキストの埋め込みに基づいて、データセットから類似したエージェントを検索する。
• 転送: これらのマッチしたエージェントからの制御信号（スケッチまたは潜在変数）をターゲットシーンに転送する。これにより、反事実的ロールアウト（Uターンや停止などの代替となる未来の生成）や、ロングテール合成（適合する新しいコンテキストに、アグレッシブな合流などの稀な振る舞いを注入すること）が可能になる。

主な貢献

1. データ効率的な制御適応: 事前学習済みの拡散および自己回帰交通モデルに対し、わずか1%のペア制御データを用いてマルチモーダルな制御可能性を付加するフレームワーク。
2. サンプル効率: 恒等初期化されたFiLMアダプターが、バックボーンを凍結したまま、最小限の教師あり学習（わずか500シナリオ、あるいは0.1%のデータ）で競争力のある制御可能性を達成することを実証した。
3. コンテキストを考慮した転送: 任意の制御を強制するのではなく、互換性のあるシーンから振る舞いを検索・転送することで、現実的な反事実的およびロングテールなシナリオ生成を可能にするメカニズム。
4. アーキテクチャ非依存性: コアアーキテクチャを変更することなく、異なる生成パラダイム（拡散および自己回帰）に汎用できる手法。

実験結果

Waymo Open Sim Agents Challenge (WOSAC) において、Waymo Open Motion Dataset (WOMD) を用いて評価を実施した：

• 制御可能性: 本フレームワークは、自己回帰モデルにおいて最大83%、拡散モデルにおいて最大65%、無条件のベースラインと比較して最小平均変位誤差（mADE）を減少させた。これはわずか1%のデータのみを使用している。
• リアリズムの保持: 重い制御注入にもかかわらず、WOSAC Metaスコア（運転のリアリズムを測る指標）は向上または安定している。例えば、SMART-tiny-CLSFTに対するスケッチ制御は、Metaスコアを0.7728から0.7984に向上させた。
• データのスケーリング: パフォーマンスはデータの10%付近で飽和し、全データを用いたLoRAファインチューニングの性能に匹敵する。潜在変数制御は最もデータ効率が高く、わずか**0.01%**のデータでリファレンスに近い性能を達成している。
• 反事実的生成: 反事実的ロールアウトにおいて、スケッチおよび潜在変数制御は、低いControl ADEを維持しながら、約**70%**の操作成功率を達成した。同時に、無条件のベースラインと同等の安全性指標（衝突/オフロード率）を維持した。
• ロングテール合成: コンテキストを考慮した転送は、「タイトな合流」や「アグレッシブなUターン」などの稀な振る舞いを合成する際、ランダムなコンテキスト選択と比較して衝突率を大幅に減少させた（0.3175から0.1574へ）。

重要性と主張

本論文は、ECoSimが、高価でデータ集約的な再学習から、軽量でデータ効率的な適応へとパラダイムをシフトさせることで、制御可能な交通シミュレーションの新たな可能性を切り拓くと主張している。

• 効率性: 高品質な制御可能性を得るために、膨大なペアデータは必要ないことを証明した。事前学習済みモデルの生成的な事前知識は、最小限の教師あり学習によって維持されつつ、制御（ステアリング）することが可能である。
• 安全性とリアリズム: クローズドループ訓練と恒等初期化を利用することで、複雑なマルチエージェントシステムに対して制御信号を強制する際にしばしば見られる不安定性を回避している。
• 汎用性: ユーザー指定の多様なシナリオ（単純なスケッチから複雑なロングテールな相互作用まで）を、基礎となる交通モデルの物理的・行動的リアリズムを維持しながら生成できるフレームワークである。

著者らは、ユーザーの指示が交通コンテキストと矛盾する場合の、実行不可能または曖昧な制御への対処における限界を指摘しており、制御の忠実度と安全性のバランスをより良く取るための、RLベースのファインチューニングやガイダンスベースの推論への将来の研究を示唆している。