🤖 machine learning

CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving

CoIRL-ADは、潜在的なワールドモデル内で模倣学習と強化学習を統合することで、目的を分離し、オフライン学習のために想像上のロールアウトを活用することにより、特にロングテールなシナリオやクロスシティの設定において、エンドツーエンドの自動運転の堅牢性と汎用性を高める、協調的かつ競争的なフレームワークである。

原著者： Xiaoji Zheng, Ziyuan Yang, Yanhao Chen, Yuhang Peng, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaoji Zheng, Ziyuan Yang, Yanhao Chen, Yuhang Peng, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

自動運転車を教える場面を想像してみてください。従来、私たちは熟練したドライバーの膨大なビデオ映像を見せ、「彼らがやっていることを正確に真似しなさい」と指示してきました。これは**模倣学習（Imitation Learning: IL）**と呼ばれます。これは見慣れた道路では非常にうまく機能しますが、もし車が未知の奇妙で珍しい状況（例えば、見たこともない街で鹿が飛び出してきた場合など）に遭遇すると、その特定のシナリオを学習映像の中で見たことがないため、パニックに陥ったり衝突したりすることがよくあります。

これを解決するために、研究者たちは**強化学習（Reinforcement Learning: RL）**を取り入れようと試みました。RLは、車が安全に走行すればポイントをもらい、衝突すればポイントを失うという「ビデオゲーム」のようなものだと考えてください。車は、いろいろなことを試してみて、その結果がどうなるかを見ることで学習します。

問題点：
この論文は、大きな障害があることを指摘しています。それは、現実の道路で本物の自動運転車を使って「ビデオゲーム」を簡単にプレイすることはできないということです。学習のために、何千回も衝突させるわけにはいきません。そのため、既存のビデオデータのみを使用して「オフライン」で学習する必要があります。しかし、ここに落とし穴があります。既存のデータは、ほぼすべてが「完璧な」熟練ドライバーの運転で構成されています。「悪い」運転の例は存在しないため、車は新しい選択肢を試して探索する方法を知りません。ただデータをコピーするだけでは、車は新しい可能性を探索できないのです。もし、この限られたデータの中で単に報酬システムを「攻略」しようとすると、車は混乱し、自分のスキルを過大評価し、危険な運転をしてしまうことがよくあります。

解決策：CoIRL-AD
著者らは、CoIRL-ADと呼ばれる新しいシステムを提案しています。これは、仮想シミュレーションの中で2人の異なるドライバーを一緒に訓練させるような、巧妙な「デュアル・ポリシー（二重の方策）」アプローチを用いています。

その仕組みを、シンプルな概念に分解して説明します。

1. 二人のドライバー（デュアル・ポリシー）

一つの脳がすべてを行おうとするのではなく、役割を分割します。

「学生」ドライバー（模倣）： このドライバーの唯一の仕事は、熟練者のビデオを完璧にコピーすることです。安全を維持し、ルールに従います。
「探検家」ドライバー（強化学習）： このドライバーは、新しいことに挑戦することが許されています。彼はさまざまな経路を想像し、単にコピーするよりも優れた運転方法を見つけ出そうとします。

2. クリスタルボール（潜在世界モデル）

現実の道路でテストできないため、シミュレーターが必要です。しかし、完璧な3Dシミュレーターを構築するのは困難です。そこで、彼らは**「クリスタルボール（潜在世界モデル）」**を構築しました。

探検家ドライバーが「ここで左に曲がったらどうなるだろう？」と考えたとき、クリスタルボールは数秒後に道路がどのような様子になるかを瞬時に予測します。
これにより、探検家はコンピューターの脳の中で、現実の車に触れることなく、未来のシナリオを「想像」し、それが衝突につながるのか成功するのかを見極めることができます。

3. 逆方向の思考（逆因果性）

通常、プランニング（計画）はステップ・バイ・ステップで行われます：「ここへ行き、次に、あそこへ行く」。
この論文は、よりスマートな方法を提案しています。後ろ向きに考えるのです。
あなたが運転していて目的地を見たと想像してください。あなたは3秒後にどこにいたいかを決め、それからそこへ到達するための最初の動きを考えます。この「ゴール先行型」の思考は、ステップ・バイ・ステップの方法よりも、探検家ドライバーがより優れた、スムーズな経路を見つけるのに役立つことがわかりました。

4. フレンドリーな競争

これが秘訣です。学生と探検家は常に競い合っています。

彼らは互いにレースをします。
もし探検家がより優れた、より安全な運転方法を見つけたら、学生はその学びを得ます。
もし探検家が（報酬を幻視して）あまりに無茶な運転をし始めたら、学生がアンカー（錨）となり、探検家を安全で熟練者に近い振る舞いへと引き戻します。
彼らは知識を絶えず交換しますが、探検家が安全な運転を忘れてしまうほど、軌道を外れることは決して許されません。

結果
彼らがnuScenesデータセット（現実世界の膨大な運転データのコレクション）でテストを行ったところ、以下の結果が得られました。

より高い安全性： 車は従来の手法よりも衝突が少なくなりました。
新しい都市への適応： シンガポールで訓練し、全く異なる都市であるボストンでテストした際、コピーのみで訓練された車よりも、新しい環境をはるかにうまくハンドリングできました。
稀なイベント： 「ロングテール（稀なケース）」のシナリオ（奇妙で珍しい事故や障害物など）において、車は非常に堅牢でした。

要約：
この論文は、「安全なコピーヤー（模倣者）」と「リスクを冒す探検家」が、限られた現実世界のデータしかなくても、一つの「クリスタルボール」シミュレーターの中で競い合い、学び合うことで、自動運転車をより安全で適応力の高いものに教えることができると述べています。

技術要約: CoIRL-AD

1. 問題提起

エンドツーエンド（E2E）自動運転モデルは、主にエキスパートのデモンストレーションを模倣するように訓練された模倣学習（Imitation Learning: IL）に依存しています。これらのモデルは一般的なシナリオでは効果的ですが、エキスパートのデータが乏しいロングテールな状況においては、汎化性能が低いという課題があります。小さな予測誤差が時間の経過とともに蓄積し、エージェントを未知の状態へとシフトさせてしまう（分布シフト）可能性があります。

強化学習（Reinforcement Learning: RL）は、単なるデモンストレーションではなく報酬信号から学習することで、潜在的な解決策を提供します。しかし、オフライン設定（インタラクティブなシミュレータなし）において、現実世界の自動運転にRLを適用することには大きな課題があります。

データのバイアス: 現実世界のデータセットは、ほぼ最適なエキスパートの軌跡に支配されており、不適切な行動や代替的な行動のカバー範囲が限定的であるため、価値の差を学習することが困難です。
目的の衝突: 単一のポリシー内でIL（行動クローニング）とRL（報酬最大化）を共同で最適化すると、勾配の衝突が生じることがよくあります。
モデルのバイアス: オフライン設定では、エキスパートデータで訓練されたワールドモデルが、分布外（out-of-distribution）のアクションに対して偏った予測を行う可能性があり、それが過度に楽観的な価値推定につながり、RLの探索において不安定な訓練を引き起こします。

既存のアプローチは、外部シミュレータに依存するか（問題をオンラインRLに変換）、あるいは2段階の戦略（ILで事前学習し、RLで微調整する）を採用していますが、これらはオフラインの現実世界データにおいて不安定になりやすい傾向があります。

2. 手法: CoIRL-AD

著者らは、共有の潜在ワールドモデル（Latent World Model）の下で、統一されたオフライン訓練レジームを用いてILとRLを統合するフレームワークであるCoIRL-AD（Collaborative-Competitive Imitation-Reinforcement Learning）を提案しています。

コアアーキテクチャ

本フレームワークは、2つの独立したアクターからなるデュアルポリシーアーキテクチャを採用しています。

ILアクター: エキスパートの軌跡を模倣するために、行動クローニング（模倣損失）を通じて最適化されます。
RLアクター: 累積報酬を最大化するために、強化学習を通じて最適化されます。
両アクターは共通の知覚モジュールと潜在ワールドモデルを共有していますが、模倣学習をRLの探索ノイズから隔離するために、個別に更新されます。

主要な技術コンポーネント

A. 潜在ワールドモデルと後方計画（Backward Planning）

潜在ワールドモデル: ピクセルレベルの生成ではなく、現在の状態（ $s$ ）とアクションシーケンス（ $\tau_a$ ）が与えられたときに将来の状態（ $\hat{s}'$ ）を予測する潜在空間内で動作します。これは、RLアクターが想像上のロールアウトを行うための「リアクティブ・シミュレータ」として機能します。
後方計画（逆因果性）: 標準的な前方因果的プランニングとは異なり、著者らは、 $i$ 番目のアクションが現在および将来のウェイポイント特徴量に条件付けられる（ $\pi_i(a_i | s_{w,i}, ..., s_{w,n})$ ）後方計画戦略を提案しています。この「ゴールからアクションへ」の推論は、累積報酬の最大化というRLアクターの目的に対して、初期のアクションにより豊かな文脈情報を提供し、有用であることが著者らによって示されました。

B. オフラインデータのためのRL定式化

グループサンプリング（GRPOに着想）: エキスパートが支配的なデータセットにおける行動の多様性の欠如に対処するため、RLアクターは自身の確率的ポリシーから $G$ 個のアクション軌跡をサンプリングします。
報酬関数: 報酬は、マップやバウンディングボックスなどのデータセットのアノテーションから導出されるルールベースの信号を使用して計算されます。これには以下が含まれます。
- 模倣報酬: エキスパートのアクションへの近接性。
- 衝突報酬: 静的および動的な障害物の回避。
アドバンテージ推定: フレームワークは、潜在ワールドモデルを使用して、サンプリングされた軌跡の将来の状態を予測します。クリティックネットワークは、現在および想像された将来の状態の価値を推定します。アドバンテージは、グループ内での総報酬（割引将来価値を含む）のZスコア正規化を用いて計算されます。
確率的ポリシー: RLアクターは、探索を可能にするためにアクションに対してガウス分布を出力しますが、「ステップ認識（step-aware）」メカニズムにより、シーケンス内の1つのアクションのみを確率的にし、他のアクションはモードに従うことで、軌跡の滑らかさを確保します。

C. 競争的デュアルポリシーメカニズム

オフラインRLの不安定性と共同最適化の勾配衝突を解決するために、2つのアクターは競争的学習メカニズムに従います。

定期的比較: $k$ イテレーションごとに、ILアクターとRLアクターのパフォーマンス（累積報酬）が比較されます。
適応的転送:
- パフォーマンスが同程度であれば、両者とも変更されません。
- 差が中程度であれば、「ソフトマージ」によって勝者から敗者へと知識が転送されます。
- 差が大きい場合、敗者のパラメータは勝者のパラメータによって直接置き換えられます。
役割: このメカニズムは、RLアクターをエキスパートに近い走行に固定（ワールドモデルのバイアスによる破滅的な発散を防止）すると同時に、RLアクターが有益な探索的行動を選択的にILアクターへ転送することを可能にします。

3. 主な貢献

E2E走行のためのオフラインRLフレームワーク: 現実世界のデータで訓練された潜在ワールドモデルを利用して、外部シミュレータなしでRLをE2E走行に統合する新しいアプローチ。
デカップルされた競争的訓練: 勾配の衝突を避けるためにILとRLを別々のアクターに分離し、競争的メカニズムを通じて訓練を安定させ、知識交換を促進するデュアルポリシーフレームワーク。
後方計画戦略: プランニングヘッドに逆因果マスキングを導入することで、ポリシーをゴール指向の推論に適合させ、RLの性能を向上させた。
オフラインデータのためのグループサンプリング: エキスパートが支配的なデータセットから行動の多様性を生成し、効果的な価値推定を可能にするために、グループサンプリング（GRPO）を適応させた。

4. 実験結果

実験はnuScenesデータセットを用いて行われました。

主要ベンチマーク: CoIRL-ADは、L2変位誤差および衝突率の両方において、強力なILベースのベースライン（例：LAW）を一貫して上回っています。 $L2 \cdot Col$ の結合指標で最高値を達成し、低い推論レイテンシを維持しています。
都市間汎化: nuScenes-Singaporeで訓練し、nuScenes-Bostonでテストした場合、CoIRL-ADは（ベースラインと比較して $L2 \cdot Col$ 指標を77%削減するなど）著しく高い堅牢性を示しました。これはRLアクターの探索能力によるものです。
ロングテールシナリオ: 衝突率やL2誤差が高いサブセット（稀で困難なケース）において、CoIRлоDはベースラインに対して大幅な改善を示しましたが、ベースラインは苦戦していました。
アブレーション研究:
- デカップリングと競争: 競争メカニズムを備えたデカップルされたアクターのみが、精度と安全性の両方を向上させました。2段階戦略や損失マージ戦略は、失敗するか、より低い性能となりました。
- ワールドモデル: 潜在ワールドモデルを除去すると、特に長期的な衝突回避において、性能が著しく低下しました。
- 逆因果性: 後方計画戦略は特にRLアクターに利益をもたらしました。これを純粋なILに適用すると性能が低下したことから、報酬最大化に対するその特異な有用性が浮き彫りになりました。

5. 意義と主張

本論文は、適切に構造化されていれば、強化学習がオフラインのエンドツーエンド自動運転システムを効果的に強化できることをCoIRL-ADが示していると主張しています。

シミュレータに対する安定性: 学習された潜在ワールドモデルを使用することで、sim-to-realギャップやシミュレータ固有の仮定を回避しています。
オフラインの課題の解決: 競争的なデュアルポリシーフレームワークは、ILアクターを安定化のアンカーとして使用することで、オフラインRL特有の不安定性（ワールドモデルのバイアスや多様なデータの不足によるもの）に対処しています。
ターゲットを絞った改善: 著者らは、RLが最も大きな利益をもたらすのは、エキスパートのデモンストレーションが乏しい困難で、かつ代表性の低い、ロングテールなシナリオであると強調しています。
汎用性: このアプローチは、模倣と強化学習を組み合わせるための汎用的なフレームワークとして提示されており、インタラクティブなシミュレーションに頼ることなく汎化性能を向上させるための有望な方向性を示しています。