論文要約：CorrectionPlanner: Self-Correction Planner with Reinforcement Learning in Autonomous Driving

この論文は、自動運転における「安全な計画」を実現するために、自己修正機能（Self-Correction）を備えた新しい計画アーキテクチャ「CorrectionPlanner」を提案しています。既存の学習ベースの計画手法は、一度 unsafe な動作を提案するとそれを修正するメカニズムが欠如しているという課題を解決し、大規模言語モデル（LLM）の「推論と自己反省」の概念を、言語空間ではなく「運動トークン（motion token）」空間に適用した点が特徴です。

以下に、問題定義、手法、主な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

自動運転は、効率性と安全性の両立が求められる長期的な意思決定問題です。既存の学習ベースの計画手法（拡散モデルや自己回帰モデルなど）は、豊富なシーン文脈を学習し、次の動作や軌道を予測できますが、以下の根本的な欠点を持っています。

• 自己修正機能の欠如: 一度 unsafe な動作（衝突を引き起こす可能性のある動作）が提案されると、実行前にそれを評価・修正する内部メカニズムが存在しません。
• 事後フィルタリングへの依存: 多くの手法は、unsafe な軌道を生成した後でフィルタリングやルールベースの候補選択に頼っており、これはリアルタイム性や安全性の観点から不十分です。
• LLM とのギャップ: LLM では「推論（Reasoning）」や「自己反省（Self-reflection）」を通じて unsafe な出力を回避する手法が成功していますが、自動運転では言語空間ではなく物理的な「運動空間」での同様のメカニズムが確立されていませんでした。

2. 手法 (Methodology)

提案手法 CorrectionPlanner は、計画を「提案（Propose）→ 評価（Evaluate）→ 修正（Correct）」のループとしてモデル化し、自己回帰的に unsafe な動作を修正します。

2.1. 自己修正のメカニズム

• 運動トークン生成: 計画の各ステップで、方策（Policy）が「運動トークン（軌道の離散化された単位）」を提案します。
• 衝突クリティック（Collision Critic）: 学習済みの衝突クリティックが、提案されたトークンが短期間（例：2.5 秒）内に衝突を引き起こすか評価します。
• 修正トレース（Correction Trace）:
  • 衝突が予測された場合、そのトークンは実行されず、**「修正トレース」**として履歴に保持されます。
  • 方策は、この修正トレース（過去の unsafe な提案の系列）を自己注意（Self-attention）ブロックでエンコードし、条件として次の運動トークンを生成します。
  • このプロセスは、安全なトークンが提案されるか、最大修正回数に達するまで繰り返されます。
  • この一連の「unsafe な提案の系列」が、言語モデルにおける「推論トレース（Reasoning Trace）」に相当し、運動トークン空間内での内部推論プロセスとして機能します。

2.2. 二段階トレーニング手法

自己修正能力を効果的に獲得するため、以下の二段階トレーニングを採用しています。

1. 模倣学習（Imitation Learning, IL）:
   • 専門家（Expert）の軌道データを用いた次トークン予測でモデルを初期化します。
   • ここでは、衝突が発生するシナリオにおいて、方策が unsafe な提案から修正トレースを経て専門家軌道に収束するよう学習させます（ただし、IL 単体では未来の衝突を修正する能力は限定的です）。
2. モデルベース強化学習（Model-based RL）:
   • 世界モデル（World Model）: 事前学習済みの凍結された世界モデル（SMART 等）を使用し、自車の動作に対する他車（エージェント）の**反応的（Reactive）**な挙動をシミュレートします。これにより、現実的なロールアウトが可能になります。
   • 方策最適化: REINFORCE アルゴリズムを用いて、安全性を考慮した報酬（進行度と衝突の有無）を最大化します。KL 正則化を適用し、IL 方策からの乖離を抑制しつつ、自己修正ループを通じた安全な動作生成を強化します。
   • 報酬関数: 衝突なしの進行度（Progression Rate）を最大化し、衝突が発生した場合はペナルティを与えます。

2.3. 衝突クリティックの学習

• ロールアウトデータを用いて、バイナリ分類器として衝突クリティックを学習します。
• 時系列自己注意とエージェント間相互作用層を持ち、将来の衝突を予測します。

3. 主な貢献 (Key Contributions)

1. CorrectionPlanner の提案: 提案・評価・修正のループを持ち、修正トレースを用いて実行前に unsafe な動作を反復的に洗練する自己回帰型計画手法を提案しました。
2. 二段階トレーニング手法の導入: 模倣学習と、反応的なマルチエージェント世界モデルを用いたモデルベース RL を組み合わせることで、現実的なロールアウト（実行トークン、修正トレース、他車の反応を含む）を実現しました。
3. 性能の向上: 自己修正により衝突率を大幅に削減し、Waymax 上で既存の学習ベース計画手法よりも20% 以上の衝突率削減を達成。nuPlan データセットでも SOTA（State-of-the-Art）の計画スコアを記録しました。

4. 実験結果 (Results)

• Waymax シミュレーション:
  • 反応的（Reactive）および非反応的（Non-Reactive）の両モードにおいて、提案手法はベースラインと比較して20% 以上の衝突率削減を達成しました（例：反応的モードで 2.36% → 1.68%）。
  • 走行外（Off-road）性能も競合モデルと同等レベルを維持しており、安全性と効率性のトレードオフが良好であることを示しました。
• nuPlan データセット:
  • 標準的な Val14、Test14-random、Test14-hard 分割において、既存の学習ベース手法（PlanTF, DiffusionPlanner, SMART など）を上回る計画スコアを達成しました。
  • 特に反応的モードでは、他車との相互作用を考慮した自己修正の効果が顕著に現れました。
• アブレーション研究:
  • 自己修正の有無: 自己修正を無効化した場合、衝突率の削減効果は大幅に低下しました。
  • サンプリング手法との比較: 「拒否サンプリング（Rejection Sampling）」や「候補選択（Candidate Selection）」と比較し、修正トレースを条件として利用する本手法が、より効果的に衝突を回避できることを示しました（拒否サンプリングは同じ分布からの再サンプリングとなるため、 unsafe 領域から脱出できない傾向があります）。
  • 閾値と修正長さ: 衝突判定の閾値と最大修正回数を調整することで、安全性と進行度のバランスを最適化できることが確認されました。

5. 意義と結論 (Significance)

• 言語モデルからの転用: 言語モデルの「推論トレース」の概念を、自動運転の「運動トークン空間」へ適用し、物理的な安全性を向上させる新しいパラダイムを示しました。
• 安全性の向上: 事後フィルタリングやルールベースの手法に依存せず、学習された方策が自律的に unsafe な動作を検知・修正する能力を獲得しました。
• 汎用性: このアプローチは、安全性が重要な他のロボティクス領域にも応用可能であり、ゼロショット汎化能力も期待されます。

総じて、CorrectionPlanner は、自動運転の計画タスクにおいて、単なる軌道予測を超えた「自己反省と修正」のメカニズムを実装し、安全性と効率性の両立を達成する画期的なアプローチです。