論文要約：自律走行車の運動計画のための大規模言語モデルのオンポリシー蒸留

本論文は、自律走行車の運動計画（Motion Planning）において、大規模言語モデル（LLM）の知識をより小型で展開可能なモデルへ効率的に転移する手法を提案・検証した研究です。特に、LLM ベースの計画アルゴリズムをリソース制約のある車載システムに実装する際の課題を解決するため、「オンポリシー一般化知識蒸留（On-Policy Generalized Knowledge Distillation: GKD）」の有効性を示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と課題

• LLM の可能性: 近年、LLM は常識推論や世界知識を活用し、運動計画を「言語生成問題」として再定式化することで、解釈性の高い経路生成を実現しています（例：GPT-Driver フレームワーク）。
• 展開の障壁: 高性能な LLM は推論コストが高く、リアルタイムで動作する必要がある車載ハードウェア（オンボードシステム）ではリソース不足が深刻な課題です。
• 既存の知識蒸留の限界: 従来の教師あり学習による蒸留（Supervised Distillation）では、学生モデルが教師モデルの出力や正解データで訓練されますが、推論時には学生モデル自身の生成した不完全なシーケンスに基づいて次のトークンを予測するため、「訓練と推論の分布ミスマッチ（Train-Inference Distribution Mismatch）」が発生します。
  • 運動計画において、初期の経路座標にわずかな誤差が生じると、それが連鎖的に後の経路に伝播し、大きな軌道偏差や衝突リスクにつながります。

2. 提案手法：オンポリシー一般化知識蒸留 (GKD)

本論文では、GPT-Driver のタスク設定（環境観察を言語プロンプトに変換し、思考プロセスと経路座標を生成する）を継承しつつ、以下のアプローチを採用しました。

• 教師モデル: Qwen3-8B を nuScenes データセットで教師あり微調整（SFT）し、高品質な計画出力（思考トレース＋経路）を生成する教師モデルを構築。
• 学生モデル: Qwen3-1.7B（教師の 5 分の 1 のサイズ）に知識を転移。
• GKD の仕組み:
  • 学生モデルは**自身の生成したシーケンス（オンポリシー）**上で訓練されます。
  • 教師モデルは、学生が生成した各トークン位置における**完全な語彙分布（Probability Distribution）**を提供し、学生はその分布に一致するように学習します。
  • 目的関数には、前方 KL 発散と逆 KL 発散のバランスを取る**一般化ジェンセン・シャノン発散（Generalized JSD）**を使用します。
  • 利点: 単一のサンプリングされたトークンだけでなく、教師が「あり得る」と判断したすべての次のトークン（例：座標の数字の候補）の分布情報を学生に与えるため、座標生成の構造的な制約（物理的に実現可能な速度や方向）をより深く学習できます。

比較ベースライン：密な報酬フィードバック RL

• 教師モデルのログ確率をトークンごとの「報酬」として用いた方策勾配法（Policy Gradient）をベースラインとして比較しました。
• この手法では、サンプリングされた特定のトークンに対してのみスカラー報酬が与えられ、他の候補トークンに関する情報は失われます。

3. 主要な貢献

1. LLM 計画者の圧縮成功: オンポリシー知識蒸留を用いることで、80 億パラメータの教師モデルから 17 億パラメータ（5 倍小型）の学生モデルへ、教師レベルに近い性能で知識を圧縮転移できることを実証しました。
2. 厳密な比較評価: GKD と、教師ガイドの密な報酬 RL ベースラインを、学習アルゴリズム以外の条件を完全に同一にして比較しました。これにより、学習アルゴリズムの違いが性能に与える影響を明確に分離しました。
3. 安全性と精度の両立: GKD 学生モデルは、軌道精度だけでなく、衝突回避の安全性においても教師モデルに追従し、RL ベースラインを大幅に上回る結果を示しました。

4. 実験結果（nuScenes ベンチマーク）

実験は nuScenes データセットの検証セット（5,119 フレーム）で行われました。

• 軌道精度（L2 誤差）:

  • 教師: 平均 L2 誤差 0.355m (STP-3 基準)
  • GKD 学生: 0.373m（教師に対して約 5% の劣化のみ）
  • RL 学生: 0.579m（GKD 学生に対して約 55% 劣化）
  • GKD 学生は、時間経過に伴う誤差の蓄積（エラー伝播）が RL 学生よりもはるかに抑制されていました。

• 衝突率:

  • 教師: 0.101%
  • GKD 学生: 0.138%（教師に極めて近い安全性）
  • RL 学生: 0.363%（GKD 学生の約 2.6 倍の衝突率）

• フォーマット信頼性:

  • 両方の学生モデルは、検証データ全例で経路の解析に成功（フォーマットエラー 0%）し、構造化出力の学習が適切に行われたことを示しました。

• 定性的評価:

  • 複雑な右折シナリオにおいて、RL 学生は直進してしまうなど大きな誤差を示しましたが、GKD 学生は教師の挙動をよりよく模倣し、真の経路に近い軌道を描いていました。

5. 意義と結論

• 実用性の証明: 計算リソースが限られた車載システムにおいても、オンポリシー蒸留を用いれば、大規模 LLM の計画能力を小型モデルで維持できることが示されました。
• 学習アルゴリズムの重要性: 運動計画のような連続的な意思決定タスクでは、単一のサンプリング点に対する報酬（RL）よりも、完全な分布情報に基づく指導（GKD）の方が、分布ミスマッチの問題を解決し、安全で正確な軌道生成に不可欠であることが明らかになりました。
• 将来展望: 本手法は、自律走行システムにおける LLM の実用化への道筋を示すものとして、閉ループシミュレーションへの拡張や、明示的な安全目的関数の統合など、さらなる研究の基盤となっています。

要約すると、この論文は「LLM を自律走行に活用する際、単にモデルを小さくするだけでなく、**オンポリシーな分布一致（GKD）**という原理的な手法を用いることで、安全性と精度を損なわずに実装可能にする」ことを示した重要な研究です。