An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving

技術要約：乗客主導型自動運転のためのLLM説明可能DRLフレームワーク

問題提起
自動運転車（AV）の知覚および制御技術は進歩しているものの、意思決定システムの「ブラックボックス」的な性質により、公衆の信頼は依然として限定的である。乗客は、特に重要な状況において、なぜAVが特定の行動をとるのかという理由について、透明性を欠いていることが多い。既存の説明可能なAI（XAI）のアプローチは、主に開発者向けであり、視覚的な表現や技術的なルール・トレースに依存しているため、非専門家ユーザーにはアクセスしにくい。さらに、現在のフレームワークは、安全制約によってコマンドの上書きが必要になった際に、自然言語による正当な理由を提示すると同時に、リアルタイムの乗客の音声コマンドを直接制御ループに統合する機能もほとんど備えていない。

手法
著者らは、深層強化学習（DRL）による適応制御と、大規模言語モデル（LLM）による乗客とのインタラクションおよび説明可能性を統合した、SUMOマイクロスケール交通シミュレータ内で動作するハイブリッドフレームワークを提案している。システムアーキテクチャは、以下の4つの主要なサブシステムで構成される：

1. シミュレーション環境： 信号交差点、無信号の歩行者横断歩道、および変動する交通流を備えた、双方向の都市道路シナリオ。乗客の意図は、「高速（fast）」、「快適（comfort）」、「停止（stop）」の3つの離散的なコマンドに抽象化される。
2. コマンド解釈（LLM-1）： GPT-4.1-miniを活用し、このモジュールは音声による乗客のリクエスト（直接的または間接的なもの）を転写し、確定した曖昧さのない運転指示（「もっと速く走って」、「もっと慎重に走って」、または「止まって」）へと再構成する。これは制御エージェントに対して数値クラス（0、1、または2）を出力する。
3. 自動運転コア（DRL）： 制御ポリシーは、Dueling Double Deep Q-Network（D3QN）を用いたマルコフ決定過程（MDP）としてモデル化される。
   • 状態空間： 乗客コマンド、自車速度、制限速度、車間距離、相対速度、信号機までの距離/状態、および歩行者横断までの距離を含む8次元ベクトル。
   • 行動空間： -3 から +3 m/s の範囲の離散的な縦方向の速度調整。
   • 報酬関数： 3つの異なる運転モードに対して、以下の報酬構造が定義されている：
     • 高速（Fast）： 効率性と制限速度の遵守を優先しつつ、安全性（衝突時間（TTC）> 2s）を維持する。
     • 快適（Comfort）： 高いジャーク（加加速度）を罰し、保守的な車間距離を好むことで、滑らかさを優先する。
     • 停止（Stop）： 速度を維持することに対して高いペナルティを課し、即時のブレーキを強制する。
   • 安全メカニズム： 仮想リーダー・アプローチが使用され、硬直的な距離閾値の代わりに、ルール遵守を保証する車間走行ロジックを用いて、赤信号や歩行者横断での停止を強制する。
4. 説明可能性パイプライン（LLM-2 & LLM-3）：
   • 意思決定モジュール（LLM-2）： 現在の車両の行動を、乗客のリクエストおよび環境状態に対して評価する。衝突（例： 「高速」のリクエストがあるにもかかわらず赤信号のために減速する場合）が存在する場合にのみ、説明をトリガーする。
   • 説明生成器（LLM-3）： 衝突が検出された際、最も安全性に関連する要因（例：「信号機に接近している」）に焦点を当て、簡潔で安心感を与える1〜2文の自然言語による正当な理由を生成する。

主な貢献

1. 乗客指向型XAIパイプライン： 自然言語による乗客のリクエストを制御ポリシーへと変換し、非専門家ユーザー向けにコンテキストに応じた説明を生成する、LLMとDRLを統合した新しい仕組み。
2. マルチモードD3QNエージェント： 単一のトリップ内で「高速」、「快適」、「停止」のモードをシームレスに切り替え、交通ルールと安全制約を遵守できる訓練済みエージェント。
3. 衝突検知メカニズム： 安全制約が乗客の意図を上書きする場合に特化して、説明が必要かどうかを動的に判断するLLMベースのモジュール。これにより、適応性と透明性のバランスをとっている。

結果
本フレームワークは、様々な交通密度（ベースラインフローの0.5倍から1.5倍）において、11,000回のトレーニングエピソードと25回のテストエピソードにわたって評価された。

• DRLの性能： 「高速」および「快適」の両エージェントは、安定した学習と衝突のない動作を示した。
  • 「高速」エージェントは、平均速度4.508 m/s、平均タイムヘッドウェイ（TH）2.998s、衝突時間（TTC）5.603sを達成した。
  • 「快適」エージェントは、平均速度はわずかに低い（4.396 m/s）ものの、大幅に大きなTH（6.373s）と低いジャーク（0.205 m/s³）を維持し、より滑らかな運転挙動を確認した。
  • 両エージェントは、それぞれの運転モードを不安定化させることなく、緊急停止コマンドを正常に実行した。
• LLMの性能：
  • コマンド解釈（LLM-1）： 33のリクエストを含むデータセットにおいて96.9%の精度を達成し、「高速」クラスについては完全な適合率を示した。1件のエラーは、「停止」のリクエストを「快適」と誤分類したものであった。
  • 意思決定および説明（LLM-2/3）： 定性的評価によれば、システムは安全主導の逸脱（例：赤信号のために減速する）に対して説明を正しくトリガーし、適切な安心感を与える正当な理由を生成した。また、軽微で予想される調整に対して冗長な説明を行うことを効果的に回避した。

意義と主張
本論文は、DRLベースの運転制御とLLMによる乗客インタラクションの統合の実現可能性を示す**概念実証（Proof of Concept）**として本研究を提示している。著者らは、このフレームワークが、安全であり、ユーザーの好みに適応し、かつ説明可能であるシステムを提供することで、AVの性能と公衆の信頼との間の溝を埋めることに成功したと主張している。

本研究は、乗客のリクエスト（例：「もっと速く走って」）が安全制約のために遅延または上書きされる理由を説明する必要がある場合に、フレームワークが最も効果的であることを強調している。著者らは、SUMOへの依存、リアルタイムの説明評価に関する標準化された指標の欠如、およびLLMのハルシネーション（幻覚）の可能性を含む限界についても明示的に述べている。したがって、彼らは本研究を、即時の商業利用が可能な成熟したソリューションではなく、横方向の制御（車線変更）を含む将来の拡張に向けた基礎的なステップとして位置づけている。