Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

技術要約：パラメータ化されたDeep Q-Networkに基づく、車線変更と車間追従の統合自動制御

問題提起
現在の自動運転車両制御のアプローチでは、車線変更と車間追従を独立したタスクとして扱うことが多い。MOBIL（Minimizing Overall Braking Decelerations Induced by Lane Changes）とIDM（Intelligent Driver Model）を組み合わせた従来のルールベースのモデルは、定義済みのルールや明示的な軌道近似に依存している。これらの手法は、交通の動的かつ確率的な性質、特に車線変更の決定が周囲車両との複雑な相互作用（例：許容可能なギャップを利用するための速度調整など）に依存する場合への対応に苦慮している。さらに、既存の強化学習（RL）アプローチは、これらのサブタスクを個別に扱うか、あるいは連続的なアクション（加速度など）を離散化することで統合を試みるが、これはアクション空間の自然な構造の喪失や効率の低下を招く可能性がある。核心となる課題は、車線変更の決定が離散的であり、加速および軌道実行が連続的であるという、ハイブリッド・アクション空間を管理することにある。

手法
本研究は、**パラメータ化されたDeep Q-Network（P-DQN）**を利用した、コネクテッド自動運転車（CAV）のための統合制御フレームワークを提案する。このアルゴリズムは、連続変数を離散化することなく、ハイブリッドな離散・連続アクション空間上で直接動作するように設計されている。

• 状態空間（State Space）: システムの状態（$S_t$）は、以下の2つのコンポーネントで構成される：
  1. 車両間の相互作用（$S^1_t$）: 現在のレーンおよび隣接レーンにおける、前後4台の周囲車両の相対的な横方向・縦方向の位置および速度。
  2. 道路コンテキスト（$S^2_t$）: 自車と道路境界との距離、理想的なレーンセンターライン、および現在のレーンと理想的なレーンの間のレーンインデックスの差。
• アクション空間（Action Space）: 本フレームワークは、ハイブリッド・アクション空間 $A_t = [A^h_t, A^l_t]^T$ を採用する：
  • 高レベル離散アクション（$k_t$）: 車線変更の決定（0: 左へ、1: 維持、2: 右へ）を決定する。
  • 低レベル連続アクション（$A^l_t$）: 横方向および縦方向の加速度（$a_{x,0}$ および $a_{y,0}$）を制御する。連続アクションの範囲は、離散的な決定によってパラメータ化される（例：左への車線変更の場合、横方向の加速度は負の値に制約される）。
• 報酬関数（Reward Function）: 総報酬（$R_{total}$）は、安全性、効率性、および快適さのバランスをとるために設計された5つの要素の加重和である：
  1. 安全性: 対数ペナルティ関数を用いて、周囲の車両や道路境界への接近を罰する。
  2. 車間追従: 先行車両との所望のタイムギャップを維持することを促す。
  3. レーンキープ: 車線変更を行っていない際の、レーンセンターラインからの逸脱を罰する。
  4. 車線変更: 「理想的なレーン」（隣接レーンの先行車両の速度によって決定される）への適合を報酬とする。
• アルゴリズム: P-DQNは、アクション値関数 $Q(S, k, A_l)$ を推定するクリティック・ネットワークと、与えられた離散アクション $k$ に対して最適な連続パラメータ $A_l$ を出力するアクター・ネットワークを利用する。ネットワークは、最小二乗損失関数と確率的勾配降下法を用いて、累積報酬を最大化するように訓練される。

主な貢献

1. 統合制御フレームワーク: 本研究は、車線変更と車間追従を孤立したサブタスクではなく、相互依存するプロセスとして扱い、両方を同時に管理する統一された制御戦略を提示している。
2. ハイブリッド・アクション空間の実装: 連続的なアクションを離散化することによる制限を回避し、CAV制御におけるハイブリッド・アクション空間の特有の課題に対処するために、P-DQNを実装した。
3. 多目的最適化: 本フレームワークは、衝突回避、車間追従、レーンキープ、および車線変更の効率性という4つのサブ目的を、単一の学習ポリシーへと見事に統合している。

結果
周囲車両の速度が一定、または動的な場合を含む、異なる複雑さを持つ4つのシナリオに対して数値実験が行われた。

• 収束性: P-DQNアルゴリズムは、2,000から3,000のエピソード以内に収束に達した。
• 行動性能: 即時のギャップ制約によって車線変更を拒否する可能性のある従来のモデル（例：MOBIL）とは異なり、P-DQNは、ギャップを作り出す、あるいは利用するために縦方向の速度を調整（加速または減速）することを学習し、成功的な車線変更を可能にした。エージェントは、操縦中の先行および後続車両の両方から安全な距離を維持し、レーンセンターラインを遵守した。
• 比較分析: ベースラインとなるMOBIL+IDMモデルと比較して：
  • 安全性: P-DQNは、著しく低い**逆時間間隔衝突（Inverse-TTC）**値を示した（例：シナリオ1において0.075 vs 0.214）。これは、衝突リスクが低いことを示している。
  • 快適さ: P-DQNは、加速度の大きさに基づく運転の不快感指標において、MOBIL+IDMベースラインの1.596〜3.712に対し、0.599〜1.260という大幅に低い値を達成した。

意義と主張
本論文は、提案されたP-DQNフレームワークが、車線変更と車間追従の挙動を効果的に統合することにより、個別の制御戦略やルールベースのモデルの限界を解決すると主張している。ハイブリッド・アクション空間を活用することで、本モデルは、速度調整が安全な車線変更を促進するという、現実的な人間の運転行動を模倣した協調的な決定を下すことを可能にする。本研究は、この統合されたアプローチが、確立されたMOBILとIDMの組み合わせと比較して、走行の安全性と快適さの両面で優れた性能を発揮し、硬直的な事前定義ルールに頼ることなく、複雑な交通シナリオに対してより適応性の高いソリューションを提供すると結論付けている。