Path Planning Using Deep Deterministic Policy Gradient: A Reinforcement Learning Approach

技術要約：深層決定論的ポリシー勾配法を用いた経路計画

問題提起
本論文は、障害物が存在する脅威に満ちた環境下で動作する自律車両の経路計画という課題に取り組んでいる。著者らは、この問題を、単純なシナリオであっても本質的に非線形かつ非凸であると定義している。従来の最適制御手法（擬似スペクトル法やモデル予測制御など）は、理論的には最適な経路を見出すことができるが、計算コストが高く、リアルタイムの意思決定には適さないことが多い。さらに、これらの従来手法に求められる高精度なモデルの開発には多大な時間を要する。一方で、遺伝的アルゴリズムやボロノイ図のようなヒューリスティック手法は、高精度なモデルを必要としないものの、リアルタイムアプリケーションにおいては計算上のボトルネックに直面する。本論文は、複雑な環境モデルに依存することなく、連続的な状態空間および行動空間を扱う能力と、計算効率のバランスを両立させる解決策を追求している。

手法
提案される解決策は、モデルフリーの強化学習（RL）アルゴリズムである**深層決定論的ポリシー勾配法（DDPG）**を利用している。このアプローチでは、脅威を一つまたは複数の円形の「進入禁止」ゾーンとしてモデル化する。ミッションは、車両が制限区域内に進入した場合、または目的地の近傍に到達できなかった場合に失敗と定義される。

手法の核となる構成要素は以下の通りである：

1. エージェントのアーキテクチャ： システムは2つのニューラルネットワークを採用している。

   • アクター・ネットワーク（Actor Network）： 現在の状態（座標 $x, y$、直前のヘディング、タイムステップ）を、連続的なアクション（新しいヘディング）へと直接マッピングする。
   • クリティック・ネットワーク（Critic Network）： 与えられた状態と行動のペアに対するQ値（期待される長期的な割引報酬）を推定する。
   • 探索戦略： 探索と利用のバランスを取るため、アクターの出力にガウスノイズまたはオルンシュタイン＝ウーレンベック・ノイズを加える。このノイズの標準偏差は、初期訓練時には高く設定し、性能を精緻化するための再訓練時には減少させるよう調整される。

2. 報酬関数の設計： 報酬関数は人工ポテンシャル場を用いて構築され、以下の3つの明確な要素から構成される。

   • 吸引場（Attractive Field）： 目的地（$P_f$）を中心としたガウス型ポテンシャルであり、エージェントが目標に近づくことを報酬として与える。
   • 斥力場（Repulsive Field）： 円形障害物の中心（$P_c$）を中心としたガウス型ポテンシャルであり、エージェントが制限区域に進入または接近することを罰する。
   • 制御エネルギー・ペナルティ： ヘディングの変化量（$|A|^2$）に比例する項であり、間接的に直線的な経路を促し、燃料消費を最小限に抑える。
   • 時間ペナルティ： 目的地に到達するまでの各ステップに対して、総移動時間を最小化するために一律のペナルティ（-10）を適用する。

3. スマート初期ヘディング（Smart Initial Heading）： 本研究で導入された重要なヒューリスティックは、各エピソードの開始時に「スマート」な初期ヘディングを計算することである。目的地への直線が障害物と交差する場合、エージェントは現在位置から障害物への接点を計算する。その後、最終目的地への距離を最小にする接点を選択し、その点に向けて初期ヘディングを設定する。この戦略は、軌道の初期段階においてエージェントが障害物に向かって進んでしまうことを防ぐことを目的としている。

4. 訓練プロセス： エージェントは、シミュレーション環境（MATLABで実装）内での試行錯誤を通じて訓練される。訓練は、高い探索ノイズを伴う初期フェーズと、ポリシーを精緻化するためのノイズを低減させた再訓練フェーズで構成される。

主な貢献
本論文は、経路計画におけるDDPGの適用に関するいくつかの具体的な貢献を提示している。

• スマート初期ヘディングの統合： 著者らは、障害物への幾何学的接点に基づき最適な初期ヘディングを算出するヒューリスティックを提案し、検証した。これにより、軌道の初期段階におけるエージェントの障害物回避能力が大幅に向上した。
• 精緻化された報酬関数： 単なる絶対値ではなく、目的地に向かって移動していること（タイムステップ間の正規化されたガウス分布の差に基づく）に対するステップごとの報酬をエネルギー・ペナルティと共に含めるよう、報酬関数を修正した。
• 実行可能領域のマッピング： 訓練されたエージェントを用いて「実行可能集合（feasible set）」の開始点を作成した。このマップは、目的地への安全な経路が保証される開始地点を示しており、重要な事前ミッション計画の情報を提供する。
• 複数障害物への拡張： 本手法は、単一の障害物シナリオから、異なる半径と位置を持つ3つの障害物を含む複雑なシナリオへと正常に拡張され、そのスケーラビリティが実証された。

結果
本アプローチは、DDPG法を従来の最適制御法（擬似スペクトル法）と比較するシミュレーションを通じて検証された。

• 単一障害物シナリオ： スマート初期ヘディングと修正された報酬関数の導入により、これらの機能を持たないベースラインのエージェントと比較して、開始点の実行可能集合が大幅に拡大した。
• 複数障害物シナリオ： 特化したエージェントは、3つの障害物の間の狭い通路を通り抜け、目的地に到達することに成功した。結果は「最適性の原理」が成立していることを裏付けており、複雑なシナリオにおける最適ポリシーには最適な部分ポリシーが含まれている。
• 性能比較： 学習ベースのエージェントは効果的な経路を生成すると同時に、従来の擬似スペクトル法よりも計算時間が大幅に短いことが示された。この計算速度の優位性は、DDPGのアプローチがリアルタイムアプリケーションにより適していることを示唆している。

意義と主張
本論文は、提案されたDDPGベースのアプローチが、非線形かつ非凸な環境におけるリアルタイム経路計画のための実用的な解決策を提供すると主張している。強化学習を活用することで、本手法は高精度な環境モデルを必要とせず、従来の最適制御の計算遅延を克服する。事前に「実行可能集合」を計算できる能力は、ミッション計画のための重要なツールとして強調されており、オペレーターが特定の場所からタスクが達成可能かどうかを事前に判断することを可能にする。著者らは、本手法は効果的であるものの、性能をさらに向上させるために機械学習と他の最適化技術を組み合わせることを今後の課題として挙げている。