Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

技術要約：公平性のための人間中心型交通信号制御

問題提起
マルチモーダルなコリドー（回廊）における交通信号の調整は、大きな課題を伴います。既存のマルチエージェント深層強化学習（DRL）アプローチは、主に車両中心であり、歩行者、サイクリスト、または公共交通機関の乗客を軽視しがちです。さらに、これらの手法は、マルチインターセクション（複数交差点）の調整に内在する高次元の離散アクション空間に苦慮します。従来の適応型システム（SCATSやSCOOTなど）は、手動のチューニングを必要とすることが多く、非電動利用者（歩行者や自転車等）を十分に考慮できていません。解決すべき核心的な問題は、スケーラブルかつ人間中心のフレームワークが欠如していることです。すなわち、マルチエージェント環境における離散アクション空間の複雑さを効果的に管理しながら、旅行者レベルの公平性（すべての輸送モード間の公平性）を明示的に最適化できるフレームワークが求められています。

手法：MA2B-DDQN
著者らは、中規模のコリドーネットワーク向けに設計された協調型マルチエージェントDRLフレームワークであるMA2B-DDQN（Multi-Agent Action-Branching Double Deep Q-Network）を提案しています。この手法は、以下の5つの主要コンポーネントで構成されています。

1. 環境と状態表現：

   • シミュレーションには、自動車、バス、歩行者が混在するオーストラリア・メルボルンの実世界のコリドーをモデル化したPTV VISSIMを使用しています。
   • 状態ベクトル $S_t$ は、3つの要素を組み合わせたものです：交通状況（レーンセルごとの車両占有率、速度、加速度、および乗客数）、歩行者情報（ゾーンごとの待ち人数）、および現在の信号フェーズ（ワンホットエンコーディング）。

2. アクションブランチング・アーキテクチャ：

   • 離散的なマルチエージェント空間における「次元の呪い」に対処するため、アクション空間を $n+1$ 次元の次元に分解します（ここで $n$ はインターセクションの数）。
   • ローカルアクション（$n$ 次元）： 各エージェントは、次の2つのフェーズ間の青信号の割り当て比率（$p_{i,1}$）を独立して決定します。
   • グローバルアクション（1次元）： 単一のグローバルアクションが、コリドー全体の次の2フェーズの合計持続時間（$C$）を選択します。
   • この分解により、モデルは標準的な結合アクションDRLよりも効率的に、離散的な決定（フェーズ選択と持続時間）を処理できます。

3. 人間中心の報酬メカニズム：

   • 車両のキュー長やスループットに基づく従来の報酬とは異なり、この報酬関数は遅延した個人の総数に対してペナルティを課します。
   • これは、歩行者、車両乗員、および公共交通機関の乗客の遅延を合算したものです。車両速度が閾値（5 km/h）を下回った場合、または歩行者が横断ゾーンで待機している場合に、遅延が発生したものとみなされます。
   • 報酬は $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$ と定式化されており、単なる車両の流れではなく、影響を受ける旅行者の削減を優先しています。

4. ネットワーク・アーキテクチャ：

   • Q値の過大評価を軽減するために、モデルはDouble DQN (DDQN) フレームワークを採用しています。
   • ネットワークは、共有特徴抽出器（ReLUとレイヤー正規化を備えた2つの全結合層）を使用し、それが $n+1$ 個の並列出力ヘッド（各アクション次元に1つずつ）へと繋がっています。
   • アクションは、各ブランチのQ値に対する $\arg\max$ を通じて選択されます。

5. 学習アルゴリズム：

   • システムは、**中央集中型学習・分散実行（CTDE）**を使用しています。エージェントはポリシーを更新するためにグローバル情報を共有しますが、アクションの実行はローカルで行います。
   • 損失関数は、Adamオプティマイザを使用して最適化される、$n+1$ 個のアクション次元にわたる損失の平均です。

主な貢献

1. 人間中心の公平性： 本研究は、すべての交通ネットワーク参加者（自家用車の乗員、公共交通機関の乗客、サイクリスト、および歩行者）を平等に扱い、遅延した個人の削減を明示的に最適化する、先見的なTSCアプローチを導入しています。
2. 協調型マルチエージェント・フレームワーク： 共有情報を用いてグローバルアクション（全フェーズ持続時間）を適応的に決定すると同時に、個別のエージェントを介してローカルな信号タイミング（青信号の分割）を最適化するフレーム格を提示しています。
3. マルチエージェントDRLにおけるアクションブランチング： マルチエージェントTSCにアクションブランチング・アーキテクチャを適用したのは、これが初となります。これは、制御問題を分解することで、高次元の離散アクション空間とマルチエージェントの設定を効果的に処理し、結合意思決定の複雑さを軽減します。

実験結果
モデルは、オフピーク、ラッシュアワー、通学時間帯、飽和に近い状態など、メルボルンの7つの現実的な交通シナリオにわたって評価されました。比較対象として、固定時間信号（ウェブスターの公式、グリーンウェーブ）や、様々なDRLモデル（MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN）を含む9つのベースラインを用いました。

• パフォーマンス： MA2B-DDQNは、すべてのシナリオにおいて一貫して最も低い**累積個人遅延（AID）および一人当たり遅延（PCD）**を達成しました。
  • シナリオ1（オフピーク）では、最良の固定信号ベースラインと比較してAIDを36.75%、最良のDRLベースライン（MAA2C）と比較して**11.94%**削減しました。
  • シナリオ2（ラッシュアワー）では、次に優れたDRLモデルよりも性能を**11.73%**向上させました。
  • シナリオ4（午後の通学時間）では、MASACに対して**35.24%**の改善を達成しました。
• 堅牢性： モデルは、繰り返しの試行においてパフォーマンス指標の標準偏差が最も低く、高い分散を示したMADDPGなどのベースラインと比較して、高い安定性を示しました。
• アブレーション研究：
  • アクションブランチング機構を取り除くと、パフォーマンスが著しく低下しました（例：シナリオ1でAIDが16.09%増加）。これは、学習効率におけるその決定的な役割を裏付けています。
  • Double DQN (DDQN) アーキテクチャを組み込むことで、シナリオに応じて標準的なDQNよりも**2.93%から16.40%**性能が向上し、過大評価の抑制が検証されました。
• トレードオフ： MA2B-DDQNは全体的な公平性と車両フローに優れていましたが、一部のベースライン（CMRMやMASACなど）は、車両遅延を大幅に増大させる代わりに、歩行者固有の遅延（APDS/AWTP）を時折低く抑えることがありました。MA2B-DDQNは、よりバランスの取れた最適化を維持しました。

意義と主張
論文は、MA2B-DDQNが、公平性を明示的に扱う、マルチモーダルな交通信号制御のためのスケーラブルで堅牢なソリューションを提供すると主張しています。その意義は以下の通りです。

• 車両中心の最適化から個人レベルの公平性へとパラダイムを転換し、移動モードに関わらずすべての道路利用者の公平なアクセスを保証すること。
• アクションブランチングが、マルチエージェント環境における高次元の離散アクション空間を扱うための、実行可能かつ効果的な戦略であることを実証したこと。
• 現実的なマルチモーダル交通データを用いた、多様な都市条件に適応可能な実用的なフレームワークを提供していること。

著者らは、DRLが一般的に固定時間方式よりも優れているものの、複雑なマルチモーダルネットワークにおいて高い効率性と公平性の両方を達成するには、アクションブランチング、DDQN、および人間中心の報酬の特定の組み合わせが必要であると結論付けています。また、飽和に近い条件下では物理的な車線容量が制限要因となるものの、本手法はベースラインに対して依然として優れた性能を維持していると述べています。