技術要約：異種道路ネットワークにおける交通信号のためのグラフベース制御インターフェース

問題提起

交通信号制御は、汎用化において根本的な課題に直面している。すなわち、アクション空間（行動空間）が本質的に局所的かつ異種混在的であることである。3腕のジャンクション、標準的な4腕の交差点、および保護右左折を含む複雑なジャンクションでは、フェーズ（信号周期）の数も、それらのフェーズが持つ意味論的な意味も異なる。したがって、固定出力のニューラルネットワーク・ヘッド（例：「フェーズ2」）は、異なる道路ネットワーク間で再利用可能な意味論を持たない。アクション空間を統一されたサイズにパディングする標準的な手法は、テンソルの次元を変更するだけであり、共有された意味を確立するものではない。また、既存の学習手法の多くは、交通移動（traffic movements）のスコアリングと、ジャンクション固有のアクション空間の構築を切り離すことに苦慮している。

手法

本論文は、学習された交通移動のスコアリングと、決定論的な局所アクション空間の構築を厳密に分離する制御インターフェースを提案する。

1. 制御オブジェクトと表現

• 移動（Movements）: 入ってくる道路コリドーから出てくる道路コリドーへの、法的かつ制御された経路として定義される（直進および右左折を含む）。
• レーングループ（LaneGroups）: 無信号での継続が明白な場合、連続する方向性のある道路セグメントをレーングループとしてグループ化する。反対方向は、待ち行列や速度のダイナミクスが異なるため、個別に扱う。
• フェーズ（Phases）: フェーズとは、同時に緑信号を受けることが可能な、互換性のある移動の集合である。コントローラーは、個々のランプを制御するのではなく、ジャンクションごとに1つのフェーズを選択する。

2. グラフニューラルネットワーク（GNN）アーキテクチャ

システムは、レーングループおよび移動ノードを含む都市レベルのグラフ上で動作する、共有された型付きグラフニューラルネットワークを採用している。

• メッセージパッシング: アーキテクチャは、$L_{in} \to M$、$L_{out} \to M$、$M \to L_{in}$、$M \to L_{out}$ の4つの方向性のある関係を用いた型付きメッセージパッシングを使用する。
• 集約: 埋め込みを生成するために、アテンションではなく**型付き平均集約（typed mean aggregation）**を利用する。
• スコアリング: 2回のメッセージパッシング・ブロックの後、多層パーセプトロン（MLP）が最終的な移動埋め込み（$h^{(2)}_m$）を単一のスカラー値スコア（$s_m$）に写像する。
• パラメータ共有: パラメータの形状は特徴量次元と隠れ層次元のみに依存するため、グラフのサイズやアクション数に依存しない。

3. 決定論的なアクション空間の構築

このインターフェースは、学習が移動のスコアリングで終了し、決定論的なコードが残りの処理を行うという「狭い境界」を強制する。

• インシデンス行列（$A_j$）: 各ジャンクション $j$ について、事前計算された決定論的なインシデンス行列が、移動スコアをフェーズ・ロジットにマッピングする。行列 $A_j \in \{0, 1\}^{|P_j| \times |M_j|}$ は、どの移動がどのフェーズによって有効化されるかを示す。
• フェーズ・ロジット: フェーズ $p$ のロジットは、そのフェーズによって有効化される移動のスコアの合計として計算される：$\ell_{j,p} = \sum_{m \in M_j} A_{j,p,m} s_m$。
• オフライン構築: フェーズは、SUMOのコンフリクトデータに基づき、最大互換移動集合を見つけるためのブロン・ケルクホフ法（Bron–Kerbosch enumeration）を用いてオフラインで生成される。
• オンライン実行: 実行時には、最小青時間の確保のために可用性マスクが適用され、カテゴリカル・サンプリングによってロジットに基づくフェーズが選択される。

4. 学習プロトコル

• アルゴリズム: 完全な方策（ポリシー）を最適化するために、近接方策最適化（PPO）が使用される。
• 報酬関数: ジャンクションごとに、進捗（速度正規化された密度）、排出（車両の流出）、制動（減速度）、グリッドロック（速度欠損）の項を組み合わせた、局所的で無次元の報酬が割り当てられる。
• 実行: 方策は可変サイズのステートグラフ上で動作する。バッチ処理のために、ローカルな次元が一致するジャンクション同士がグループ化され、ユニバーサルなグラフサイズへのパディングは回避される。

主な貢献

1. 構造的分離: 主要な貢献は、再利用可能な共有GNNによる移動スコアリングと、ジャンクション固有のアクション空間の決定論的な構築を分離するアーキテクチャル・インターフェースである。これにより、ネットワークのトポロジーを変更したり再学習したりすることなく、可変サイズのグラフや可変アクション数を扱うことが可能になる。
2. 実現可能性の評価: 本論文は、このインターフェースが、未知の合成幾何学および5つの異なる都市グラフ（Karlsruhe, Mannheim, Stuttgart, Heidelberg, Freiburg）を含む異種道路ネットワーク間で実行可能であるという実証的証拠を提供している。
3. 透明な境界: 複雑な階層やフェーズの意味論を学習するTransferLightなどの先行研究とは異なり、本手法は、フェーズのメンバーシップとタイミングが決定論的であり、学習されたアクターは移動ごとのスカラー値のみを出力するという、透明な境界を維持している。

実験結果

評価は以下の3つの研究課題（RQ）に対処している。

• RQ1（合成ファミリー内での転移）: 同一の合成ジェネレータによって生成された未知のグリッドサイズ（例：$6 \times 6$）およびアスペクト比において、サンプリングされた学習済み方策は、すべての需要レベル（0.6, 0.7, 0.8）において、スループットおよび完了率の両方でMax-Pressureベースラインを上回った。
• RQ2（分布シフト）: 信号機のカバー率が減少した場合（50%および25%）、フルカバー率で学習された方策は、Max-Pressureと比較して大幅な性能低下を示した。これは、アーキテクチャが構造的に実行可能であるにもかかわらず、信号カバー率の変化といった分布シフトに対して敏感であることを示している。
• RQ3（都市の実現可能性）: 単一の学習済み方策インスタンスが、5つの異種都市グラフに対して実行された。結果は混合している：
  • Karlsruhe & Stuttgart: 学習済み方策は、スループットと完了率においてすべての非学習ベースライン（Max-Pressure, Queue, Fixed Time）を上回った。
  • Mannheim: Queueベースラインに劣った。
  • Heidelberg: Fixed Timeと同等の性能であった。
  • Freiburg: Fixed Timeよりも高いスループットと完了率を達成したが、待ち行列密度が高くなるというコストを伴った。
  • 注記: Stuttgartは、真の汎化テスト（学習時のロールアウトなし）として機能した。その他の都市は、異種訓練ドメイン間での実行能力を示した。

重要性と主張

本論文は、その貢献を、任意の道路ネットワークへの転移を保証するものではなく、実現可能性の証拠として明示的に位置づけている。

• 限定的な範囲: 著者らは、結果が任意の道路ネットワークへの一般的な転移を確立するものではないと述べている。評価は、特定の合成および都市シミュレーション・ファミリーに限定されている。
• 構造的 vs 実証的: 論文は、「可変グラフ上で実行可能であるという構造的特性（構成によって証明済み）」と、「分布シフト（信号カバー率の変化など）に対して性能が敏感であるという実証的な堅牢性」を区別している。
• 実装への焦点: 本研究は、新しい強化学習アルゴリズムを提案するのではなく、実装とアーキテクチャル・インターフェースを評価している。インターフェースは可変次元をサポートしているものの、学習された性能は、コントローラーの分布や基礎となるネットワーク・トポロジーの変化に対して不変ではないことを強調している。

結論として、本論文は、グラフベースのインターフェースが、学習された移動スコアリングと局所的な信号ロジックを正常に分離できることを示しており、これにより、多様で未知のネットワーク幾何学においても実行が可能になることを実証している。しかし同時に、構造的な実行可能性が、さらなるチューニングや適応なしに、分布シフトやすべての異種都市環境において自動的に堅牢な性能を保証するわけではないことも明らかにしている。