DeCoR: Design and Control Co-Optimization for Urban Streets Using Reinforcement Learning

技術的サマリー：DeCoR – 都市街路における設計と制御の共最適化

問題提起
現代のコンピュータビジョンおよびセンシング技術は、都市内のアクター（歩行者および車両）の検出、追跡、予測において著しく進歩しました。しかし、これらの知覚能力と都市インフラ設計の間には、依然として重要な隔たりが存在します。都市は人々や車両の移動をますます測定できるようになっていますが、これらの測定値は、その行動を形作るインフラの再設計にほとんど活用されていません。現在の歩行者安全対策は、現代のセンシング能力以前に確立された静的なヒューリスティック（例：固定された横断歩道の間隔閾値）に大きく依存しています。これらの規則は、しばしば競合する優先事項のバランスを取ることに失敗します。歩行者は安全で便利な横断を求め、車両は最小限の遅延を期待し、計画者は費用対効果を狙うからです。信号制御を考慮せずに横断歩道の配置を最適化すること、あるいはその逆は、逆効果となり得ます。配置の不適切な横断歩道は車両の停止を増加させ、配置が適切でもタイミングの不適切な信号は過度な遅延を引き起こします。

手法
本論文は、区間横断歩道のレイアウトとネットワークレベルの信号制御を共最適化する 2 段階の強化学習（RL）フレームワークであるDeCoRを導入します。このフレームワークは、歩行者ネットワークを表す有向グラフ $G=(V, E)$ 上で動作し、ここでノードは交差点および経路の分岐点を、エッジは歩行可能な区間を表します。

1. 設計段階（外ループ）:

   • 目的: 最適な横断歩道の位置と幅を提案する生成ポリシーを学習すること。
   • メカニズム: グラフアテンションネットワーク（GATv2）が歩行者ネットワークグラフを符号化します。設計エージェントは、横断歩道の位置と幅に関するガウス混合モデル（GMM）をパラメータ化します。
   • 行動: 新しい横断歩道が、各エピソードにおいてこの GMM からサンプリングされます。設計報酬（$R_D$）は、歩行者の到達時間と横断歩道の数（インフラコスト）のバランスを取り、より疎で費用対効果の高い設計を促します。
   • 制約: レイアウトは回廊の限界によって制限され、物理的に非現実的な構成（例：1m 未満の間隔で配置された横断歩道）はマージされます。

2. 制御段階（内ループ）:

   • 目的: 提案されたレイアウトに条件付けられた適応型信号タイミングポリシーを学習すること。
   • メカニズム: 共有制御ポリシーが、現実世界の需要規模を変化させた $N$ 個の並列閉ループシミュレーション（SUMO 使用）全体で動作します。
   • 状態: 状態には、信号フェーズ、車両の占有状況（交差点から 100m 以内、横断歩道から 50m 以内）、歩行者の占有状況（横断歩道から 5m 以内）の空間 - 時間行列が含まれます。
   • 行動: エージェントは、交差点の信号フェーズ（4 種類の構成）と、区間横断歩道のバイナリ状態（車両対歩行者の流れ）を選択します。
   • 報酬: 制御報酬は、修正された**最大待機集積キュー（MWAQ）**指標に基づいています。これは、最悪の個別遅延と蓄積された需要を組み合わせ、歩行者および車両の極端な待機時間を抑制するために指数関数的なペナルティを適用します。

3. トレーニング:

   • 両段階とも近接方策最適化（PPO）を使用します。
   • 設計段階は即時報酬を持つコンテキストバンディットとして扱われ、制御段階は逐次ステップにわたるマルコフ決定過程（MDP）として扱われます。
   • 現実世界の需要は、ビデオおよび Wi-Fi ログから導出され、堅牢性を確保するためにトレーニング中にランダムにスケーリングされます。

主要な結果
2,223 人/時間および 202 台/時間の 750m の現実世界の都市回廊で評価されました。

• レイアウト最適化: DeCoR は、区間横断歩道の数を既存の 7 か所から 4 か所に削減しました。横断回数が減ったにもかかわらず、最適化されたレイアウトは歩行者の欲求線（desire lines）との整合性を高めることで、最も近い横断歩道への平均歩行者到達時間を22.68%（高需要時には最大 25.8%）削減しました。
• 制御最適化: 固定時間信号化と比較して、DeCoR 制御ポリシーは歩行者の待機時間を78.9%、車両の待機時間を**65.3%**削減しました。
• ベースラインとの性能比較:
  • DeCoR の信号付き横断は、安全性（衝突ゼロ）を維持しつつ、歩行者の待機時間を信号なし横断と同等（1.26 秒対 1.46 秒）にしました。
  • 高需要時、信号なし横断は車両の待機時間を著しく急上昇させましたが、DeCoR は効率性を維持しました。
• 一般化と堅牢性:
  • 両エージェントとも、トレーニング分布外の需要パターンおよび規模（0.5 倍から 2.75 倍の需要でテスト）に一般化しました。
  • 堅牢性テスト: 最適化されたレイアウトに追加の横断歩道が導入され、再トレーニングが行われなかった場合でも、共最適化された制御器は低い待機時間を維持しました。対照的に、逐次的にトレーニングされた制御器（設計後、制御）は劇的に劣化し、歩行者の待機時間が97.53%、車両の待機時間が**91.90%**高くなりました。

意義と主張
本論文は、歩行者と車両の移動を感知することが、インフラの共同再設計と制御の適応を可能にするのに十分であることを実証することで、知覚から設計への隔たりを DeCoR が成功裏に埋めたと主張しています。

• 共最適化の価値: 主な貢献は、共最適化が逐次アプローチを上回ることを示したことです。共最適化により、制御ポリシーはレイアウトの構造的変化に対する堅牢性を学習でき、これは逐次的にトレーニングされたエージェントには欠けている能力です。
• 歩行者優先設計: 結果は、信号付き横断が本質的に歩行者にとって遅いという仮定に挑戦しています。知覚駆動型の適応制御を用いれば、信号付き横断は車両の効率性を維持しつつ、信号なし横断の利便性に近づけることができます。
• 効率性: 共最適化アプローチは、逐次トレーニングと比較して、グラフからシミュレーションへの変換に約 10% の計算オーバーヘッドしか導入しませんが、はるかに優れた性能と堅牢性を提供します。

限界と範囲
著者は明示的に、DeCoR は負傷リスクや死亡事故を明示的にモデル化するのではなく、安全性の代理として移動性（到達時間と遅延）を対象としていることを指摘しています。評価は、現実世界の需要データを使用したシミュレーションに限定されており、信号違反、センサノイズ、または遮蔽はモデル化されていません。さらに、この研究は、現実的な幾何学と高忠実度で時間的に整合した需要測定を組み合わせるデータセットの不足により、単一の現実的回廊に限定されています。今後の研究としては、設計空間をより高次元のネットワーク幾何学に拡張し、衝突に基づく安全性指標を明示的に組み込むことが提案されています。