⚡ electrical engineering

Platooning Connected, Autonomous, and Human-Driven Vehicles: A Deep Reinforcement Learning-based Approach

本論文は、柔軟性を高めつつ、乱れの伝播を抑制し、交通量と安定性のトレードオフを最適化するために、非接続車両を混合交通へと動的に統合する、深層強化学習に基づいたハイブリッド・プラトーニング制御戦略を提案するものである。

原著者： Zhen Qina, Dong-Fan Xie, Heng Ma, Xiaomei Zhao, Zhengbing He

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

原著者： Zhen Qina, Dong-Fan Xie, Heng Ma, Xiaomei Zhao, Zhengbing He

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

高速道路を、車が流れる長い川だと想像してみてください。長年、科学者たちは、この川の流れをよりスムーズにするために、「スマート」な車（コンピュータやインターネット接続を備えた車）に、**プラトゥーン（隊列）**と呼ばれる密接で同期したグループを形成して走行する方法を研究してきました。プラトゥーンとは、車が非常に狭い間隔で一緒に移動する列のようなもので、これにより燃料を節約し、同じ道路をより多くの車で通過させることができます。

しかし、現在大きな問題があります。それは、道路上のほとんどの車は、まだ「スマート」ではないということです。それらは、人間が運転する通常の車や、互いに通信できない古い自動運転車です。従来のプラトーニング戦略は、これらの「非スマート（dumb）」な車を無視していますが、これは現実を反映していません。

この論文は、交通を扱うための、より柔軟で新しい方法を提案しています。それは、「非スマート」な車を「スマート」な列に加わることを許容しつつ、賢いマネージャーを配置することです。

研究者たちがどのようにこのパズルを解いたのか、分かりやすく説明します。

1. 問題点：「長すぎる列車」の罠

研究者たちは、もし単にどんな車でも好きな時に列に加われるようにしてしまうと、列が長くなりすぎてしまうことに気づきました。

比喩： 手をつないで並んでいる人々を想像してみてください。もし、チェックもせずに全員を即座に列に加わらせたら、その列は巨大で、ふらふらとしたヘビのようになってしまいます。もし先頭の人がつまずいたら、最後尾の人まで激しく揺さぶられてしまいます。交通においては、これは先頭の車によるわずかなブレーキ操作が、列の最後まで伝わる巨大で危険な「衝撃波（ショックウェーブ）」となり、渋滞や事故を引き起こすことを意味します。

2. 解決策：「深層強化学習」のコーチ

これを解決するために、著者たちは**深層強化学習（Deep Reinforcement Learning: DRL）**と呼ばれる一種の人工知能を用いたデジタルな「コーチ」を作り上げました。

仕組み： コーチがサッカーの試合を見ている様子を想像してください。コーチはただ選手に「速く走れ」と言うだけではありません。コーチはフィールド全体を見渡し、選手がどこにいるかを確認した上で、「よし、ここでは小さなグループを作り、あちらのグループはバラバラにして安定性を保とう」といった判断を下します。
魔法のような力： このAIコーチは、試行錯誤を通じて学習します。車をどのようにグループ化するか（3台のグループ、5台のグループ、あるいはスマートな車と非スマートな車を混ぜるなど）を試していきます。交通がスムーズに流れ、燃料が節約できれば「報酬」を得て、交通が不安定になったり危険になったりすれば「ペナルティ」を受けます。数百万回の練習走行（シミュレーション）を経て、AIは完璧なバランスを学習します。

3. 新しいゲームのルール

この論文では、この新しい「ハイブリッド・プラトゥーン」のための特定のルールを設定しています。

「スマート」な架け橋： 通常の車（人間が運転する車、または非接続車）は、2台の「スマート」な車（コネクテッド自動運転車）に挟まれている場合に限り、プラトゥーンに加わることができます。スマートな車は「翻訳者」として機能し、通常の車の速度を感知して、その情報をグループの残りの車両に伝えます。
ソロのリーダーは禁止： 通常の車は、プラトゥーンの最初、または最後になることはできません。なぜなら、その車はグループに対して「私が先頭だ！」や「私が最後尾だ！」と伝えるための通信手段を持っていないからです。
制限： 中間で連続する通常の車の列が長すぎることがあってはなりません。隙間を埋めるための「架け橋」となるスマートな車がいないまま、あまりにも多くの通常の車が並んでしまうと、プラトゥーンは解体されます。これは、前述の「巨大でふらふらしたヘビ」の問題を防ぐためです。

4. シミュレーションの結果はどうだったか？

研究者たちは、彼らの「コーチ」が機能するかどうかを確認するために、何千回ものコンピュータ・シミュレーションを行いました。判明したことは以下の通りです。

安定性： AIに制御されたプラトゥーンは、はるかに安定していました。先頭の車がブレーキをかけても、衝撃波が大きく増幅されることはありませんでした。交通は、荒れた海ではなく、穏やかな川のように流れていました。
安全性： 衝突のリスク（車同士がどれほど接近したかという指標）は、特にスマートな車がまだ少ない状況において、大幅に減少しました。
効率性： AIは安全性を保つために、時として少し小さめのグループを選択することもありましたが、それでも多くの車を移動させることに成功しました。AIは、安全であり、かつ効率的であるという「スイートスポット（最適解）」を見つけ出したのです。
きれいな空気： 車が激しくブレーキや加速を繰り返すことがなくなったため、燃料消費が抑えられ、CO2やNOxなどの排出量も減少しました。

結論

この論文は、単に「スマートな車をグループに入れよう」と言っているだけではありません。そうではなく、**「スマートな車と通常の車を混ぜ合わせ、ただし、交通の混乱を招かないように、グループの大きさや誰が加われるかを決定する超スマートなAIコーチを使おう」**と提案しているのです。

その結果、すべての車が完全に自動運転になる前であっても、より安全で、安定しており、かつクリーンな交通システムが実現します。AIは交通オーケストラの指揮者のように振る舞い、たとえ一部の楽器（車）のチューニングが少し外れていたとしても、オーケストラ全体がスムーズに演奏を続けられるように導くのです。

技術要約：深層強化学習を用いた、連結型・自律型・人間運転車両のプラトーニング

1. 問題提起

既存の車両プラトーニング（隊列走行）戦略は、主に、連結型自動運転車（CAV）のみ、あるいは連結型人間運転車（CHV）のみで構成される均質な環境を対象として設計されている。これらのアプローチは通常、非連結車両である自律走行車（AV）や人間運転車（HV）を排除しており、現在の、そして近い将来の混合交通状況を正確に反映できていない。

近年の「ハイブリッド」戦略は、CAVを情報リレーとして活用することで非連結車両をプラトーンに組み込もうと試みているが、これらは決定的な限界を抱えている。それは、HVやAVの無規制な統合が、プラトーンの急速な拡大を引き起こす可能性があることである。この制御不能な成長は、交通流内における撹乱の伝播リスクを増幅させ、交通スループットの最大化と交通流の安定性の維持との間に存在する固有の対立を悪化させる。さらに、均質なフリート向けに設計された従来の最大プラトーン長に関する制約は、これらの新たな異種混合シナリオにおいては不十分である。核心となる課題は、非連結車両の柔軟な受け入れを可能にしながら、交通容量と交通流の安定性および安全性の間で動的にバランスを取る制御戦略を開発することである。

2. 手法

本研究では、部分観測マルコフ決定過程（POMDP）フレームワーク内で動作するように設計された、深層強化学習（DRL）に基づくハイブリッド・プラトーニング制御戦略を提案する。

2.1. ハイブリッド・プラトーニング・パターン

著者らは、非連結車両（HV/AV）のプラトーンへの加入を条件付きで許可する「ハイブリッド・プラトーニング・パターン」（スキーム PS2）を導入している。

メカニズム: CAVは、搭載されたマルチセンサー知覚（LiDAR、レーダー、カメラ）を利用して、隣接する非連結車両の状態を感知する。この情報は、車車間（V2X）通信を通じて他の連結メンバーに放送され、非連結車両の状態がプラトーン内で観測可能となる。
制約: プラトーンの整合性を確保するため、HV/AVがプラトーンのリーダーまたはテイル（最後尾）車両として機能することは禁止されている。プラトーンは、すべての車両の状態が連結メンバーに対して観測可能である場合にのみ形成できる。これにより、プラトーン内における連続した非連結車両の最大数は2台（例：CAV–HV–HV–CAV）に制限される。
比較: これは、CHV/CAVのみがプラトーンを形成し、非連結車両を排除するスキーム PS1 と対比される。

2.2. DRL フレームワーク

制御戦略には、**近接方策最適化（PPO）**アルゴリズムを用いた、**集中学習・分散実行（CTDE）**アーキテクチャを採用している。

状態空間: 状態表現は、自車ダイナミクス（車両タイプ、プラトーン内の位置、タイムヘッドウェイ）と周囲環境の状態（前後2台の車両のタイプと位置）を含むマルチモーダルなデータを統合している。この設計により、次元の呪いに陥ることなく局所的なトポロジーを捉えることができる。
行動空間: 離散的なアクションには、プラトーンへの加入、プラトーンからの離脱、または独立走行の維持が含まれる。
報酬関数: 以下の3つの要素のバランスを取るために、多目的報酬関数が定式化されている：
1. 交通効率 ( $r_{capacity}$ ): ベースラインに対する車線容量の増加率に基づく。
2. 交通安定性 ( $r_{stability}$ ): 車車間モデルの導関数から導出された、ハイブリッド交通流安定性判別式 ( $G_h$ ) の改善に基づく。
3. ペナルティ ( $r_{penalty}$ ): 車線容量がベースラインを大幅に下回った場合に適用される制約ペナルティであり、効率を犠牲にして過度な安定性を追求することを防ぐ。
学習: 方策ネットワークは、プラトーンの構造（サイズと分布）を動的に調整して、容量と安定性のトレードオフを最適化するように学習する。

3. 主な貢献

ハイブリッド・プラトーニング・パターン: 厳格な連結フリートの拡張性の限界に対処するため、CAVを介した情報の伝播を通じて非連結車両をプラトーンに統合する実現可能なメカニズムを定義した。
DRLベースの制御戦略: 固定された編成ルールを超えた、新しいDRL戦略を開発した。プラトーンの構成を静的なものと仮定するのではなく、スループットと安定性のトレードオフを管理するために、リアルタイムでプラトーン構造を動的に最適化することを学習する。
マルチレベルの状態表現: 車両ダイナミクス、プラトーンのトポロジー、および交通流の状態を統一された状態表現に統合し、グローバルな安定性の目標を考慮しつつ、エージェントが局所的な観測に基づいて分散的な意思決定を行えるようにした。
包括的な評価: 提案手法を、汎用能力、交通流の安定性、安全性、および環境影響の4つの観点から、従来の連結プラトーニング（PS1）および無規制のハイブリッド・プラトーニング（PS2）と比較して厳密に評価した。

4. 実験結果

1,000台の車両を用いた単一車線の道路において、異なるCAV浸透率（ $P_{CAV}$ ）の下で数値シミュレーションを実施した。

学習性能: DRL戦略は正常に収束し、ベースラインとなるハイブリッド戦略（PS2）と比較して、交通安定性判別式（ $G_h$ ）において27.9%の向上を達成した。これは、最大プラトーン長を28.3%短縮（約24台に減少）し、プラトーンの総数を19.3%増加させることで、交通密度を効果的に分散させたことによるものである。
汎用性: 戦略は、 $P_{CAV}$ が 0.1 から 0.5 の範囲において堅牢な汎用性を示した。 $P_{CAV} > 0.1$ の場合、DRL戦略は PS1 および PS2 の両方に対して、安定性判別式を 51.08% 向上させた。浸透率が高まるとプラトーンサイズが指数関数的に増大する固定戦略とは異なり、DRL戦略は平均プラトーン長を約35台に維持した。
撹乱の伝播: 先頭車両の減速撹乱を伴うシナリオにおいて、DRL戦略は速度振動を大幅に抑制した。低CAV浸透率（ $P_{CAV}=0.1$ ）において、従来のプラトーニング（PS1）と比較して、平均衝突時間逆数（TTCI）のピーク値を 52.95% 低減させた。
安全性と効率: 戦略は、PS1と比較して速度標準偏差のピークを最大38.60%減少させた。環境影響に関しては、低CAV浸透率において、DRL戦略はベースラインと比較して、ピーク平均燃料消費量を 1.90%、CO2排出量を1.2%以上、およびNOx排出量を最大 7.1% 削減した。

5. 意義と主張

著者らは、提案されたDRLベースのアプローチが、混合交通環境における交通スループットと安定性の間の対立を効果的に解決すると主張している。プラトーン構造を固定されたルールに従って形成するのではなく、動的に最適化することで、速度撹乱の伝播を抑制し、混合交通流の安全性を高める。

本研究は、従来のハイブリッド戦略（PS2）が無規制な大きなプラトーンを許容することで容量を最大化する一方で、安定性を損なうことを強調している。対照的に、DRL戦略は「非線形平衡」を実現し、ピーク容量をわずかに減少（PS2と比較して約4.6%）させる代わりに、安定性と安全性において大幅な利点を得る。論文は、このアプローチが非連結車両が依然として普及している混合交通の移行期における堅牢なソリューションを提供すると結論付けており、今後の課題として、マルチレーン相互作用、通信障害、および動的なプラトーン分割への対応を挙げている。