⚡ electrical engineering

Platooning Connected, Autonomous, and Human-Driven Vehicles: A Deep Reinforcement Learning-based Approach

Cet article propose une stratégie de contrôle de peloton hybride basée sur l'apprentissage par renforcement profond qui intègre dynamiquement des véhicules non connectés dans un trafic mixte afin d'accroître la flexibilité tout en supprimant la propagation des perturbations et en optimisant le compromis entre le débit de trafic et la stabilité.

Auteurs originaux : Zhen Qina, Dong-Fan Xie, Heng Ma, Xiaomei Zhao, Zhengbing He

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhen Qina, Dong-Fan Xie, Heng Ma, Xiaomei Zhao, Zhengbing He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une autoroute comme un long fleuve de voitures. Depuis longtemps, les scientifiques tentent de rendre le flux de ce fleuve plus fluide en apprenant aux voitures « intelligentes » (celles dotées d'ordinateurs et de connexions internet) à rouler en groupes serrés et synchronisés appelés pelotons. Imaginez un peloton comme un train de voitures se déplaçant ensemble avec très peu d'espace entre elles, ce qui permet d'économiser du carburant et de faire circuler plus de véhicules sur la même route.

Cependant, il y a un gros problème : actuellement, la plupart des voitures sur la route ne sont pas encore « intelligentes » ; ce sont des voitures classiques conduites par des humains ou d'anciennes voitures autonomes qui ne peuvent pas communiquer entre elles. Les stratégies traditionnelles de pelotonnage ignorent ces voitures « stupides », ce qui ne reflète pas la réalité.

Cet article propose une nouvelle façon plus flexible de gérer le trafic : laisser les voitures « stupides » rejoindre le train « intelligent », mais avec un gestionnaire intelligent.

Voici comment les chercheurs ont résolu l'énigme, expliquée simplement :

1. Le Problème : Le piège du « Train trop long »

Les chercheurs ont réalisé que si vous laissez n'importe quelle voiture rejoindre un peloton dès qu'elle le souhaite, les trains deviennent trop longs.

L'analogie : Imaginez une file de personnes se tenant par la main. Si vous laissez tout le monde rejoindre la file instantanément sans vérification, la file devient un serpent géant et chancelant. Si la personne tout devant trébuche, la personne tout au bout est violemment secouée. Dans le trafic, cela signifie qu'un petit coup de frein de la voiture de tête provoque une énorme « onde de choc » de freinage tout au long de la file, entraînant des embouteillages et des accidents.

2. La Solution : Le coach de « l'Apprentissage par Renforcement Profond »

Pour corriger cela, les auteurs ont créé un « Coach » numérique utilisant un type d'Intelligence Artificielle appelé Apprentissage par Renforcement Profond (Deep Reinforcement Learning - DRL).

Comment ça marche : Imaginez un coach regardant un match de football. Le coach ne se contente pas de dire aux joueurs de « courir vite ». Au lieu de cela, le coach observe tout le terrain, voit où se trouvent les joueurs, et décide : « D'accord, formons un petit groupe ici, mais séparez ce groupe là-bas pour maintenir la stabilité. »
La Magie : Cet entraîneur IA apprend par essais et erreurs. Il teste différentes façons de grouper les voitures (certains groupes de 3, d'autres de 5, mélangeant des voitures intelligentes et stupides). Il reçoit une « récompense » lorsque le trafic est fluide et que le carburant est économisé, et une « pénalité » lorsque le trafic devient saccadé ou dangereux. À travers des millions de sessions d'entraînement (simulations), il apprend l'équilibre parfait.

3. Les Règles du Nouveau Jeu

L'article établit un ensemble spécifique de règles pour ce nouveau « Peloton Hybride » :

Le Pont « Intelligent » : Une voiture ordinaire (conduite par un humain ou non connectée) peut rejoindre le peloton, mais seulement si elle est prise en sandwich entre deux voitures « intelligentes » (Véhicules Autonomes Connectés). Les voitures intelligentes agissent comme des traducteurs, détectant la vitesse de la voiture ordinaire et transmettant cette information au reste du groupe.
Pas de leaders solitaires : Une voiture ordinaire ne peut pas être la toute première ou la toute dernière voiture du peloton, car elle ne peut pas communiquer avec le groupe pour dire : « Je dirige ! » ou « Je suis la queue ! ».
La Limite : On ne peut pas avoir une longue chaîne de voitures ordinaires au milieu. S'il y a trop de voitures ordinaires à la suite sans une voiture intelligente pour « faire le pont », le peloton se brise. Cela permet d'éviter le problème du « serpent géant et chancelant ».

4. Qu'est-ce qui s'est passé dans les simulations ?

Les chercheurs ont lancé des milliers de simulations informatiques pour voir si leur « Coach » fonctionnait. Voici ce qu'ils ont découvert :

Stabilité : Les pelotons contrôlés par l'IA étaient beaucoup plus stables. Lorsque la voiture de tête freinait, l'onde de choc n'était pas amplifiée autant. Le trafic coulait comme un fleuve calme plutôt que comme une mer agitée.
Sécurité : Le risque de collisions (mesuré par la proximité des voitures avant de se percuter) a considérablement chuté, surtout lorsqu'il y avait peu de voitures intelligentes sur la route.
Efficacité : Bien que l'IA choisisse parfois de former des groupes légèrement plus petits pour rester en sécurité, elle a tout de même réussi à déplacer beaucoup de voitures. Elle a trouvé un « point d'équilibre » où la route était à la fois sûre et efficace.
Air plus propre : Comme les voitures ne freinaient pas et n'accéléraient pas de manière sauvage, elles brûlaient moins de carburant et émettaient moins de pollution (comme le CO2 et les NOx).

L'essentiel

Ce document ne se contente pas de dire « mettons des voitures intelligentes en groupes ». Il dit : « Mélangeons des voitures intelligentes et des voitures ordinaires, mais utilisons un coach IA super intelligent pour décider exactement comment ces groupes doivent être formés et qui peut les rejoindre, afin de ne pas créer le chaos dans le trafic. »

Le résultat est un système de transport plus sûr, plus stable et plus propre, même avant que chaque voiture sur la route ne devienne entièrement autonome. L'IA agit comme le chef d'orchestre d'un trafic symphonique, s'assurant que même si certains instruments (voitures) sont un peu désaccordés, l'ensemble de la symphonie joue de manière fluide.

Résumé Technique : Pelotonnage de Véhicules Connectés, Autonomes et Humains via l'Apprentissage par Renforcement Profond

1. Énoncé du Problème

Les stratégies existantes de pelotonnage de véhicules sont principalement conçues pour des environnements homogènes composés uniquement de véhicules autonomes connectés (CAV) ou de véhicules conduits par l'homme connectés (CHV). Ces approches excluent généralement les véhicules non connectés, tels que les véhicules autonomes (AV) ou les véhicules conduits par l'homme (HV), ne reflétant ainsi pas fidèlement les conditions de trafic mixtes actuelles et futures proches.

Bien que des stratégies « hybrides » récentes tentent d'incorporer des véhicules non connectés dans les pelotons en utilisant les CAV comme relais d'information, elles souffrent souvent d'une limitation critique : l'intégration non régulée des HV/AV peut déclencher une expansion rapide des pelotons. Cette croissance incontrôlée amplifie le risque de propagation des perturbations au sein du flux de trafic, exacerbant le conflit inhérent entre la maximisation du débit de trafic et le maintien de la stabilité du flux. De plus, les contraintes conventionnelles sur la longueur maximale des pelotons, conçues pour des flottes homogènes, sont insuffisantes pour ces scénarios hétérogènes émergents. Le défi central est de développer une stratégie de contrôle permettant l'inclusion flexible de véhicules non connectés tout en équilibrant dynamiquement la capacité de trafic avec la stabilité et la sécurité du flux.

2. Méthodologie

L'étude propose une stratégie de contrôle de pelotonnage hybride basée sur l'apprentissage par renforcement profond (DRL), conçue pour opérer dans un cadre de processus de décision markovien partiellement observable (POMDP).

2.1. Modèle de Pelotonnage Hybride

Les auteurs introduisent un « modèle de pelotonnage hybride » (Schéma PS2) qui autorise conditionnellement les véhicules non connectés (HV/AV) à rejoindre les pelotons.

Mécanisme : Les CAV utilisent la perception multi-capteurs embarquée (LiDAR, radar, caméras) pour détecter l'état des véhicules non connectés adjacents. Cette information est ensuite diffusée via la communication Véhicule-à-Tout (V2X) aux autres membres connectés, rendant les états des véhicules non connectés observables au sein du peloton.
Contraintes : Pour garantir l'intégrité du peloton, les HV/AV sont interdits d'agir comme leaders ou véhicules de queue de peloton. Un peloton ne peut se former que si l'état de chaque véhicule est observable par les membres connectés. Cela limite le nombre maximal de véhicules non connectés consécutifs au sein d'un peloton à deux (ex: CAV–HV–HV–CAV).
Comparaison : Ceci est contrasté avec le Schéma PS1, où seuls les CHV/CAV forment des pelotons et les véhicules non connectés sont exclus.

2.2. Cadre DRL

La stratégie de contrôle utilise une architecture d'Entraînement Centralisé avec Exécution Décentralisée (CTDE) utilisant l'algorithme Proximal Policy Optimization (PPO).

Espace d'États : La représentation de l'état intègre des données multimodales, incluant la dynamique du véhicule propre (type, position dans le peloton, intervalle temporel) et les états de l'environnement ambiant (types et positions des deux véhicules immédiatement précédents et suivants). Cette conception capture la topologie locale sans succomber à la malédiction de la dimensionnalité.
Espace d'Actions : Les actions discrètes incluent rejoindre un peloton, quitter un peloton ou maintenir une conduite indépendante.
Fonction de Récompense : Une fonction de récompense multi-objectif est formulée pour équilibrer trois composantes :
1. Efficacité du Trafic ( $r_{capacity}$ ) : Basée sur le pourcentage d'augmentation de la capacité de voie par rapport à une ligne de base.
2. Stabilité du Trafic ( $r_{stability}$ ) : Basée sur l'amélioration d'un discriminant de stabilité du flux de trafic hybride ( $G_h$ ), dérivé des dérivées du modèle de suivi de voiture.
3. Pénalité ( $r_{penalty}$ ) : Une pénalité de contrainte appliquée si la capacité de la voie chute significativement en dessous de la ligne de base, empêchant l'agent de sacrifier l'efficacité au profit d'une stabilité excessive.
Entraînement : Le réseau de politique apprend à ajuster dynamiquement les structures de pelotons (taille et distribution) pour optimiser le compromis entre capacité et stabilité.

3. Contributions Clés

Modèle de Pelotonnage Hybride : L'article définit un mécanisme réalisable pour intégrer des véhicules non connectés dans les pelotons via la propagation de l'information médiée par les CAV, répondant aux limites d'évolutivité des flottes strictement connectées.
Stratégie de Contrôle Basée sur le DRL : Il développe une nouvelle stratégie DRL qui va au-delà des règles de formation fixes. Au lieu de supposer une composition de peloton statique, la stratégie apprend à optimiser dynamiquement les structures de pelotons en temps réel pour gérer le compromis entre débit et stabilité.
Représentation d'État Multi-Niveaux : L'étude intègre la dynamique des véhicules, la topologie du peloton et les états du flux de trafic dans une représentation d'état unifiée, permettant aux agents de prendre des décisions décentralisées basées sur des observations locales tout en considérant les objectifs de stabilité globale.
Évaluation Complète : L'approche est rigoureusement évaluée par rapport au pelotonnage connecté traditionnel (PS1) et au pelotonnage hybride non régulé (PS2) selon quatre dimensions : capacité de généralisation, stabilité du flux de trafic, sécurité et impact environnemental.

4. Résultats Expérimentaux

Des simulations numériques ont été menées sur une voie simple avec 1 000 véhicules sous différents taux de pénétration de CAV ( $P_{CAV}$ ).

Performance de l'Entraînement : La stratégie DRL a convergé avec succès, atteignant une amélioration de 27,9 % du discriminant de stabilité du trafic ( $G_h$ ) par rapport à la stratégie hybride de base (PS2). Elle y est parvenue en réduisant la longueur maximale des pelotons de 28,3 % (à environ 24 véhicules) et en augmentant le nombre total de pelotons de 19,3 %, distribuant ainsi efficacement la densité de trafic.
Généralisation : La stratégie a démontré une robustesse de généralisation à travers des valeurs de $P_{CAV}$ allant de 0,1 à 0,5. Lorsque $P_{CAV} > 0,1$ , la stratégie DRL a amélioré le discriminant de stabilité de 51,08 % par rapport à PS1 et PS2. Contrairement aux stratégies fixes, qui souffrent d'une croissance exponentielle de la taille des pelotons à des taux de pénétration élevés, la stratégie DRL maintient les longueurs moyennes de pelotons à environ 35 véhicules.
Propagation des Perturbations : Dans des scénarios impliquant une perturbation de décélération du véhicule de tête, la stratégie DRL a considérablement supprimé les oscillations de vitesse. Elle a réduit le pic de l'inverse du temps de collision moyen (TTCI) de 52,95 % par rapport au pelotonnage conventionnel (PS1) sous faible pénétration de CAV ( $P_{CAV}=0,1$ ).
Sécurité et Efficacité : La stratégie a réduit l'écart-type de pointe de la vitesse jusqu'à 38,60 % par rapport à PS1. En termes d'impact environnemental, sous faible pénétration de CAV, la stratégie DRL a réduit la consommation de carburant de pointe de 1,90 %, les émissions de CO2 de plus de 1,2 % et les émissions de NOx jusqu'à 7,1 % par rapport aux stratégies conventionnelles.

5. Signification et Revendications

Les auteurs affirment que l'approche proposée basée sur le DRL résout efficacement le conflit entre le débit de trafic et la stabilité dans les environnements de trafic mixte. En optimisant dynamiquement les structures de pelotons plutôt qu'en adhérant à des règles de formation rigides, la stratégie supprime la propagation des perturbations de vitesse et améliore la sécurité des flux de trafic mixtes.

L'étude souligne que si les stratégies hybrides traditionnelles (PS2) maximisent la capacité en permettant de grands pelotons non régulés, elles compromettent la stabilité. Inversement, la stratégie DRL atteint un « équilibre non linéaire », acceptant une réduction marginale de la capacité de pointe (environ 4,6 % par rapport à PS2 lors de l'entraînement) pour obtenir des gains substantiels en stabilité et en sécurité. L'article conclut que cette approche offre une solution robuste pour la période de transition du trafic mixte, où les véhicules non connectés restent prévalents, et suggère que les travaux futurs devraient aborder les interactions multi-voies, les défaillances de communication et la division dynamique des pelotons.