💻 computer science

Replicating the behaviour of electric vehicle drivers using an agent-based reinforcement learning model

Cet article propose un cadre d'apprentissage par renforcement à plusieurs étapes pour simuler les comportements de recharge adaptatifs et de rationalité limitée des conducteurs de véhicules électriques privés à travers un réseau routier national, validant avec succès le modèle par rapport à des données réelles afin d'identifier les déserts de recharge critiques et d'éclairer les politiques sur l'expansion des hubs de recharge rapide.

Auteurs originaux : Zixin Feng, Qunshan Zhao, Alison Heppenstall

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zixin Feng, Qunshan Zhao, Alison Heppenstall

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une simulation numérique géante de l'ensemble du Royaume-Uni, peuplée de milliers de conducteurs virtuels de véhicules électriques (VE). C'est le cœur de l'article de recherche de Feng, Zhao et Heppenstall. Leur objectif était de construire un modèle informatique qui ne se contente pas de suivre des règles rigides, mais qui apprend réellement comment les vraies personnes conduisent et rechargent leurs voitures, tout comme un être humain le ferait.

Voici une décomposition de leur travail utilisant des analogies simples :

1. Le Problème : Le « Robot » contre l'« Humain »

Les modèles informatiques précédents pour les VE étaient comme des robots suivant un manuel d'instructions strict. Ils disaient : « Si la batterie est faible, recharge maintenant ». Ils ne pouvaient pas s'adapter. Si un conducteur s'habituait à sa voiture, il pouvait se sentir à l'aise en roulant avec une batterie plus faible, mais les anciens modèles ne comprenaient pas cela. Ils se concentraient également principalement sur l'optimisation des flottes de taxis ou de bus, et non sur les personnes ordinaires prenant leurs propres décisions indépendantes.

Les chercheurs voulaient construire un modèle qui agit comme un apprenant humain. Ils voulaient voir comment les conducteurs s'adaptent au fil du temps, font des erreurs, apprennent de celles-ci et développent des « habitudes » basées sur leurs propres expériences.

2. La Solution : L'approche par « Jeu Vidéo »

Pour résoudre cela, l'équipe a utilisé une technique appelée Apprentissage par Renforcement (Reinforcement Learning - RL). Voyez cela comme l'entraînement d'un personnage dans un jeu vidéo :

Le Joueur : Le conducteur de VE virtuel.
L'Objectif : Aller du point A au point B sans tomber en panne de batterie (fin de partie).
Les Récompenses/Pénalités :
- Bien : Atteindre une destination, maintenir un niveau de batterie confortable, et ne pas dépenser trop d'argent ou de temps.
- Mauvais : Tomber en panne de courant (être coincé), payer des frais élevés, ou se retrouver coincé dans une longue file d'attente à une borne de recharge.

Au lieu de programmer les conducteurs avec des règles spécifiques, les chercheurs ont laissé les conducteurs virtuels jouer au « jeu » des milliers de fois. Par essais et erreurs, ils ont appris les meilleures stratégies pour survivre.

3. La Méthode du « Camp d'Entraînement »

Les chercheurs n'ont pas simplement lancé la simulation une seule fois. Ils ont utilisé un processus d'entraînement à plusieurs étapes :

Groupement : Ils ont trié des milliers de données de trajets réels (provenant d'une enquête nationale) en différents « paquets » ou grappes (clusters). Certains conducteurs font des trajets courts pour aller au travail ; d'autres font de longs trajets de loisirs ; certains partent avec des batteries pleines, d'autres avec des batteries à moitié pleines.
Entraînement : Ils ont choisi quelques « conducteurs représentatifs » de chaque groupe pour les entraîner dans le modèle de RL. Ces conducteurs ont appris à naviguer sur le réseau routier britannique et à décider quand recharger.
Simulation : Une fois que les « stagiaires » ont appris leurs leçons, les chercheurs ont utilisé ces comportements appris pour simuler l'ensemble de la population de conducteurs.
Vérification de la réalité : Ils ont comparé le comportement des conducteurs virtuels à des données réelles provenant de véritables stations de recharge (comme ChargePoint). Ils ont cherché l'« épisode d'entraînement » spécifique où les conducteurs virtuels agissaient le plus comme des humains réels.

Découverte clé : Ils ont découvert que la stratégie « parfaite » n'était pas la réponse. Les humains réels ne sont pas parfaits ; ils ont une « rationalité limitée » (ils prennent des décisions suffisamment bonnes basées sur des informations limitées). Le modèle qui correspondait le mieux à la réalité était celui où les conducteurs étaient encore en train d'apprendre et de s'adapter, et non celui où ils étaient déjà devenus des robots parfaits.

4. Trouver les « Déserts de Recharge »

Une fois le modèle validé, les chercheurs l'ont utilisé pour examiner la carte de la Grande-Bretagne. Ils cherchaient des « Déserts de Recharge ».

Imaginez une carte où :

Zones Rouges : Les conducteurs sont constamment en manque de batterie (faible état de charge).
Zones Bleues : Il y a très peu de stations de recharge à proximité.

Là où le Rouge et le Bleu se superposent, vous avez un Désert de Recharge. Ce sont des endroits où les conducteurs sont susceptibles de se retrouver bloqués parce qu'ils manquent d'énergie et qu'il n'y a aucune station à proximité pour les aider.

Ce qu'ils ont trouvé :

Ces déserts ne se trouvent pas seulement au milieu de nulle part. Ils se situent souvent aux abords des grandes villes (comme la périphérie de Londres) et le long des autoroutes majeures (comme les corridors M4 et M1).
Même si certaines routes présentent des niveaux de batterie faibles, s'il y a beaucoup de chargeurs à proximité, ce n'est pas un « désert ». Les véritables zones de danger sont les endroits où le faible niveau de batterie rencontre le manque d'infrastructure.

5. Pourquoi cela compte (selon l'article)

L'article conclut que pour corriger ces « déserts », nous ne devrions pas simplement installer des chargeurs partout de manière aléatoire. Nous devons nous concentrer sur les hubs de recharge rapide le long des autoroutes et aux limites des villes. Cela soutient les récents changements de politique gouvernementale visant à construire des chargeurs rapides dans ces zones à haut risque spécifiques pour aider les personnes effectuant des trajets de longue distance.

En résumé : Les chercheurs ont construit une simulation informatique « intelligente » qui apprend comme un conducteur humain. En testant ce modèle par rapport à des données réelles, ils ont identifié les endroits spécifiques du Royaume-Uni où les conducteurs électriques sont les plus susceptibles de tomber en panne de « carburant » (batterie) et de rester coincés, aidant ainsi les planificateurs à savoir exactement où construire les prochaines stations de recharge.

Résumé technique : Réplication du comportement des conducteurs de véhicules électriques à l'aide d'un modèle d'apprentissage par renforcement basé sur des agents

Énoncé du problème
L'expansion rapide de l'adoption des véhicules électriques (VE), particulièrement auprès du marché de masse n'ayant pas accès à la recharge privée à domicile, a créé un besoin critique d'estimation précise de la demande de recharge publique. Les approches précédentes font face à des limitations significatives : les méthodes fondées sur les données reposent souvent sur des indicateurs biaisés (par exemple, le GPS des véhicules conventionnels ou des flottes commerciales) en raison des préoccupations liées à la confidentialité des données privées des VE. Parallèlement, les modèles basés sur des agents (ABM) traditionnels, fondés sur la simulation, reposent généralement sur des règles comportementales statiques. Ces règles statiques ne parviennent pas à capturer la nature adaptative des conducteurs humains, qui apprennent de l'expérience et ajustent leurs habitudes de recharge au fil du temps. De plus, les applications existantes de l'apprentissage par renforcement (RL) dans les transports se sont principalement concentrées sur l'optimisation des opérations de flotte ou ont supposé une rationalité parfaite et un partage d'informations, ce qui ne reflète pas la réalité des conducteurs privés de VE opérant sous une rationalité limitée et avec une communication restreinte. Il existe un manque de cadres robustes et validés capables de simuler la prise de décision adaptative et hétérogène des conducteurs privés à l'échelle nationale.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par renforcement (RL) multi-étapes basé sur des agents, utilisant un réseau Q profond (Deep Q-Network - DQN), pour simuler le comportement des conducteurs privés de VE à travers la Grande-Bretagne (GB).

Données et environnement : L'étude utilise l'Enquête Nationale sur les Déplacements (NTS) pour les horaires de trajets (origine, destination, objet, distance) et les données de l'Ordnance Survey pour les réseaux routiers. Les attributs des VE (taille de la batterie, consommation) proviennent de la base de données EV Database. L'environnement de simulation intègre 59 125 chargeurs publics (au titre d'avril 2024) avec un statut de disponibilité en temps réel extrait de ChargePoint.
Regroupement des agents (Clustering) : Les conducteurs sont regroupés en fonction de la distance du trajet, de l'état de charge (SOC) initial, de la densité de cooccurrence des trajets (TCD) et de la densité des chargeurs (CD). Chaque groupe est ensuite subdivisé par objet de trajet (travail vs loisirs).
Cadre de simulation d'entraînement multi-étapes :
1. Entraînement : Des agents représentatifs de chaque groupe sont entraînés via un DQN. Les agents observent un vecteur d'état $S_t$ comprenant le SOC, la distance jusqu'à la destination, l'heure de la journée, les trajets restants et le pourcentage de stations disponibles dans le rayon d'action.
2. Espace d'action : Les agents choisissent entre se déplacer sans recharger ou dévier vers une station accessible pour recharger un pourcentage spécifique ( $n\%$ ).
3. Fonction de récompense : La récompense ( $R_t$ ) est un composite de quatre facteurs : l'impact du seuil de SOC (confort psychologique), l'urgence de la recharge (temps et opportunité), l'impact du coût (pénalités financières et temporelles) et le statut d'achèvement du trajet (pénalité en cas de panne de charge).
4. Boucle de simulation : Des politiques entraînées guident une population plus large d'agents dans un environnement partagé où la disponibilité des chargeurs est dynamique. Les agents interagissent en mettant à jour le statut du chargeur (disponible/en cours d'utilisation) et peuvent potentiellement former des files d'attente, bien que la longueur des files ne soit pas explicitement visible pour les agents, les forçant à estimer les temps d'attente sur la base de leur expérience.
5. Stratégie de validation : Contrairement aux études de RL standard qui recherchent l'épisode présentant la performance optimale, ce modèle se valide par rapport à 21 jours de données réelles de sessions de recharge. Les auteurs identifient l'épisode d'entraînement spécifique où les modèles spatiaux et temporels de recharge simulés présentent la corrélation la plus élevée avec la réalité observée. Cet épisode « de meilleur ajustement » représente un mélange de niveaux d'expérience des conducteurs à l'échelle de la population plutôt qu'un résultat uniformément optimal.

Résultats clés

Validité du modèle : Le modèle a réussi à identifier une étape d'entraînement (plus précisément le 703ème épisode) qui s'aligne étroitement avec les modèles de recharge spatiaux et temporels réels, atteignant des corrélations spatiales de 0,74–0,75 et des corrélations temporelles de 0,65–0,70. Cette performance a dépassé les approches ABM statiques précédentes.
Comportements émergents : La simulation a capturé des comportements de conduite intuitifs : les conducteurs de loisirs ont montré des modèles de recharge plus flexibles que les navetteurs, et les trajets interurbains de longue distance ont généré une demande de recharge en cours de route plus élevée. Les agents ont appris à équilibrer l'anxiété d'autonomie avec les coûts des détours et de l'attente.
Déserts de recharge : En analysant la distribution moyenne du SOC le long des réseaux routiers et en croisant ces données avec la disponibilité des chargeurs, l'étude a identifié des « déserts de recharge » : des zones présentant à la fois un faible SOC et une infrastructure limitée. Ces zones à haut risque se situent principalement dans le Grand Londres extérieur, le corridor de l'est de la M4, le Grand Manchester et le sud de Newcastle.
Aperçus sur l'infrastructure : L'analyse a révélé que, bien que certains corridors autoroutiers (ex. M4, M1) présentent fréquemment un faible SOC, ils possèdent une densité de chargeurs suffisante pour atténuer les risques réels d'épuisement de la batterie. Inversement, les « déserts » identifiés soulignent les lacunes où l'expansion des infrastructures est la plus critique.

Signification et contributions
L'article revendique trois contributions principales :

Innovation méthodologique : Il introduit un nouveau cadre qui utilise le RL non pas pour dériver des stratégies optimales pour des agents rationnels, mais pour répliquer le processus d'apprentissage adaptatif de conducteurs privés opérant sous une rationalité limitée. Il comble le fossé entre la simulation statique et les limites des données en se validant par rapport à des données empiriques.
Évolutivité et validation : L'étude démontre une approche évolutive pour simuler des populations de conducteurs hétérogènes sur un réseau routier à l'échelle nationale, surmontant les défis computationnels souvent associés au RL à grande échelle. La validation par rapport aux données de sessions réelles offre un niveau de crédibilité souvent absent des études de simulation.
Pertinence politique : Les conclusions soutiennent les récents changements de politique visant à étendre les hubs de recharge rapide le long des corridors autoroutiers et des limites de villes. En identifiant les zones spécifiques à haut risque où le faible SOC coïncide avec la rareté des infrastructures, le modèle offre un outil validé pour éclairer la planification du déploiement équitable et efficace des chargeurs publics.

Les auteurs reconnaissent des limites, notamment le recours à des données d'enquêtes de voyage qui supposent que les schémas de déplacement actuels persisteront après l'adoption des VE, l'exclusion de l'accès aux chargeurs au domicile ou au travail dans les calculs initiaux du SOC, et la limite de calcul actuelle consistant à simuler 1 000 agents simultanément. Cependant, le cadre constitue une base robuste pour de futures recherches sur le comportement adaptatif des conducteurs de VE et la planification des infrastructures.