💻 computer science

Replicating the behaviour of electric vehicle drivers using an agent-based reinforcement learning model

Este artículo propone un marco de aprendizaje por refuerzo multietapa para simular los comportamientos de carga adaptativos y de racionalidad limitada de los conductores de vehículos eléctricos privados a través de una red vial nacional, validando con éxito el modelo frente a datos del mundo real para identificar desiertos de carga críticos e informar la política sobre la expansión de centros de carga rápida.

Autores originales: Zixin Feng, Qunshan Zhao, Alison Heppenstall

Publicado 2026-02-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zixin Feng, Qunshan Zhao, Alison Heppenstall

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una simulación digital gigante de todo el Reino Unido, llena de miles de conductores virtuales de vehículos eléctricos (VE). Este es el núcleo del trabajo de investigación de Feng, Zhao y Heppenstall. Su objetivo era construir un modelo informático que no solo siguiera reglas rígidas, sino que realmente aprendiera cómo la gente real conduce y carga sus coches, tal como lo hace un humano.

Aquí tienes un desglose de su trabajo utilizando analogías sencillas:

1. El Problema: El "Robot" frente al "Humano"

Los modelos informáticos anteriores para los VE eran como robots siguiendo un manual de instrucciones estricto. Decían: "Si la batería está baja, carga ahora". No podían adaptarse. Si un conductor se acostumbraba a su coche, podía sentirse cómodo conduciendo con una batería más baja, pero los modelos antiguos no entendían eso. También se centraban principalmente en optimizar flotas de taxis o autobuses, no en personas comunes tomando sus propias decisiones independientes.

Los investigadores querían construir un modelo que actúe como un humano que aprende. Querían ver cómo los conductores se adaptan con el tiempo, cometen errores, aprenden de ellos y desarrollan "hábitos" basados en sus propias experiencias.

2. La Solución: El enfoque del "Videojuego"

Para resolver esto, el equipo utilizó una técnica llamada Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Piensa en esto como entrenar a un personaje en un videojuego:

El Jugador: El conductor virtual de un VE.
El Objetivo: Ir del Punto A al Punto B sin quedarse sin batería (fin del juego).
Recompensas/Penalizaciones:
- Bueno: Llegar a un destino, mantener un nivel de batería cómodo y no gastar demasiado dinero o tiempo.
- Malo: Quedarse sin energía (varado), pagar tarifas altas o quedarse atrapado en una larga fila en un cargador.

En lugar de programar a los conductores con reglas específicas, los investigadores dejaron que los conductores virtuales jugaran el "juego" miles de veces. A través del ensayo y error, aprendieron las mejores estrategias para sobrevivir.

3. El método del "Campo de Entrenamiento"

Los investigadores no se limitaron a ejecutar la simulación una sola vez. Utilizaron un proceso de entrenamiento de varias etapas:

Agrupación: Clasificaron miles de datos de viajes del mundo real (de una encuesta nacional) en diferentes "gruesos" o grupos (clusters). Algunos conductores realizan viajes cortos al trabajo; otros realizan viajes largos de ocio; algunos comienzan con baterías llenas, otros con la mitad de la carga.
Entrenamiento: Seleccionaron a algunos "conductores representativos" de cada grupo para entrenarlos en el modelo de RL. Estos conductores aprendieron cómo navegar por la red de carreteras del Reino Unido y decidir cuándo cargar.
Simulación: Una vez que los "aprendices" aprendieron sus lecciones, los investigadores utilizaron esos comportamientos aprendidos para simular a toda la población de conductores.
Verificación de la realidad: Compararon el comportamiento de los conductores virtuales con datos del mundo real de estaciones de carga reales (como ChargePoint). Buscaron el "episodio de entrenamiento" específico donde los conductores virtuales actuaron más como humanos reales.

Descubrimiento clave: Encontraron que la estrategia "perfecta" no era la respuesta. Los humanos reales no son perfectos; tienen una "racionalidad limitada" (toman decisiones lo suficientemente buenas basadas en información limitada). El modelo que mejor coincidía con la realidad era uno donde los conductores aún estaban aprendiendo y adaptándose, no uno donde ya se habían convertido en robots perfectos.

4. Encontrando los "Desiertos de Carga"

Una vez validado el modelo, los investigadores lo utilizaron para observar el mapa de Gran Bretaña. Buscaban "Desiertos de Carga".

Imagina un mapa donde:

Zonas Rojas: Los conductores están constantemente con la batería baja (bajo Estado de Carga).
Zonas Azules: Hay muy pocas estaciones de carga cerca.

Donde el Rojo y el Azul se superponen, tienes un Desierto de Carga. Estos son lugares donde es probable que los conductores se queden varados porque tienen poca energía y no hay estaciones cerca para ayudarlos.

Lo que encontraron:

Estos desiertos no están solo en medio de la nada. A menudo se encuentran en los bordes de las grandes ciudades (como el exterior de Londres) y a lo largo de las principales autopistas (como los corredores de las M4 y M1).
Aunque algunas carreteras tienen niveles bajos de batería, si hay muchos cargadores cerca, no es un "desierto". Los verdaderos puntos de peligro son donde la batería baja se encuentra con la falta de infraestructura.

5. Por qué esto es importante (según el artículo)

El artículo concluye que, para solucionar estos "desiertos", no debemos simplemente poner cargadores en todas partes de forma aleatoria. Necesitamos enfocarnos en centros de carga rápida a lo largo de las autopistas y en los límites de las ciudades. Esto respalda los cambios recientes en la política gubernamental para construir cargadores rápidos en estas áreas de alto riesgo específicas para ayudar a las personas en viajes de larga distancia.

En pocas palabras: Los investigadores construyeron una simulación informática "inteligente" que aprende como un conductor humano. Al probarla contra datos reales, encontraron los puntos específicos en el Reino Unido donde es más probable que los conductores eléctricos se queden sin gasolina (batería) y se queden atrapados, ayudando a los planificadores a saber exactamente dónde construir las próximas estaciones de carga.

Resumen Técnico: Replicación del Comportamiento de Conductores de Vehículos Eléctricos Mediante un Modelo de Aprendizaje por Refuerzo Basado en Agentes

Declaración del Problema
La rápida expansión de la adopción de vehículos eléctricos (VE), particularmente entre el mercado masivo que carece de acceso a la carga privada en el hogar, ha creado una necesidad crítica de estimaciones precisas de la demanda de carga pública. Los enfoques anteriores enfrentan limitaciones significativas: los métodos basados en datos suelen depender de indicadores indirectos sesgados (por ejemplo, GPS de vehículos convencionales o flotas comerciales) debido a preocupaciones de privacidad con respecto a los datos privados de los VE, mientras que los modelos basados en agentes (ABM) tradicionales de simulación suelen depender de reglas de comportamiento estáticas. Estas reglas estáticas no logran capturar la naturaleza adaptativa de los conductores humanos, quienes aprenden de la experiencia y ajustan sus hábitos de carga con el tiempo. Además, las aplicaciones de Aprendizaje por Refuerzo (RL) existentes en el transporte se han centrado predominantemente en optimizar las operaciones de flotas o en asumir una racionalidad perfecta e intercambio de información, lo cual no refleja la realidad de los conductores privados de VE que operan bajo una racionalidad limitada y comunicación restringida. Existe una falta de marcos robustos y validados que simulen la toma de decisiones adaptativa y heterogénea de los conductores privados a escala nacional.

Metodología
Los autores proponen un marco de Aprendizaje por Refuerzo (RL) basado en agentes de múltiples etapas utilizando una Red Q Profunda (DQN) para simular el comportamiento de los conductores de VE privados en Gran Bretaña (GB).

Datos y Entorno: El estudio utiliza la Encuesta Nacional de Viajes (NTS) para los programas de viajes (origen, destino, propósito, distancia) y datos de Ordnance Survey para las redes de carreteras. Los atributos de los VE (tamaño de la batería, consumo) se obtienen de la Base de Datos de VE. El entorno de simulación integra 59,125 cargadores públicos (a fecha de abril de 2024) con el estado de disponibilidad en tiempo real extraído de ChargePoint.
Agrupación de Agentes (Clustering): Los conductores se agrupan según la distancia del viaje, el Estado de Carga (SOC) inicial, la Densidad de Coocurrencia de Viajes (TCD) y la Densidad de Cargadores (CD). Cada grupo se subdivide además por el propósito del viaje (trabajo frente a ocio).
Marco de Simulación-Entrenamiento de Varias Etapas:
1. Entrenamiento: Se entrenan agentes representativos de cada grupo utilizando DQN. Los agentes observan un vector de estado $S_t$ que comprende el SOC, la distancia al destino, la hora del día, los viajes restantes y el porcentaje de estaciones disponibles dentro del alcance.
2. Espacio de Acción: Los agentes eligen entre desplazarse sin cargar o desviarse a una estación accesible para cargar un porcentaje específico ( $n\%$ ).
3. Función de Recompensa: La recompensa ( $R_t$ ) es un compuesto de cuatro factores: el impacto del umbral de SOC (confort psicológico), la urgencia de carga (tiempo y oportunidad), el impacto del costo (penalizaciones financieras y de tiempo) y el estado de finalización del viaje (penalización por quedarse sin carga).
4. Bucle de Simulación: Las políticas entrenadas guían a una población mayor de agentes en un entorno compartido donde la disponibilidad de los cargadores es dinámica. Los agentes interactúan actualizando el estado del cargador (disponible/en uso) y potencialmente formando colas, aunque las longitudes de las colas no son explícitamente visibles para los agentes, lo que les obliga a estimar los tiempos de espera basándose en la experiencia.
5. Estrategia de Validación: A diferencia de los estudios estándar de RL que buscan el episodio con el rendimiento óptimo, este modelo se valida contra 21 días de datos reales de sesiones de carga. Los autores identifican el episodio de entrenamiento específico donde los patrones de carga espaciales y temporales simulados exhiben la mayor correlación con la realidad observada. Este episodio de "mejor concordancia" representa una mezcla a nivel de población de los niveles de experiencia de los conductores, en lugar de un resultado uniformemente óptimo.

Resultos Clave

Validez del Modelo: El modelo identificó con éxito una etapa de entrenamiento (específicamente el episodio 703) que se alineó estrechamente con los patrones de carga espaciales y temporales del mundo real, logrando correlaciones espaciales de 0.74–0.75 y correlaciones temporales de 0.65–0.70. Este desempeño superó los enfoques previos de ABM estáticos.
Comportamientos Emergentes: La simulación capturó comportamientos intuitivos de los conductores: los conductores de ocio demostraron patrones de carga más flexibles en comparación con los de trayectos diarios (commuters), y los viajes interurbanos de larga distancia generaron una mayor demanda de carga en ruta. Los agentes aprendieron a equilibrar la ansiedad por la autonomía con los costos de las desviaciones y la espera.
Desiertos de Carga: Al analizar la distribución media del SOC a lo largo de las redes de carreteras y cruzarla con la disponibilidad de cargadores, el estudio identificó "desiertos de carga": ubicaciones con bajo SOC y limitada infraestructura. Estas áreas de alto riesgo se encontraron principalmente en el Outer London, el corredor este de la M4, Greater Manchester y el sur de Newcastle.
Perspectivas de Infraestructura: El análisis reveló que, si bien algunos corredores de autopistas (ej. M4, M1) muestran frecuentemente un SOC bajo, poseen suficiente densidad de cargadores para mitigar los riesgos reales de agotamiento. Por el contrario, los "desiertos" identificados resaltan las brechas donde la expansión de la infraestructura es más crítica.

Significancia y Contribuciones
El artículo afirma realizar tres contribuciones primarias:

Innovación Metodológica: Introduce un marco novedoso que utiliza el RL no para derivar estrategias óptimas para agentes racionales, sino para replicar el proceso de aprendizaje adaptativo de conductores privados que operan bajo una racionalidad limitada. Cierra la brecha entre la simulación estática y las limitaciones de los datos mediante la validación contra datos empíricos.
Escalabilidad y Validación: El estudio demuestra un enfoque escalable para simular poblaciones de conductores heterogéneas a través de una red de carreteras a escala nacional, superando los desafíos computacionales asociados frecuentemente con el RL a gran escala. La validación contra datos de sesiones del mundo real proporciona un nivel de credibilidad que suele faltar en los estudios de simulación.
Relevancia para las Políticas: Los hallazgos apoyan los cambios recientes de política hacia la expansión de centros de carga rápida a lo largo de los corredores de autopistas y los límites de las ciudades. Al identificar ubicaciones específicas de alto riesgo donde el bajo SOC coincide con la escasez de infraestructura, el modelo ofrece una herramienta validada para informar la planificación del despliegue de cargadores públicos de manera equitativa y efectiva.

Los autores reconocen las limitaciones, incluyendo la dependencia de los datos de encuestas de viajes que asumen que los patrones de viaje actuales persistirán tras la adopción de los VE, la exclusión del acceso a cargadores en el hogar/lugar de trabajo en los cálculos iniciales de SOC, y el límite computacional actual de simular 1,000 agentes simultáneamente. Sin embargo, el marco proporciona una base sólida para la investigación futura sobre el comportamiento adaptativo de los conductores de VE y la planificación de infraestructuras.