💻 computer science

Replicating the behaviour of electric vehicle drivers using an agent-based reinforcement learning model

Este artigo propõe uma estrutura de aprendizado por reforço em múltiplos estágios para simular os comportamentos de carregamento adaptativos e de racionalidade limitada de motoristas de veículos elétricos privados através de uma rede rodoviária nacional, validando com sucesso o modelo contra dados do mundo real para identificar desertos de carregamento críticos e informar políticas sobre a expansão de centros de carregamento rápido.

Autores originais: Zixin Feng, Qunshan Zhao, Alison Heppenstall

Publicado 2026-02-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zixin Feng, Qunshan Zhao, Alison Heppenstall

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma simulação digital gigante de todo o Reino Unido, repleta de milhares de motoristas virtuais de veículos elétricos (VE). Este é o núcleo do artigo de pesquisa de Feng, Zhao e Heppenstall. O objetivo deles era construir um modelo computacional que não apenas siga regras rígidas, mas que realmente aprenda como as pessoas reais dirigem e carregam seus carros, tal como um ser humano faz.

Aqui está uma análise do trabalho deles usando analogias simples:

1. O Problema: O "Robô" vs. O "Humano"

Modelos de computador anteriores para VEs eram como robôs seguindo um manual de instruções estrito. Eles diziam: "Se a bateria estiver baixa, carregue agora". Eles não consegiam se adaptar. Se um motorista se acostumasse com seu carro, ele poderia se sentir confortável dirigindo com uma bateria mais baixa, mas os modelos antigos não entendiam isso. Eles também focavam principalmente na otimização de frotas de táxis ou ônibus, não em pessoas comuns tomando suas próprias decisões independentes.

Os pesquisadores queriam construir um modelo que agisse como um aprendiz humano. Eles queriam ver como os motoristas se adaptam ao longo do tempo, cometem erros, aprendem com eles e desenvolvem "hábitos" baseados em suas próprias experiências.

2. A Solução: A Abordagem do "Videogame"

Para resolver isso, a equipe utilizou uma técnica chamada Aprendizado por Reforço (RL - Reinforcement Learning). Pense nisso como treinar um personagem em um videogame:

O Jogador: O motorista virtual de VE.
O Objetivo: Ir do Ponto A ao Ponto B sem ficar sem bateria (fim de jogo).
Recompensas/Penalidades:
- Bom: Chegar ao destino, manter um nível de bateria confortável e não gastar muito dinheiro ou tempo.
- Ruim: Ficar sem energia (parado na estrada), pagar taxas altas ou ficar preso em uma longa fila em um carregador.

Em vez de programar os motoristas com regras específicas, os pesquisadores deixaram os motoristas virtuais jogar o "jogo" milhares de vezes. Através de tentativa e erro, eles aprenderam as melhores estratégias para sobreviver.

3. O Método do "Campo de Treinamento"

Os pesquisadores não apenas rodaram a simulação uma única vez. Eles utilizaram um processo de treinamento de múltiplos estágios:

Agrupamento: Eles sortearam dados de viagens do mundo real (de um levantamento nacional) em diferentes "aglomerados" ou clusters. Alguns motoristas fazem viagens curtas para o trabalho; outros fazem viagens longas de lazer; alguns começam com baterias cheias, outros com meia carga.
Treinamento: Eles escolheram alguns motoristas "representativos" de cada grupo para treinar no modelo de RL. Esses motoristas aprenderam a navegar pela rede rodoviária do Reino Unido e a decidir quando carregar.
Simulação: Uma vez que os "treinandos" aprenderam suas lições, os pesquisadores usaram esses comportamentos aprendidos para simular toda a população de motoristas.
Teste de Realidade: Eles compararam o comportamento dos motoristas virtuais com dados do mundo real de estações de carregamento reais (como a ChargePoint). Eles procuraram pelo "episódio de treinamento" específico onde os motoristas virtuais agiram mais como humanos reais.

Descoberta Chave: Eles descobriram que a estratégia "perfeita" não era a resposta. Humanos reais não são perfeitos; eles possuem "racionalidade limitada" (tomam decisões boas o suficiente baseadas em informações limitadas). O modelo que melhor coincidiu com a realidade foi um onde os motoristas ainda estavam aprendendo e se adaptando, não um onde já haviam se tornado robôs perfeitos.

4. Encontrando os "Desertos de Carregamento"

Uma vez validado o modelo, os pesquisadores o utilizaram para observar o mapa da Grã-Bretanha. Eles estavam procurando por "Desertos de Carregamento".

Imagine um mapa onde:

Zonas Vermelhas: Motoristas estão constantemente com pouca bateria (Estado de Carga baixo).
Zonas Azuis: Existem pouquíssimas estações de carregamento por perto.

Onde o Vermelho e o Azul se sobrepõem, você tem um Deserto de Carregamento. Estes são lugares onde os motoristas têm maior probabilidade de ficar parados porque estão com pouca energia e não há estações por perto para ajudar.

O que eles encontraram:

Esses desertos não estão apenas no meio do nada. Eles estão frequentemente nas bordas de grandes cidades (como a periferia de Londres) e ao longo de grandes rodovias (como os corredores das autoestradas M4 e M1).
Mesmo que algumas estradas tenham níveis baixos de bateria, se houver muitos carregadores por perto, não é um "deserto". Os pontos de perigo reais são onde a bateria baixa encontra a falta de infraestrutura.

5. Por que isso importa (Segundo o Artigo)

O artigo conclui que, para corrigir esses "desertos", não devemos apenas colocar carregadores em todos os lugares aleatoriamente. Precisamos focar em hubs de carregamento rápido ao longo das autoestradas e nos limites das cidades. Isso apoia as recentes mudanças de política governamental para construir carregadores rápidos nessas áreas de alto risco específicas para ajudar em viagens de longa distância.

Em resumo: Os pesquisadores construíram uma simulação computacional "inteligente" que aprende como um motorista humano. Ao testá-la contra dados reais, eles encontraram os locais específicos no Reino Unido onde os motoristas elétricos têm maior probabilidade de ficar sem combustível (bateria) e ficar presos, ajudando os planejadores a saber exatamente onde construir as próximas estações de carregamento.

Resumo Técnico: Replicando o Comportamento de Condutores de Veículos Elétricos Utilizando um Modelo de Aprendizagem por Reforço Baseado em Agentes

Definição do Problema
A rápida expansão da adoção de veículos elétricos (VE), particularmente no mercado de massa que carece de acesso à recarga privada doméstica, criou uma necessidade crítica de estimativa precisa da procura de recarga pública. As abordagens anteriores enfrentam limitações significativas: os métodos baseados em dados dependem frequentemente de proxies enviesados (por exemplo, GPS de veículos convencionais ou frotas comerciais) devido a preocupações com a privacidade dos dados privados de VE, enquanto os modelos tradicionais de Simulação Baseada em Agentes (ABM) dependem tipicamente de regras comportamentais estáticas. Estas regras estáticas não conseguem capturar a natureza adaptativa dos condutores humanos, que aprendem com a experiência e ajustam os seus hábitos de recarga ao longo do tempo. Além disso, as aplicações de Aprendizagem por Reforço (RL) existentes no transporte têm focado predominantemente na otimização de operações de frotas ou assumido racionalidade perfeita e partilha de informação, o que não reflete a realidade dos condutores privados de VE que operam sob racionalidade limitada e com comunicação restrita. Existe uma carência de estruturas robustas e validadas que simulem a tomada de decisão adaptativa e heterogénea de condutores privados em escala nacional.

Metodologia
Os autores propõem uma estrutura de Aprendizagem por Reforço (RL) de múltiplos estágios baseada em agentes, utilizando uma Deep Q-Network (DQN), para simular o comportamento de condutores privados de VE em toda a Grã-Bretanha (GB).

Dados e Ambiente: O estudo utiliza o National Travel Survey (NTS) para cronogramas de viagens (origem, destino, propósito, distância) e dados do Ordnance Survey para redes rodoviárias. Os atributos dos VE (tamanho da bateria, consumo) são obtidos da EV Database. O ambiente de simulação integra 59.125 carregadores públicos (até abril de 2024) com o estado de disponibilidade em tempo real extraído da ChargePoint.
Agrupamento de Agentes (Clustering): Os condutores são agrupados com base na distância da viagem, Estado de Carga inicial (SOC), Densidade de Coocorrência de Viagens (TCD) e Densidade de Carregadores (CD). Cada grupo é subdividido por propósito de viagem (trabalho vs. lazer).
Estrutura de Simulação de Treino em Múltiplos Estágios:
1. Treino: Agentes representativos de cada grupo são treinados utilizando DQN. Os agentes observam um vetor de estado $S_t$ composto por SOC, distância ao destino, hora do dia, viagens restantes e a percentagem de estações disponíveis no alcance.
2. Espaço de Ação: Os agentes escolhem entre deslocar-se sem recarregar ou desviar a rota para uma estação acessível para recarregar uma percentagem específica ( $n\%$ ).
3. Função de Recompensa: A recompensa ( $R_t$ ) é um composto de quatro fatores: impacto do limiar de SOC (conforto psicológico), urgência de recarga (tempo e oportunidade), impacto de custo (penalizações financeiras e de tempo) e estado de conclusão da viagem (penalização por ficar sem carga).
4. Ciclo de Simulação: Políticas treinadas guiam uma população maior de agentes num ambiente partilhado onde a disponibilidade de carregadores é dinâmica. Os agentes interagem atualizando o estado do carregador (disponível/em uso) e potencialmente formando filas, embora o comprimento das filas não seja explicitamente visível para os agentes, forçando-os a estimar tempos de espera com base na experiência.
5. Estratégia de Validação: Ao contrário dos estudos de RL padrão que procuram o episódio de desempenho ótimo, este modelo valida-se contra 21 dias de dados reais de sessões de recarga. Os autores identificam o episódio de treino específico onde os padrões espaciais e temporais de recarga simulados exibem a maior correlação com a realidade observada. Este "episódio de melhor correspondência" representa uma mistura populacional de níveis de experiência de condução, em vez de um resultado uniformemente ótimo.
Resultados Principais
Validade do Modelo: O modelo identificou com sucesso um estágio de treino (especificamente o 703.º episódio) que se alinhou de perto com os padrões espaciais e temporais de recarga do mundo real, atingindo correlações espaciais de 0,74–0,75 e correlações temporais de 0,65–0,70. Este desempenho excedeu as abordagens ABM estáticas anteriores.
Comportamentos Emergentes: A simulação capturou comportamentos intuitivos de condução: condutores de lazer demonstraram padrões de recarga mais flexíveis em comparação com os trabalhadores, e viagens intercidades de longa distância geraram maior procura de recarga em trânsito. Os agentes aprenderam a equilibrar a ansiedade de autonomia com os custos de desvios e espera.
Desertos de Recarga: Ao analisar a distribuição média de SOC ao longo das redes rodoviárias e cruzar com a disponibilidade de carregadores, o estudo identificou "desertos de recarga" — locais com baixo SOC e infraestrutura limitada. Estas áreas de alto risco foram encontradas principalmente no Outer London, no corredor leste da M4, Greater Manchester e sul de Newcastle.
Insights de Infraestrutura: A análise revelou que, embora alguns corredores de autoestrada (ex: M4, M1) mostrem frequentemente baixo SOC, estes possuem densidade de carregadores suficiente para mitigar os riscos reais de esgotamento. Inversamente, os "desertos" identificados destacam lacunas onde a expansão da infraestrutura é mais crítica.

Significado e Contribuições
O artigo afirma fazer três contribuições primárias:

Inovação Metodológica: Introduz uma estrutura inovadora que utiliza RL não para derivar estratégias ótimas para agentes racionais, mas para replicar o processo de aprendizagem adaptativa de condutores privados que operam sob racionalidade limitada. Preenche a lacuna entre a simulação estática e as limitações baseadas em dados ao validar contra dados empíricos.
Escalabilidade e Validação: O estudo demonstra uma abordagem escalável para simular populações de condutores heterogéneas através de uma rede rodoviária de escala nacional, superando os desafios computacionais frequentemente associados à RL de grande escala. A validação contra dados de sessões do mundo real proporciona um nível de credibilidade muitas vezes ausente em estudos de simulação.
Relevância para Políticas Públicas: As conclusões apoiam mudanças políticas recentes para a expansão de hubs de recarga rápida ao longo de corredores de autoestradas e limites de cidades. Ao identificar locais específicos de alto risco onde o baixo SOC coincide com a escassete de infraestrutura, o modelo oferece uma ferramenta validada para informar o planeamento de implementação de carregadores públicos equitativos e eficazes.

Os autores reconhecem limitações, incluindo a dependência de dados de inquéritos de viagens que assumem que os padrões de viagem atuais persistem após a adoção de VE, a exclusão do acesso a carregadores domésticos/no trabalho nos cálculos iniciais de SOC, e o limite computacional atual de simular 1.000 agentes simultaneamente. No entanto, a estrutura fornece uma base robusta para investigações futuras sobre o comportamento adaptativo de condutores de VE e planeamento de infraestruturas.