Resumo Técnico: CAMA-DRL Agêntico para Carregamento de E-Bikes de Última Milha

1. Definição do Problema

A rápida eletrificação da logística urbana de última milha introduziu um gargalo crítico: a coordenação do carregamento de e-bikes de entrega. Diferente da micromobilidade de uso comum, as operações de entrega enfrentam restrições rigorosas de janelas temporais, consumo de energia variável dependente da carga útil e requisitos de coordenação de múltiplos depósitos. As estratégias de carregamento atuais são frequentemente reativas ou baseadas em regras, levando a resultados subótimos, como o descumprimento de janelas de entrega, congestionamento de estações e emissões de carbono evitáveis.

As soluções existentes falham em abordar simultaneamente três desafios específicos:

1. Restrições específicas de entrega: Adesão a janelas temporais e orçamentos de energia ajustados pela carga útil.
2. Conflito entre múltiplos stakeholders: A necessidade de coordenar stakeholders heterogêneos (operadores de entrega, operadores de estação, planejadores de frota e reguladores ambientais) com objetivos potencialmente conflitantes.
3. Integração de contexto agêntico: A falta de sistemas que possam antecipar condições futuras (demanda, clima, intensidade de carbono da rede) em vez de apenas reagir aos estados atuais.

2. Metodologia: CAMA-DRL Agêntico

Os autores propõem o CAMA-DRL Agêntico (Aprendizado por Reforço Profundo Multiagente Sensível ao Contexto), um framework projetado para otimizar a infraestrutura de carregamento através de uma tomada de decisão cooperativa e proativa.

2.1 Arquitetura do Sistema

O framework opera como um sistema de ciclo fechado contínuo composto por quatro colunas funcionais:

• Fontes de Dados: Fluxos de dados em tempo real, incluindo dados de GPS/trajeto, metadados de estações de carregamento (ocupação, tipo de carregador, fonte de energia), previsões de demanda/clima e restrições de rota.
• Motor de Contexto Agêntico: Um pipeline de cinco estágios que transforma dados brutos em um vetor de estado aumentado ($\tilde{s}_t$):
  1. Codificação de Estado: Normalização e incorporação temporal de hora do dia e dia da semana.
  2. Previsão: Geração de previsões de demanda de 30–60 minutos e trajetórias de Estado de Carga (SoC).
  3. Fusão de Características: Concatenação de observações e previsões em uma representação latente.
  4. Injeção de Sinal Ambiental: Sobreposição de tarifas de uso de tempo, intensidade de carbono da rede e disponibilidade solar.
  5. Montagem de Estado: Transmissão do vetor de contexto aumentado para todos os agentes.
• Agentes CAMA-DRL: Quatro agentes especializados de Deep Q-Network (DQN), cada um mapeado para um stakeholder distinto:
  • Operador de Entrega: Prioriza a entrega pontual e janelas de carregamento oportunistas.
  • Operador de Estação: Equilibra a demanda de entrada para manter uma ocupação de 60–80%.
  • Planejador de Frota: Agenda recargas proativas de baixa tarifa e gerencia a distribuição de SoC da frota.
  • Planejador Ambiental: Direciona o carregamento para estações suplementadas por energia solar para minimizar o CO2.
• Outputs de Stakeholders & Feedback: Os agentes recebem recompensas baseadas em resultados de todo o sistema (utilização, congestionamento, pontualidade, CO2), fechando o ciclo.

2.2 Mecanismo de Coordenação

O framework utiliza uma variante de Treinamento Centralizado, Execução Descentralizada (CTDE).

• Estrutura de Recompensa Compartilhada: Todos os quatro agentes otimizam uma função de recompensa escalarizada comum:
  $$R_k(t) = w_1 \Delta U_t - w_2 C^{cong}_t + w_3 D^{on-time}_t - w_4 CO_2^t$$
  Onde $\Delta U_t$ é a utilização da frota, $C^{cong}_t$ é a penalidade de congestionamento, $D^{on-time}_t$ é a pontualidade da entrega e $CO_2^t$ é o custo de carbono.
• Coordenação Implícita: Os agentes não trocam mensagens explícitas. Em vez disso, a estrutura de recompensa compartilhada garante que uma ação que beneficie um stakeholder às custas de outro (ex: causar congestionamento) reduza o sinal de recompensa total, desencorajando tal comportamento através de atualizações de gradiente.
• Algoritmo de Treinamento: Os agentes utilizam buffers de experiência independentes, mas compartilham um backbone DQN comum. O treinamento emprega estabilizadores padrão de DQN: replay de experiência, redes alvo (atualizadas a cada 10 episódios) e exploração $\epsilon$-greedy com decaimento geométrico.

2.3 Configuração de Treinamento

• Fator de Desconto ($\gamma$): Definido como 0.9 para permitir um planejamento de longo alcance e antecipatório (otimização de longo horizonte).
• Hiperparâmetros: Tamanho do lote (batch size) de 128, 3 camadas ocultas de 256 unidades e um conjunto de pesos de recompensa de $\{0.2, 0.3, 0.4, 0.1\}$ priorizando a pontualidade da entrega e a mitigação de congestionamento durante as horas de pico.

3. Principais Contribuições

O artigo identifica três contribuições principais:

1. Arquitetura Inovadora (C1): Uma arquitetura DQN de quatro agentes operando cooperativamente sobre um ambiente urbano compartilhado com uma representação de estado totalmente contextualizada, permitindo decisões proativas em vez de reativas.
2. Recompensa Multi-Stakeholder (C2): Uma função de recompensa que equilibra a utilização da frota, pontualidade, ocupação da estação e custo de CO2 sem exigir protocolos de comunicação explícitos entre agentes, permitindo uma coordenação que melhora o Pareto.
3. Superioridade Empírica (C3): Validação em uma simulação de alta fidelidade de Londres, mostrando ganhos significativos sobre baselines baseados em regras, DQN de agente único e modelos multiagentes sem contexto, com estudos de ablação isolando o valor específico da codificação de contexto.

4. Resultados Experimentais

O framework foi avaliado em uma simulação de alta fidelidade do pico matinal de Londres (06:00–10:00) envolvendo 50 e-bikes, 20 estações de carregamento e demanda estocástica.

4.1 Métricas de Desempenho

Comparado a um baseline Baseado em Regras (RB), o framework completo Agentic CAMA-DRL alcançou:

• Taxa de Utilização da Frota (FUR): Aumento de +28% (atingindo 97%).
• Congestionamento de Estação de Carregamento: Redução de 35% na ocupação de pico (caindo para 40%).
• Taxa de Pontualidade de Entrega (DPR): Melhoria de +32% (atingindo 95%).
• Emissões de CO2: Redução de 42% (de 0,48 para 0,28 kg/entrega).

4.2 Análise de Ablação

• Multiagente vs. Agente Único: Mudar de um DQN de Agente Único para a coordenação Multiagente melhorou a FUR em 5% e reduziu o congestionamento em 10%.
• Sensibilidade ao Contexto: Comparar o "CAMA-DRL (sem contexto)" com o modelo completo revelou que a codificação de contexto em tempo real (previsões de demanda, tarifas, disponibilidade solar) contribuiu com uma melhoria adicional de 5–8% nas métricas de desempenho (especificamente FUR, DPR e CO2). Isso confirma que contexto e coordenação são sinérgicos, não meramente aditivos.

4.3 Benefícios dos Stakeholders

• Operadores de Entrega: Ganho de 27% em receita, redução de 16% em custos.
• Operadores de Estação: Redução de 24% nos custos devido à redução de manutenção causada pelo congestionamento.
• Planejadores de Frota: Ganho de 21% em receita, redução de 18% nos custos via distribuição uniforme de SoC.
• Planejadores Ambientais: Redução de 32% de CO2 impulsionada pelo roteamento de prioridade solar.

5. Significância e Alegações

O artigo posiciona o Agentic CAMA-DRL como uma solução escalável e pronta para implantação para a logística sustentável de última milha urbana. Sua significância reside em:

• Sinergia de Mecanismos: Demonstrar que combinar a coordenação multiagente com a codificação de contexto em tempo real produz resultados superiores à soma de suas partes.
• Antecipação vs. Reação: Estabelecer que o comportamento "agêntico" (planejamento através de horizontes estendidos) é crítico para lidar com a variabilidade temporal da demanda de entrega e do suprimento de energia renovável.
• Implantação Prática: O framework não requer comunicação explícita entre agentes e executa a inferência em menos de 1 milissegundo por etapa de decisão, tornando-o adequado para o controle em tempo real de grandes frotas.
• Modularidade: A arquitetura suporta um caminho claro de migração para frotas mistas (e-bikes e vans elétricas) que compartilham hubs de carregamento comuns.

Os autores mantêm uma postura modesta quanto às limitações, observando que os resultados baseiam-se em simulação (embora calibrados para parâmetros realistas) e que os ganhos relatados são relativos aos baselines específicos testados. Eles reconhecem que a transferência da simulação para o mundo real pode enfrentar desafios devido ao ruído dos sensores e ao comportamento humano dos ciclistas, e que os pesos de recompensa exigem ajuste cuidadoso para evitar o viés de stakeholders específicos. Trabalhos futuros incluem aprendizado federado, agentes hierárquicos para frotas mistas e integração direta com a rede elétrica.