Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

Resumo Técnico: Previsão do que Importa: RL Focado em Decisão para o Carregamento Controlado de VE com Tempos de Partida Desconhecidos

Formulação do Problema
A rápida adoção de veículos elétricos (VEs) introduz desafios significativos para os sistemas de potência, incluindo picos de demanda e instabilidade na rede. Embora o Aprendizado por Reforço (RL) ofereça uma abordagem baseada em dados para otimizar cronogramas de carregamento de VEs (por exemplo, minimizando custos ou suavizando cargas), sua eficácia é frequentemente prejudicada pela informação incompleta. Uma incerteza crítica em cenários do mundo real é o tempo de partida do veículo. Sem saber quando um veículo partirá, um agente de RL não pode determinar com precisão a flexibilidade de tempo disponível para deslocar o carregamento para horários de baixa demanda, o que pode levar a sessões de carregamento incompletas ou à gestão de custos subótima.

A literatura existente frequentemente assume a previsão perfeita dos tempos de partida ou baseia-se em modelos de previsão tradicionais treinados apenas para acurácia preditiva (por exemplo, minimizando o Erro Quadrático Médio). No entanto, o artigo argumenta que um previsor otimizado para acurácia não produz necessariamente previsões que levem a decisões de controle ótimas. Erros em previsões padrão podem se propagar através do loop de controle, degradando o desempenho geral da política de controle.

Metodologia: RL Focado em Decisão (DF-RL)
Para abordar o descompasso entre a acurácia da previsão e a qualidade da decisão, os autores propõem uma estrutura de Aprendizado por Reforço Focado em Decisão (DF-RL). A inovação central é o treinamento conjunto de ponta a ponta de um previsor de tempo de partida e um agente de controle de RL, onde o previsor é atualizado com base na qualidade das decisões de controle subsequentes, em vez de apenas no erro de previsão.

• Formulação do MDP: O problema é modelado como um Processo de Decisão de Markov (MDP). O espaço de estados inclui variáveis mensuráveis (preço da eletricidade, demanda de energia restante, hora do dia) e uma duração de sessão restante prevista ($\hat{d}_t$). O espaço de ação é binário: carregar com potência total ou permanecer ocioso.
• O Previsor: Uma rede neural ($f_\psi$) prevê a duração total da sessão ($\hat{T}_t$) com base em características temporais, energia carregada até o momento e energia restante. A duração restante é derivada subtraindo o tempo decorrido da previsão.
• O Agente de RL: Os autores utilizam o Soft Actor-Critic (SAC), um algoritmo ator-crítico off-policy que maximiza o retorno esperado enquanto mantém a entropia da política para exploração.
• Objetivo de Treinamento Conjunto: O previsor é treinado usando uma função de perda composta (Eq. 9):
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$: Uma perda de regressão padrão (MSE) que mede o desvio entre a previsão e a duração real da sessão.
  • $L_{DF}$: O componente focado em decisão, que utiliza a função de vantagem ($A(s,a)$) do agente de RL para guiar as atualizações do previsor. Este termo incentiva o previsor a produzir previsões que resultem em maiores recompensas cumulativas para o agente de RL.
  • $\beta$: Um hiperparâmetro ($\in [0,1]$) que equilibra o peso entre a acurácia da previsão e a qualidade da decisão.

Principais Contribuições

1. Estrutura DF-RL para Carregamento de VE: O artigo introduz uma aplicação inovadora de aprendizado focado em decisão ao agendamento de carregamento de VE, visando especificamente a incerteza dos tempos de partida. Ao contrário de trabalhos anteriores que integram o aprendizado DF com Controle Preditivo Baseado em Modelo (MPC) ou métodos de otimização (que exigem diferenciação implícita complexa das condições KKT), esta abordagem integra o aprendizado DF diretamente em um pipeline de RL.
2. Otimização de Ponta a Ponta: A estrutura permite que o previsor seja treinado diretamente a partir do objetivo de controle. O previsor e a política de RL são atualizados conjuntamente, permitindo que o previsor aprenda "o que importa" para o controlador, em vez de apenas minimizar o erro estatístico.
3. Aumento de Estado: O método enriquece a representação de estado do agente de RL com uma previsão da duração da sessão baseada em rede neural, permitindo que o agente tome decisões informadas apesar da falta de dados de partida reais (ground-truth).

Resultados Experimentais
Os autores avaliaram a estrutura DF-RL usando um conjunto de dados de mundo real de sessões de carregamento de VE de uma instalação de estacionamento de hospital. Eles compararam sua abordagem contra:

• BAU: Carregamento imediato após a chegada.
• RL (Sem Previsão): RL sem qualquer informação de tempo de partida.
• RL (Previsor Convencional): RL com um previsor treinado apenas em perda de regressão ($\beta=1$).
• RL (Partida Real): Uma linha de base de limite superior com conhecimento perfeito dos tempos de partida.

Principais Descobertas:

• Melhoria de Desempenho: O método proposto DF-RL (especificamente com $\beta=0.2$ ou $0.4$) alcançou uma melhoria de 14% na recompensa total e uma redução de 55% na energia não suprida (carregamento que falhou porque o VE partiu) em comparação com o método RL sem previsão de tempo de partida.
• Comparação com Previsão Convencional: Comparado ao método de RL usando um previsor convencional ($\beta=1$), a abordagem DF-RL reduziu a demanda não atendida em aproximadamente 14% (de 7,3% para 6,3% no melhor caso) e melhorou a recompensa total em 5%.
• Insight Comportamental: O artigo observa que o DF-RL não produz necessariamente previsões numéricas mais precisas do tempo de partida. Em vez disso, produz previsões mais "conservadoras" que são mais úteis para a tomada de decisão. Por exemplo, em um estudo de caso, o previsor DF-RL previu uma duração de sessão ligeiramente menor do que a realidade, levando o agente a carregar mais cedo e completar a sessão com sucesso. Em contraste, o previsor convencional superestimou a duração, levando ao atraso no carregamento e a uma sessão incompleta.
• Compromissos (Trade-offs): Valores mais baixos de $\beta$ (priorizando a qualidade da decisão sobre a acurácia bruta) resultaram em menos VEs não atendidos, mas custos de carregamento ligeiramente mais altos, refletindo um compromisso entre atender às demandas de energia e minimizar as despesas de eletricidade.

Significância e Alegações
O artigo afirma que a principal significância deste trabalho reside em demonstrar que a acurácia da previsão não é o único determinante do desempenho do controle. Ao treinar o previsor com o feedback do agente de controle, o sistema aprende a gerar previsões que são robustas às restrições e objetivos específicos do problema de carregamento.

Os autores afirmam modestamente que, embora sua abordagem DF-RL produza decisões de carregamento superiores em relação às linhas de base, é um passo para lidar com a incerteza no carregamento de VE sem a complexidade de integrar o aprendizado DF com solvers de otimização tradicionais. Eles reconhecem que o trabalho atual foca em um cenário de veículo único com um perfil de preço determinístico e planejam trabalhos futuros para estender a estrutura para cenários cooperativos de múltiplos veículos, perfis de preços dinâmicos e modelos de previsão mais expressivos para capturar padrões temporais como sazonalidade.