Resumo Técnico: HetGPS

Declaração do Problema

A coordenação da recarga de Veículos Elétricos (VE) residenciais apresenta um desafio duplo: escalabilidade e segurança da rede. Enquanto a recarga não coordenada ignora o acoplamento elétrico entre agentes que leva a violações de tensão, a coordenação centralizada torna-se computacionalmente intratável à medida que o tamanho das frotas e as topologias de rede crescem. As abordagens existentes de Aprendizado por Reforço Multiagente (MARL) baseadas em grafos oferecem escalabilidade através do compartilhamento de parâmetros, mas frequentemente falham em garantir que cada ação conjunta realizada satisfaça as restrições físicas sob demanda e geração dinâmicas. Além disso, as intervenções de segurança padrão (por exemplo, limites fixos ou penalidades em tempo de treinamento) ou carecem da flexibilidade para lidar com cenários de alto risco ou distorcem desnecessariamente ações úteis em condições benignas. O problema central é como implantar uma política aprendida e escalável que proteja as restrições compartilhadas da rede (especificamente as tensões de barra) sem sobrepor decisões orientadas à tarefa ou exigir um tamanho de modelo que escale com o número de agentes.

Metodologia: Estrutura HetGPS

Os autores propõem o HetGPS, uma estrutura híbrida de controle por grafos que desacopla a magnitude da intervenção de segurança de sua direção. O sistema opera como uma camada de filtro de segurança entre uma política MARL aprendida e a atuação física da rede.

1. Fatoração do Filtro de Segurança Híbrido

A inovação central é a separação de dois papéis:

• Risco de Grafo Aprendido (Escalonamento de Autoridade): Um modelo baseado em grafos prevê o risco de violações de tensão com base no estado atual e nas ações propostas. Este modelo não determina como corrigir a ação, mas sim escala uma autoridade de intervenção ($\Delta_t$) dependente do estado. Isso define a mudança máxima permitida nas ações dos VEs propostas.
• Direção Ancorada na Física: Um modelo de fluxo de potência linearizado (LinDistFlow) determina a direção da correção. Ele calcula a sensibilidade física das tensões de barra às injeções de potência dos VEs. O filtro projeta a proposta da política aprendida sobre um conjunto viável definido por essas sensibilidades físicas e pelo orçamento de autoridade aprendido.

2. Arquitetura MARL de Grafo Escalável

• Grafo Heterogêneo: O sistema modela a rede de distribuição como um grafo heterogêneo com nós de barra (expondo tensão e potência agregada) e nós de agentes de VE (detendo estados privados como Estado de Carga e tempo de partida).
• Compartilhamento de Parâmetros: Uma política Soft Actor-Critic (SAC) compartilhada e um codificador de grafo compartilhado são usados em todos os agentes. O codificador de grafo agrega o contexto elétrico consciente da topologia do lado do operador sem agrupar estados privados de VE em um crítico centralizado.
• Modelo Residual Condicionado à Ação: Durante o treinamento, um cabeçalho residual é supervisionado por rótulos de fluxo de potência para prever resultados de tensão. Na implantação, este modelo atua como o estimador de risco para disparar o filtro de segurança.

3. Pipeline de Execução

1. Proposta: A política de grafo compartilhada propõe ações conjuntas de VE ($a^{RL}_t$).
2. Avaliação de Risco: O modelo residual prevê consequências de tensão. Se o risco previsto exceder um limite, um orçamento de autoridade $\Delta_t$ é calculado.
3. Projeção: Se disparado, um programa quadrático convexo (resolvido via varreduras de projeção sequencial) ajusta as ações. A direção da correção é estritamente determinada pelo modelo físico ($J_t$), enquanto a magnitude é limitada por $\Delta_t$.
4. Mapa de Serviço: A ação final é passada através de um mapa de serviço determinístico ($G_{svc}$) que impõe disponibilidade, limites de SoC e regras de partida.

Principais Contribuições

1. Fatoração do Filtro de Segurança Híbrido: O artigo introduz uma fatoração inovadora onde um modelo de risco de grafo aprendido escala a autoridade de intervenção dependente do estado, enquanto um modelo de física ancora a ação corretiva. Isso evita a necessidade de um único modelo para inferir tanto a magnitude quanto a direção.
2. Arquitetura de Parâmetros Compartilhados Escalável: O HetGPS instancia este princípio usando uma política de grafo MARL de parâmetros compartilhados e um modelo de resíduo de tensão condicionado à ação. Crucialmente, o número de parâmetros aprendidos permanece fixo independentemente do tamanho da frota (por exemplo, 383.702 parâmetros tanto para 200 quanto para 3.218 VEs), enquanto um ator SAC centralizado correspondente escala linearmente (atingindo ~65 milhões de parâmetros para 3.218 VEs).
3. Transferência de Topologia Zero-Shot: A estrutura demonstra a capacidade de transferir políticas treinadas em redes menores (por exemplo, 1.236 VEs) para topologias maiores e não vistas (por exemplo, 3.218 VEs) e diferentes famílias de alimentadores (IEEE 33) com adaptação zero-shot ou few-shot, mantendo alta segurança e níveis de serviço.

Resultados Experimentais

A estrutura foi avaliada em cinco redes de distribuição CRE21 aninhadas (200 a 3.218 VEs) e três alimentadores IEEE ao longo de 100 dias de avaliação.

• Desempenho de Segurança: A Autoridade Adaptativa reduziu as violações de tensão de degrau de barra de 3,93–7,74% (sem filtragem) para 0,52–3,44%, mantendo taxas de sucesso de partida de 99,06–100%.
• Compromisso Recompensa-Segurança: Comparado a uma projeção de física de autoridade fixa, o escalonador adaptativo melhorou a recompensa média em todas as cinco redes CRE21 e reduziu a pontuação de segurança média em quatro.
• Escalabilidade: Na maior escala (3.218 VEs), o modelo implantado HetGPS é aproximadamente 170× menor que um ator SAC totalmente centralizado.
• Transferibilidade: Uma política treinada em um sistema de 8 transformadores (1.236 VEs) transferiu-se zero-shot para sistemas de 16 e 32 transformadores, alcançando taxas de violação de 0,57–0,75% e pelo menos 99,99% de sucesso de partida.

Significância e Alegações

O artigo afirma que o risco de grafo aprendido pode efetivamente alocar autoridade de intervenção em escala, enquanto a física do alimentador ancora a ação corretiva. Esta abordagem resolve a tensão entre proteger restrições compartilhadas e preservar a coordenação aprendida útil.

Os autores enfatizam que sua evidência é empírica. Eles declaram explicitamente que, devido ao uso de aproximações de fluxo de potência equilibradas e à ausência de uma margem de erro de modelo certificada, não reivindicam viabilidade ponto a ponto para cada realização estocástica. Em vez disso, apresentam uma estrutura prática onde o modelo aprendido comprime estados de rede de tamanho variável e atribui autoridade de intervenção, enquanto o modelo físico garante que a direção da correção permaneça fisicamente fundamentada. Os autores sugerem que esta fatoração se estende a outros sistemas acoplados por grafos com sensibilidades de ação-para-restrição de primeira ordem tratáveis, como controle coordenado de inversores/armazenamento e aquecimento de distrito, embora observem que a validação entre domínios e margens certificadas permanecem como trabalhos futuros.