LLM-Mediated Demand Response Coordination in Smart Microgrids

Resumo Técnico: Coordenação de Resposta à Demanda Mediada por LLM em Microrredes Inteligentes

Definição do Problema
O artigo aborda o desafio de coordenar a resposta à demanda voluntária em microrredes inteligentes, onde "prosumidores" (agentes que tanto produzem quanto consomem energia) devem decidir se reduzem a demanda durante cargas de pico. Este cenário é modelado como um Dilema do Prisioneiro repetido em uma rede social: o bem-estar coletivo é maximizado através da cooperação universal, mas os incentivos individuais favorecem a deserção (carona ou free-riding). Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para gerar diretrizes de coordenação interpretáveis e adaptáveis, existe uma falha metodológica crítica: os LLMs alinhados via Aprendizado por Reforço com Feedback Humano (RLHF) exibem um forte viés pró-social. Quando usados como tomadores de decisão diretos, eles produzem uma cooperação quase universal, independentemente das condições da rede ou das estruturas de incentivo, o que colapsa a dinâmica experimental e obscurece os efeitos de diferentes estratégias de coordenação.

Metodologia
Para resolver o viés do RLHF enquanto aproveita as capacidades dos LLMs, os autores propõem uma arquitetura de decisão híbrida dentro de uma simulação multiagente de uma microrrede inteligente ($N=30$ agentes em uma rede de escala livre).

1. Arquitetura de Decisão Híbrida: O modelo desacopla o raciocínio estratégico da avaliação narrativa.

   • Estágio 1 (Base Teórico-Dos-Jogos): A probabilidade de cooperação basal de um agente ($p_{base}$) é calculada usando princípios de teoria dos jogos evolutiva. Ela agrega histórico de ganhos (payoff), memória de exploração (rodadas passadas onde o agente cooperou enquanto vizinhos desertaram), imitação de vizinhos (conformismo) e um termo de decaimento de tentação temporal. Isso garante uma taxa de cooperação basal próxima a 50%, criando uma tensão estratégica genuína.
   • Estágio 2 (Avaliação Narrativa por LLM): Em vez de pedir ao LLM para tomar uma decisão binária, o sistema solicita que o LLM atue como um "Compilador de Influência" que avalia as diretrizes recebidas. O LLM gera um deslocamento escalar ($\delta_{LLM} \in [-0,30, +0,30]$) representando o quanto a disposição do agente para reduzir a demanda muda com base na narrativa da diretriz, na persona do agente e no histórico.
   • Estágio 3 (Atenuação de Resistência): A probabilidade de cooperação final é uma soma truncada da probabilidade base e do deslocamento do LLM, atenuada por um fator de resistência específico do agente ($r$). Isso evita que o LLM sobreponha totalmente a base estratégica.

2. Arquétipos de Agentes: A simulação inclui seis arquétipos de prosumidores heterogêneos (Pragmático, Idealista, Cético, Conformista, Estrategista, Oportunista), cada um com vieses de base e níveis de resistência distintos.

3. Compilador de Influência: Um compilador central observa um recorte ruidoso do estado da rede e emite diretrizes estruturadas (alvo, intensidade, tempo, tema) para 20% dos agentes a cada cinco intervalos de tempo. O compilador utiliza um pipeline Solver–Critic para gerar políticas estruturadas, contrastando com uma linha de base não estruturada que utiliza geração de narrativa de forma livre.

4. Estratégias de Direcionamento: O estudo avalia a disseminação via nós de alta centralidade (hubs), pontes (bridges), nós periféricos e seleção aleatória.

Principais Contribuições

• Inovação Metodológica: O artigo introduz uma arquitetura híbrida que separa o raciocínio teórico-dos-jogos da avaliação narrativa por LLM. Isso evita o "colapso da cooperação" causado pelo viés do RLHF, permitindo a medição de efeitos reais de tratamento em experimentos de coordenação.
• Influência Estruturada vs. Não Estruturada: Demonstra que a compilação de políticas estruturadas supera significamente a geração de narrativas sem restrições na condução da redução de demanda.
• Efeitos da Topologia de Rede: O estudo confirma que o direcionamento para nós de alta centralidade (hubs e pontes) fornece amplificação mecanística dos sinais de coordenação, independentemente do conteúdo da mensagem.
• Análise de Robustez: O framework é testado em diferentes níveis de resistência dos agentes e entre substratos de agentes "fundamentados" (híbridos) e "idealizados" (logísticos).

Resultados Experimentais

• Taxas de Cooperação: As diretrizes estruturadas compiladas alcançaram uma taxa de cooperação final de 33,3%, comparadas a 27,0% para mensagens não estruturadas e 28,0% para uma linha de base sem intervenção. Isso resulta em uma vantagem de compilação ($\Delta_{comp}$) de +0,063. Notavelmente, a mensageria não estruturada teve desempenho ligeiramente inferior à linha de base sem intervenção, sugerindo um "efeito de retrocesso" (backfire effect).
• Robustez do Substrato: A vantagem da compilação estruturada persistiu tanto nos modelos de agentes fundamentados (híbridos) quanto nos idealizados. Embora os agentes idealizados tenham atingido uma cooperação absoluta maior (0,850 vs. 0,333), a ordenação relativa (Compilado > Não Estruturado > Sem Influência) permaneceu consistente.
• Varredura de Resistência: A vantagem de compilação permaneceu estritamente positiva em todos os níveis de resistência testados ($R \in [0,1, 0,7]$), variando de +0,057 a +0,070. A vantagem não desapareceu mesmo em alta resistência, indicando uma degradação suave em vez de um colapso de limiar.
• Direcionamento: A disseminação focada em hubs superou o direcionamento aleatório e periférico. A estratégia periférica mostrou apenas agrupamentos locais temporários que falharam em se propagar pela rede.
• Heterogeneidade de Agentes: A arquitetura híbrida preservou com sucesso a diferenciação de personalidade. Os Idealistas mostraram as maiores taxas de persuasão (~85–100%), enquanto agentes de alta resistência (Céticos, Oportunistas) mostraram taxas abaixo de 5%. Isso contrasta com modelos de LLM puro, onde todos os agentes convergiriam para alta cooperação.

Significância e Alegações
O artigo afirma que a compilação estruturada de LLM, o raciocínio de agentes fundamentados e o direcionamento consciente da rede são princípios de design complementares para a coordenação escalável de resposta à demanda. A principal significância reside em resolver o desafio metodológico de usar LLMs alinhados por RLHF em pesquisas de cooperação; ao isolar o papel do LLM para a avaliação narrativa em vez da tomada de decisão, o modelo gera comportamentos de prosumidores realistas que refletem o interesse estratégico próprio.

Os autores concluem que, para os sistemas de energia de cidades inteligentes de próxima geração:

1. Os sistemas de comunicação devem empregar esquemas de diretrizes estruturadas em vez de mensagens genéricas.
2. As estratégias de disseminação devem priorizar hubs e pontes de rede.
3. Restrições de governança constitucional podem ser aplicadas para filtrar diretrizes manipuladoras com custo mínimo para a cooperação.

O artigo mantém-se modesto quanto ao seu escopo, reconhecendo limitações como o pequeno tamanho da população ($N=30$), a realização única da rede e o uso de agentes LLM como proxies para humanos. Identifica a validação com sujeitos humanos em comunidades de energia reais e a escala para topologias maiores e mais heterogêneas como trabalhos futuros necessários.