A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?

Resumo Técnico: Um Benchmark sobre Cálculo de Fluxo de Potência Baseado em LLMs

Declaração do Problema
O cálculo de fluxo de potência é um elemento fundamental do planejamento, operação e análise de estabilidade de redes elétricas. Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais explorados como ferramentas de suporte à decisão para redes inteligentes — variando desde diagnóstico de falhas até perguntas e respostas de operadores —, sua capacidade de executar algoritmos numéricos precisos permanece não verificada. Especificamente, o método de Gauss-Seidel, um solucionador iterativo canônico ensinado em currículos de engenharia elétrica, requer aritmética complexa, convergência em múltiplas passagens e rastreamento cuidadoso de estimativas intermediárias de tensão. Este artigo aborda a lacuna na compreensão de se os LLMs podem executar de forma confiável tais algoritmos iterativos clássicos e investiga como estratégias de engenharia de prompts (por exemplo, entradas estruturadas, cadeia de pensamento, exemplos few-shot) influenciam o desempenho nessas tarefas.

Metodologia
Os autores projetaram um benchmark controlado avaliando três LLMs em quatro formatos de prompt distintos, utilizando um sistema de fluxo de potência CA de três barras.

• Sistema e Solucionador: O ambiente de teste é um sistema de três barras totalmente conectado (uma barra de referência, duas barras de carga PQ) com parâmetros de ramo ($R, X$) e valores de carga randomizados. As soluções de referência foram computadas numericamente usando Python (NumPy) com aritmética de precisão dupla. O método de Gauss-Seidel foi selecionado em vez do método Newton-Raphson para isolar a dificuldade da aritmética iterativa da complexidade da fatoração de matrizes, garantindo que o benchmark teste a capacidade do modelo de seguir um procedimento algorítmico conhecido.
• Modelos Avaliados:
  1. Gemini 2.5 Pro (Google DeepMind)
  2. Claude Sonnet 4.5 (Anthropic)
  3. GPT-3.5 Turbo (OpenAI) como linha de base de menor capacidade.
• Formatos de Prompt: Quatro formatos foram testados para variar a complexidade representacional:
  1. Narrativa-final: Descrição em linguagem natural do problema (estilo de livro didático) solicitando apenas a resposta final.
  2. Narrativa+Exemplo: A mesma narrativa acrescida de um exemplo completo resolvido de um livro didático.
  3. Procedural-texto: Um procedimento numerado, passo a passo, com dados em tópicos, exigindo uma tabela de rastreamento de iterações e a resposta final.
  4. JSON-Estruturado: Entrada JSON legível por máquina com o procedimento escrito, exigindo o mesmo rastreamento de iterações e resposta final.
• Avaliação: O benchmark foi executado em 50 casos de teste, com uma replicação independente de 100 casos. As métricas incluíram o Erro Absoluto Médio (MAE) em MW/MVar e a porcentagem de casos dentro de faixas específicas de erro relativo (<1%, 1–5%, 5–10%, 10–20%, >20%). Falhas (saídas não analisáveis) foram contadas na faixa de erro >20% para refletir a confiabilidade de ponta a ponta.

Principais Contribuições

1. Projeto do Benchmark: O artigo apresenta o primeiro estudo controlado variando sistematicamente formatos de prompt para um solucionador iterativo clássico de fluxo de potência CA, mantendo o algoritmo e a rede de teste constantes.
2. Análise de Sensibilidade ao Prompt: O estudo demonstra que os efeitos da engenharia de prompts são altamente dependentes do modelo. Para o modelo mais capaz (Gemini 2.5 Pro), aumentar a complexidade do prompt (migrando de narrativa para JSON estruturado com rastreamento de iterações) degradou significativamente o desempenho, aumentando o MAE por um fator de 3,1×. Por outro lado, adicionar um exemplo resolvido degradou o desempenho do Gemini, mas proporcionou um ganho marginal para o Claude.
3. Limites de Capacidade: Os autores estabelecem que nenhuma configuração testada alcançou confiabilidade suficiente para uso direto como solucionador numérico. O GPT-3.5 Turbo falhou em pelo menos 90% dos casos em todos os formatos, enquanto até mesmo a configuração de melhor desempenho (Gemini com um prompt de narrativa simples) alcançou apenas 54% dos casos dentro de 5% de erro relativo.

Resultados

• Gemini 2.5 Pro: Apresentou a maior sensibilidade ao formato do prompt. O formato mais simples (narrativa-final) produziu os melhores resultados (MAE = 0,257 MW/MVar; 54% dos casos dentro de 5% de erro). O formato mais complexo (JSON-Estruturado) resultou no pior desempenho (MAE = 0,789). Adicionar um exemplo resolvido aumentou o erro em 73%.
• Claude Sonnet 4.5: Mostrou um perfil de precisão quase plano em todos os formatos, com aproximadamente 38% dos casos dentro de 5% de erro, independentemente da estrutura do prompt. O formato procedural-texto performou ligeiramente melhor para o Claude do que para o Gemini, sugerindo que a otimização do prompt é específica ao modelo.
• GPT-3.5 Turbo: Demonstrou ineficácia quase total, com 90–96% dos casos excedendo 20% de erro relativo em todos os formatos.
• Potência Ativa vs. Reativa: Foi observada uma assimetria consistente onde os erros de potência reativa ($Q_g$) excederam os erros de potência ativa ($P_g$) na maioria das configurações, possivelmente devido à representação menos frequente da extração da parte imaginária nos dados de treinamento.
• Replicação: A replicação de 100 casos confirmou a ordenação qualitativa (Gemini $\gg$ Claude > GPT-3.5) e a falta de precisão de nível de solucionador. No entanto, o formato ótimo para o Gemini mudou de narrativa para procedural-texto na amostra maior, sugerindo sensibilidade à dificuldade da instância ou variabilidade de amostragem.

Significado e Afirmações
O artigo conclui que, embora os LLMs mostrem promessa para tarefas de alto nível em redes elétricas (explicação, perguntas e respostas), eles atualmente carecem da confiabilidade necessária para o cálculo numérico direto de fluxo de potência. As descobertas desafiam a suposição comum na engenharia de prompts de que fornecer instruções mais explícitas e estruturadas sempre melhora a precisão aritmética; neste domínio, prompts mais simples produziram resultados superiores para o modelo de melhor desempenho.

Os autores posicionam este trabalho como uma linha de base diagnóstica para praticantes e pesquisadores. A implicação primária é que a implantação de LLMs para suporte à decisão em redes inteligentes requer calibração cuidadosa dos formatos de prompt com base no modelo específico, pois "prompting mais detalhado" pode ser contraproducente. Além disso, o estudo afirma que as configurações atuais de LLM não devem ser usadas como substitutas para solucionadores numéricos tradicionais em ambientes de produção, embora possam servir como auxiliares de raciocínio aproximado ou ferramentas educacionais.