Resumo Técnico: VeraGrid-Agent

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades significativas em geração de código e raciocínio, levando à sua exploração em domínios científicos e de engenharia, como sistemas de potência. No entanto, responder a questões complexas sobre o fluxo de potência ótimo de distribuição (D-OPF) apresenta um desafio único. Essas questões frequentemente exigem a resolução de problemas numéricos não convexos e NP-difíceis que envolvem equações de fluxo de potência CA (corrente alternada), recursos energéticos distribuídos (DERs) e restrições de rede.

Quando os LLMs tentam responder a tais questões usando apenas conhecimento paramétrico (memória), eles são forçados a adivinhar, produzindo frequentemente saídas numericamente incorretas. O artigo argumenta que o raciocínio linguístico sozinho é insuficiente para tarefas que exigem simulação numérica precisa, como determinar elevações de tensão em nós PV, capacidades de barras ou o corte (curtailment) de DERs, ou perdas no alimentador. O problema central é distinguir entre computação genuína e memorização ou alucinação no raciocínio científico.

Metodologia

Para abordar isso, os autores propõem o VeraGrid-Agent, um framework de LLM aumentado por ferramentas projetado para resolver autonomamente problemas de D-OPF. A metodologia envolve um fluxo de trabalho de ciclo fechado onde o LLM atua como um controlador para um solver externo, em vez de depender de conhecimento interno.

1. O Fluxo de Trabalho do Agente

O agente opera dentro de um espaço de trabalho isolado e segue um framework ReAct (Raciocínio + Ação). Para cada consulta, o agente:

• Escreve a Entrada: Gera um arquivo de entrada JSON descrevendo o grafo do alimentador, barras, ramos, cargas e configurações de DER com base na descrição do problema.
• Executa o Solver: Chama o simulador de código aberto VeraGrid, que resolve o problema AC-OPF numericamente.
• Lê a Saída: O solver retorna metadados de execução e um índice (table of contents) em vez da solução completa para manter o contexto compacto. O agente realiza então leituras direcionadas de linhas de resultados específicas (ex: fluxos de linha específicos ou tensões de barra).
• Seleciona a Resposta: Interpreta os dados numéricos recuperados para selecionar a opção correta de uma questão de múltipla escolha (MCQ).

O sistema é limitado por um número máximo de iterações ($T_{max}$) para evitar loops infinitos, embora a maioria das consultas seja resolvida em poucos passos.

2. O Benchmark: VeraGrid-MCQ-150

Para avaliar o desempenho, os autores introduzem o VeraGrid-MCQ-150, um benchmark determinístico e baseado em templates composto por 150 questões de múltipla escolha.

• Geração: As questões são geradas por templates definidos por especialistas, onde a verdade fundamental (ground truth) é computada diretamente pelo simulador VeraGrid. Isso garante que cada resposta seja uma função determinante de um registro de rede específico resolvido.
• Níveis de Dificuldade:
  • Fácil (50 questões): Recuperação direta (ex: magnitudes de tensão de nós, contagem de elementos).
  • Médio (50 questões): Derivações de etapa única (ex: conversão por unidade, magnitude de impedância de linha, fator de potência).
  • Difícil (50 questões): Computação de múltiplas etapas e inferência entre tabelas (ex: perdas agregadas de ramos, potência de reserva líquida, margens térmicas).
• Métrica de Avaliação: A precisão é medida como a porcentagem de rótulos previstos corretamente ($\hat{\ell}$) contra a verdade fundamental ($\ell^*$), tratando respostas malformadas ou ausentes como incorretas.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Arquitetura Aumentada por Ferramentas: Um framework inovador para análise de D-OPF onde o LLM escreve entradas do simulador, executa o solver VeraGrid e lê os resultados relevantes, garantindo que cada resposta seja rastreável à saída do solver.
2. Benchmark Determinístico: A introdução do VeraGrid-MCQ-150, um ambiente de teste reproduzível com verdade fundamental verificada que avalia a capacidade de um agente de recuperar informações quantitativas de uma rede resolvida, evitando a dependência de memorização estática.
3. Estudo Empírico: Uma avaliação abrangente de sete LLMs diferentes sob dois regimes: "sem ferramenta" (raciocínio a partir da descrição sozinha) e "agente" (aumentado por ferramenta). O estudo analisa os ganhos de desempenho e os modos de falha.

Resultados

Os autores avaliaram sete modelos (incluindo GPT-5.2, Claude Sonnet 4.5, Gemini 3 Flash, Grok 4.3/4.5, Composer 2.5 e Opus 4.8) no caso de teste de alimentador radial de 8 barras.

• Regime Sem Ferramenta: Sem acesso ao solver, todos os modelos tiveram um desempenho insatisfatório, com precisões gerais variando de 41,3% a 49,3%. Isso confirma que o conhecimento paramétrico é insuficiente para essas tarefas numéricas.
• Regime Aumentado por Ferramenta: Com o VeraGrid-Agent, a precisão melhorou dramaticamente em todos os modelos, variando de 97,3% a 100,0%.
  • Gemini 3 Flash, Grok 4.3 e Grok 4.5 alcançaram 100% de precisão perfeita.
  • GPT-5.2 e Claude Sonnet 4.5 erraram apenas uma questão difícil cada.
  • Opus 4.8 e Composer 2.5 erraram duas e quatro questões, respectivamente.
• Análise de Modos de Falha: Os poucos erros restantes não foram causados por falhas de execução do solver (não ocorreram timeouts ou erros de execução). Em vez disso, os erros surgiram de interpretações erradas durante o raciocínio de múltiplas etapas, como agregar perdas de ramos em um único terminal ou confundir o corte de DER com o despacho.
• Impacto das Ferramentas: A melhoria foi mais significativa para questões que exigem computação numérica (ex: perdas de alimentador, elevações de tensão). Questões que poderiam ser respondidas a partir da descrição do prompt (ex: topologia, parâmetros de linha) mostraram pouca melhoria, pois a linha de base sem ferramenta já era relativamente alta para essas categorias específicas.

Significância e Alegações

O artigo alega que, para tarefas de engenharia fundamentadas e numericamente intensivas, como análise de borda de rede, o acesso a ferramentas de computação externas é mais crítico do que a escolha do backbone do LLM. Uma vez que o agente tem acesso a um solver determinístico, a lacuna de desempenho entre diferentes LLMs praticamente desaparece.

O trabalho demonstra que agentes aumentados por ferramentas podem separar efetivamente a computação genuína da memorização e do palpite. Ele destaca que, embora os modelos atuais tenham dificuldade com análhas matemáticas complexas quando dependem apenas de conhecimento paramétrico, equipá-los com solvers especializados permite que alcancem uma precisão próxima da perfeição em tarefas que eram anteriormente insolúveis apenas por LLMs. Os autores observam limitações, incluindo o uso de um único alimentador radial equilibrado e o tempo necessário para a execução do solver, sugerindo que trabalhos futuros focarão em sistemas trifásicos desequilibrados e no ajuste fino de modelos menores usando os rastros de raciocínio do agente.