Resumo Técnico: Como Agentes de LLM Aumentados por Ferramentas Desempenham em Tarefas de Análise de Energia do Mundo Real?

Declaração do Problema

Embora os benchmarks de agentes tenham amadurecido em domínios como finanças, programação, direito e descoberta de fármacos, o setor de energia permanece criticamente desatendido. As avaliações existentes em energia limitam-se amplamente à recuperação de conhecimento estático (ex: perguntas de múltipla escolha) ou tarefas preditivas, como previsão de carga usando dados históricos. Existe uma lacuna significativa na avaliação se agentes de Modelos de Linguagem de Grande Escala (LLM) podem executar fluxos de trabalho analíticos de ponta a ponta e de múltiplas etapas sob restrições do mundo real. Esses fluxos de trabalho exigem a recuperação de dados ao vivo de mercados ISO/RTO, interpretação de documentos regulatórios complexos e modelagem quantitativa para otimização de ativos — tarefas onde erros carregam consequências financeiras e operacionais materiais. Os benchmarks atuais falham em avaliar a interação entre a capacidade do modelo e as ferramentas específicas do domínio em ambientes profissionais de alto risco.

Metodologia

Os autores introduzem o EnergyEvals, um estudo empírico e um framework de avaliação projetado para avaliar agentes de LLM aumentados por ferramentas em tarefas de análise de energia do mundo real.

1. Conjunto de Dados de Benchmark

O estudo utiliza um corpus de 243 tarefas curadas por especialistas, desenvolvidas por profissionais com treinamento de nível doutoral e mais de 25 anos de experiência combinada na indústria (ex: da McKinsey, GE, ICF). As tarefas são estratificadas em três áreas de capacidade e três níveis de dificuldade (Fácil, Médio, Difícil):

• Recuperação e Análise de Dados de Mercado (Dados): Extração e agregação de preços ao vivo, serviços ancilares e dados de despacho de APIs de ISO/RTO.
• Recuperação de Conhecimento e Interpretação (Conhecimento): Navegação em processos regulatórios, tarifas de concessionárias e manuais de interconexão para responder a questões procedimentais.
• Modelagem Quantitativa Avançada (Quant): Modelagem financeira de múltiplas etapas, incluindo estimativa de receita de baterias, computação de IRR e otimização sob restrições operacionais.

Uma característica de design única é a construção de prompts pareados, onde as tarefas estão disponíveis com e sem especificações explícitas de fontes para avaliar o impacto do scaffolding de fontes.

2. Arquitetura do Agente e Suíte de Ferramentas

Os agentes são implementados usando um framework ReAct (Pensamento $\to$ Ação $\to$ Observação), permitindo raciocínio iterativo e invocação de ferramentas. O ambiente fornece acesso a uma suíte configurável de nove ferramentas específicas do domínio, incluindo:

• APIs de mercado de eletricidade ao vivo para os principais ISOs dos EUA.
• Busca em processos regulatórios e bancos de dados de tarifas de concessionárias.
• Modelos de otimização de ativos (ex: receita de bateria, simulação de geração renovável).
• Geração aumentada por recuperação (RAG) sobre documentos de mercado.

3. Protocolo de Avaliação

O desempenho é avaliado via um protocolo multidimensional usando um framework de LLM-como-juiz (calibrado com revisão de especialistas humanos) através de três dimensões:

• Corretude da Abordagem (1–5): Avalia o sequenciamento lógico das chamadas de ferramentas e o alinhamento com estratégias de analistas profissionais.
• Precisão da Resposta / Alinhamento de Atributos (0–1): Mede a correção factual e a adesão a restrições (temporais, geográficas, unidades). Para tarefas quantitativas, isso envolve comparação baseada em tolerância; para tarefas qualitativas, envolve a correspondência de atributos específicos.
• Validade da Fonte (1–5): Penaliza citações alucinadas, versões de documentos fabricadas ou dependência de fontes inapropriadas.

O estudo avalia sete LLMs de fronteira (quatro de código fechado: GPT-5.2, GPT-5-mini, Gemini-3.1-Pro, Claude Sonnet 4.6; três de código aberto: Kimi-K2.5, Qwen3-Max-Thinking, DeepSeek-V3.2) sob configurações de baixo esforço de raciocínio para simular ambientes profissionais com restrição de custo.

Principais Resultados

A avaliação dos sete modelos revela vários insights críticos sobre o estado dos sistemas de agentes no domínio da energia:

• Lacuna de Desempenho: Modelos de código fechado geralmente superam os modelos de código aberto. O Gemini-3.1-Pro alcançou a maior precisão (62%), seguido pelo GPT-5.2 (57%) e Claude Sonnet 4.6 (56%). O melhor modelo de código aberto, Kimi-K2.5, pontuou 49%, embora o tenha feito a um custo significativamente menor (58% do custo do GPT-5.2).
• Planejamento vs. Execução: Embora os modelos demonstrem geralmente uma Corretude de Abordagem razoável (pontuando ~3.4–3.9 de 5), existe uma distinção clara entre propor uma estratégia analítica válida e executá-la com alta precisão. Isso sugere que, embora os modelos possam raciocinar sobre como resolver um problema, a execução confiável requer um conhecimento mais profundo do domínio para estruturar fluxos de trabalho e validar dados.
• Déficit de Validade de Fonte: As pontuações de atribuição de fonte foram geralmente baixas em todos os modelos. Os modelos frequentemente falharam em citar fontes ou alucinaram versões de documentos, indicando que a referência de fontes confiáveis ainda não é um comportamento emergente e requer prompting explícito ou orientação de especialistas.
• Impacto das Janelas de Contexto: Modelos com janelas de contexto mais curtas (ex: DeepSeek-V3.2, Kimi-K2.5) exibiram taxas de falha significativamente mais altas (até 20.2%) devido a limitações de contexto ou loops de esclarecimento, enquanto modelos com janelas maiores (400k+ tokens) mantiveram taxas de falha abaixo de 3.2%.
• Necessidade de Ferramentas: A remoção de ferramentas específicas do domínio resultou em uma queda drástica de desempenho. Em alguns casos, as pontuações de precisão foram reduzidas pela metade quando os agentes foram forçados a depender de conhecimento interno em vez de ferramentas ao vivo, ressaltando a dependência crítica da análise de energia na recuperação de dados externos.
• Eficiência de Tokens: O uso de tokens mais altos não correlacionou com melhor desempenho; alguns modelos de menor desempenho consumiram significativamente mais tokens, enquanto os melhores desempenhos variaram em eficiência.

Significância e Alegações

O artigo afirma que o EnergyEvals é o primeiro benchmark a avaliar rigorosamente agentes aumentados por ferramentas em fluxos de trabalho de análise de energia do mundo real, indo além da recuperação estática para a resolução de problemas de múltiplas etapas e dinâmicos.

Os autores afirmam que, embora os agentes aumentados por ferramentas possam lidar com tarefas específicas de energia, a orientação de especialistas continua sendo essencial para preencher a lacuna entre um desempenho "geralmente bom" e resultados "excepcionalmente perspicazes". O estudo destaca que os modelos de fronteira atuais, mesmo equipados com ferramentas, lutam com a validade da fonte e a orquestração de fluxos de trabalho complexos sem a supervisão de um humano no ciclo (human-in-the-loop).

O trabalho contribui com um conjunto de dados lançado publicamente, framework de avaliação, código de pontuação e rastros de execução para apoiar a reprodutibilidade. Os autores posicionam isso como um passo fundamental, com futuras iterações planejadas para expandir geograficamente além dos EUA, cobrir subdomínios de energia adicionais e explorar configurações de raciocínio mais elevadas.