Resumen Técnico: ¿Cómo se desempeñan los agentes de LLM aumentados con herramientas en tareas de analítica energética del mundo real?

Declaración del Problema

Si bien los benchmarks agénticos han madurado en dominios como las finanzas, la programación, el derecho y el descubrimiento de fármacos, el sector energético sigue estando críticamente desatendido. Las evaluaciones existentes en energía se limitan en gran medida a la recuperación de conocimiento estático (por ejemplo, preguntas de opción múltiple) o tareas predictivas como la previsión de carga utilizando datos históricos. Existe una brecha significativa al evaluar si los agentes de Modelos de Lenguaje Extensos (LLM) pueden ejecutar flujos de trabajo analíticos de extremo a extremo y de múltiples pasos bajo restricciones del mundo real. Estos flujos de trabajo requieren la recuperación de datos en vivo de los mercados ISO/RTO, la interpretación de documentos regulatorios complejos y la modelización cuantitativa para la optimación de activos—tareas donde los errores conllevan consecuencias financieras y operativas materiales. Los benchmarks actuales no logran evaluar la interacción entre la capacidad del modelo y las herramientas específicas del dominio en entornos profesionales de alto riesgo.

Metodología

Los autores introducen EnergyEvals, un estudio empírico y un marco de evaluación diseñado para evaluar agentes de LLM aumentados con herramientas en tareas de analítica energética del mundo real.

1. Conjunto de Datos del Benchmark

El estudio utiliza un corpus de 243 tareas curadas por expertos, desarrolladas por profesionales con formación de nivel doctoral y más de 25 años de experiencia combinada en la industria (por ejemplo, de McKinsey, GE, ICF). Las tareas están estratificadas en tres áreas de capacidad y tres niveles de dificultad (Fácil, Medio, Difícil):

• Recuperación y Análisis de Datos de Mercado (Datos): Extracción y agregación de precios en vivo, servicios auxiliares y datos de despacho desde APIs de ISO/RTO.
• Recuperación e Interpretación de Conocimiento (Conocimiento): Navegación de expedientes regulatorios, tarifas de servicios públicos y manuales de interconexión para responder preguntas procedimentales.
• Modelización Cuantitativa Avanzada (Cuant): Modelización financiera de múltiples pasos, incluyendo la estimación de ingresos de baterías, el cálculo del IRR y la optimación bajo restricciones operativas.

Una característica de diseño única es la construcción de prompts pareados, donde las tareas están disponibles con y sin especificaciones explícitas de la fuente para evaluar el impacto del andamiaje de la fuente.

2. Arquitectura del Agente y Suite de Herramientas

Los agentes se implementan utilizando un marco ReAct (Pensamiento $\to$ Acción $\to$ Observación), lo que permite un razonamiento iterativo y la invocación de herramientas. El entorno proporciona acceso a una suite configurable de nueve herramientas específicas del dominio, que incluyen:

• APIs de mercado eléctrico en vivo para los principales ISO de EE. UU.
• Búsqueda de expedientes regulatorios y bases de datos de tarifas de servicios públicos.
• Modelos de optimación de activos (por ejemplo, ingresos de baterías, simulación de generación renovable).
• Generación aumentada por recuperación (RAG) sobre documentos de mercado.

3. Protocolo de Evaluación

El desempeño se evalúa mediante un protocolo multidimensional utilizando un marco de LLM como juez (calibrado con revisión de expertos humanos) a través de tres dimensiones:

• Corrección del Enfoque (1–5): Evalúa la secuenciación lógica de las llamadas a herramientas y la alineación con las estrategias de analistas profesionales.
• Precisión de la Respuesta / Alineación de Atributos (0–1): Mide la corrección factual y la adherencia a las restricciones (temporales, geográficas, unidades). Para tareas cuantitativas, esto implica una comparación basada en tolerancia; para tareas cualitativas, implica la coincidencia de atributos específicos.
• Validez de la Fuente (1–5): Penaliza las citas alucinadas, la fabricación de versiones de documentos o la dependencia de fuentes inapropiadas.

El estudio evalúa siete LLMs de frontera (cuatro de código cerrado: GPT-5.2, GPT-5-mini, Gemini-3.1-Pro, Claude Sonnet 4.6; tres de código abierto: Kimi-K2.5, Qwen3-Max-Thinking, DeepSeek-V3.2) bajo configuraciones de bajo esfuerzo de razonamiento para simular entornos profesionales con restricciones de costo.

Resultados Clave

La evaluación de los siete modelos revela varios conocimientos críticos respecto al estado de los sistemas agénticos en el dominio de la energía:

• Brecha de Desempeño: Los modelos de código cerrado generalmente superan a los modelos de código abierto. Gemini-3.1-Pro logró la mayor precisión (62%), seguido de GPT-5.2 (57%) y Claude Sonnet 4.6 (56%). El mejor modelo de código abierto, Kimi-K2.5, puntuó 49%, aunque lo hizo a un costo significativamente menor (58% del costo de GPT-5.2).
• Planificación vs. Ejecución: Aunque los modelos demuestran generalmente una Corrección de Enfoque razonable (puntuando ~3.4–3.9 de 5), existe una brecha distintiva entre proponer una estrategia analítica válida y ejecutarla con alta precisión. Esto sugiere que, si bien los modelos pueden razonar sobre cómo resolver un problema, la ejecución confiable requiere un conocimiento más profundo del dominio para estructurar flujos de trabajo y validar datos.
• Déficit de Validez de la Fuente: Las puntuaciones de atribución de fuentes fueron generalmente bajas en todos los modelos. Los modelos fallaron frecuentemente al citar fuentes o alulascionaron versiones de documentos, lo que indica que la referencia de fuentes confiable aún no es un comportamiento emergente y requiere prompting explícito o guía de expertos.
• Impacto de las Ventanas de Contexto: Los modelos con ventanas de contexto más cortas (por ejemplo, DeepSeek-V3.2, Kimi-K2.5) exhibieron tasas de falla significativamente más altas (hasta un 20.2%) debido a limitaciones de contexto o bucles de aclaración, mientras que los modelos con ventanas más grandes (400k+ tokens) mantuvieron tasas de falla por debajo del 3.2%.
• Necesidad de Herramientas: Eliminar las herramientas específicas del dominio resultó en una caída drástica del desempeño. En algunos casos, las puntuaciones de precisión se redujeron a la mitad cuando los agentes se vieron obligados a depender de su conocimiento interno en lugar de herramientas en vivo, subrayando la dependencia crítica de la analítica energética de la recuperación de datos externos.
• Eficiencia de Tokens: Un mayor uso de tokens no se correlacionó con un mejor desempeño; algunos modelos de menor rendimiento consumieron significativamente más tokens, mientras que los mejores respondedores variaron en eficiencia.

Significancia y Reivindicaciones

El artículo afirma que EnergyEvals es el primer benchmark que evalúa rigurosamente agentes aumentados con herramientas en flujos de trabajo de analítica energética del mundo real, yendo más allá de la recuperación estática hacia la resolución de problemas dinámicos de múltiples pasos.

Los autores sostienen que, si bien los agentes aumentados con herramientas pueden abordar tareas energéticas específicas, la guía de expertos sigue siendo esencial para cerrar la brecha entre un desempeño "generalmente bueno" y resultados "excepcionalmente perspicaces". El estudio destaca que los modelos de frontera actuales, incluso cuando están equipados con herramientas, luchan con la validez de las fuentes y la orquestación de flujos de trabajo complejos sin la supervisión de un humano en el bucle (human-in-the-loop).

El trabajo contribuye con un conjunto de datos de liberación pública, un marco de evaluación, código de puntuación y trazas de ejecución para apoyar la reproducibilidad. Los autores posicionan esto como un paso fundacional, con iteraciones futuras planeadas para expandirse geográficamente más allá de los EE. UU., cubrir subdominios de energía adicionales y explorar configuraciones de razonamiento más altas.