A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?

Resumen Técnico: Una Referencia para el Cálculo de Flujo de Potencia Basado en Modelos de Lenguaje Grande

Planteamiento del Problema
El cálculo del flujo de potencia es un elemento fundamental en la planificación, operación y análisis de estabilidad de la red eléctrica. Si bien los Modelos de Lenguaje Grande (LLM) se exploran cada vez más como herramientas de apoyo a la decisión para redes inteligentes, que van desde el diagnóstico de fallas hasta la respuesta a preguntas de operadores, su capacidad para ejecutar algoritmos numéricos precisos sigue sin verificarse. Específicamente, el método de Gauss-Seidel, un solucionador iterativo canónico enseñado en los planes de estudio de ingeniería eléctrica, requiere aritmética compleja, convergencia en múltiples pasos y un seguimiento cuidadoso de las estimaciones intermedias de voltaje. Este artículo aborda la brecha en la comprensión de si los LLM pueden ejecutar de manera fiable dichos algoritmos iterativos clásicos e investiga cómo las estrategias de ingeniería de prompts (por ejemplo, entradas estructuradas, cadena de pensamiento, ejemplos de pocos disparos) influyen en el rendimiento en estas tareas.

Metodología
Los autores diseñaron una referencia controlada que evalúa tres LLM a través de cuatro formatos de prompt distintos, utilizando un sistema de flujo de potencia CA de tres barras.

• Sistema y Solucionador: La plataforma de prueba es un sistema de tres barras totalmente conectado (una barra de referencia, dos barras de carga PQ) con parámetros de rama ($R, X$) y valores de carga aleatorizados. Las soluciones de referencia se calcularon numéricamente utilizando Python (NumPy) con aritmética de doble precisión. Se seleccionó el método de Gauss-Seidel sobre el de Newton-Raphson para aislar la dificultad de la aritmética iterativa de la complejidad de la factorización de matrices, asegurando que la referencia pruebe la capacidad del modelo para seguir un procedimiento algorítmico conocido.
• Modelos Evaluados:
  1. Gemini 2.5 Pro (Google DeepMind)
  2. Claude Sonnet 4.5 (Anthropic)
  3. GPT-3.5 Turbo (OpenAI) como línea base de menor capacidad.
• Formatos de Prompt: Se probaron cuatro formatos para variar la complejidad representacional:
  1. Narrativa-final: Descripción en lenguaje natural del problema (estilo de libro de texto) solicitando únicamente la respuesta final.
  2. Narrativa+Ejemplo: La misma narrativa más un ejemplo completo resuelto de un libro de texto.
  3. Procedimiento-texto: Un procedimiento numerado, paso a paso, con datos en viñetas, que requiere una tabla de trazado de iteraciones y la respuesta final.
  4. JSON-Estructurado: Entrada JSON legible por máquina con el procedimiento escrito, requiriendo el mismo trazado de iteraciones y la respuesta final.
• Evaluación: La referencia se ejecutó en 50 casos de prueba, con una réplica independiente de 100 casos. Las métricas incluyeron el Error Absoluto Medio (MAE) en MW/MVar y el porcentaje de casos que caen dentro de intervalos de error relativo específicos (<1%, 1–5%, 5–10%, 10–20%, >20%). Los fallos (salidas no analizables) se contaron en el intervalo de error >20% para reflejar la fiabilidad de extremo a extremo.

Contribuciones Clave

1. Diseño de Referencia: El artículo presenta el primer estudio controlado que varía sistemáticamente los formatos de prompt para un solucionador clásico iterativo de flujo de potencia CA, manteniendo constantes el algoritmo y la red de prueba.
2. Análisis de Sensibilidad al Prompt: El estudio demuestra que los efectos de la ingeniería de prompts dependen altamente del modelo. Para el modelo más capaz (Gemini 2.5 Pro), aumentar la complejidad del prompt (pasando de narrativa a JSON estructurado con trazas de iteración) degradó significativamente el rendimiento, aumentando el MAE en un factor de 3.1×. Por el contrario, añadir un ejemplo resuelto degradó el rendimiento de Gemini, pero proporcionó una ganancia marginal para Claude.
3. Límites de Capacidad: Los autores establecen que ninguna configuración probada alcanzó una fiabilidad suficiente para su uso directo como solucionador numérico. GPT-3.5 Turbo falló en al menos el 90% de los casos en todos los formatos, mientras que incluso la configuración de mejor rendimiento (Gemini con un prompt narrativo simple) logró que solo el 54% de los casos estuvieran dentro de un error relativo del 5%.

Resultados

• Gemini 2.5 Pro: Exhibió la mayor sensibilidad al formato del prompt. El formato más simple (narrativa-final) arrojó los mejores resultados (MAE = 0.257 MW/MVar; 54% de los casos dentro del 5% de error). El formato más complejo (JSON-estructurado) resultó en el peor rendimiento (MAE = 0.789). Añadir un ejemplo resuelto aumentó el error en un 73%.
• Claude Sonnet 4.5: Mostró un perfil de precisión casi plano en todos los formatos, con aproximadamente el 38% de los casos dentro del 5% de error independientemente de la estructura del prompt. El formato de procedimiento-texto funcionó ligeramente mejor para Claude que para Gemini, lo que sugiere que la optimización del prompt es específica del modelo.
• GPT-3.5 Turbo: Demostró una ineficacia casi total, con el 90–96% de los casos superando el 20% de error relativo en todos los formatos.
• Potencia Activa vs. Reactiva: Se observó una asimetría consistente donde los errores en la potencia reactiva ($Q_g$) superaron a los errores en la potencia activa ($P_g$) para la mayoría de las configuraciones, posiblemente debido a una representación menos frecuente de la extracción de la parte imaginaria en los datos de entrenamiento.
• Réplica: La réplica de 100 casos confirmó el ordenamiento cualitativo (Gemini $\gg$ Claude > GPT-3.5) y la falta de precisión de nivel de solucionador. Sin embargo, el formato óptimo para Gemini cambió de narrativa a procedimiento-texto en la muestra más grande, lo que sugiere sensibilidad a la dificultad de la instancia o a la variabilidad de muestreo.

Significado y Afirmaciones
El artículo concluye que, si bien los LLM muestran promesa para tareas de alto nivel en la red (explicación, preguntas y respuestas), actualmente carecen de la fiabilidad requerida para el cálculo numérico directo del flujo de potencia. Los hallazgos desafían la suposición común en la ingeniería de prompts de que proporcionar instrucciones más explícitas y estructuradas siempre mejora la precisión aritmética; en este dominio, los prompts más simples produjeron resultados superiores para el modelo de mejor rendimiento.

Los autores posicionan este trabajo como una línea base diagnóstica para profesionales e investigadores. La implicación principal es que el despliegue de LLM para el apoyo a la decisión en redes inteligentes requiere una calibración cuidadosa de los formatos de prompt basada en el modelo específico, ya que "una prompt más detallada" puede ser contraproducente. Además, el estudio afirma que las configuraciones actuales de LLM no deben utilizarse como reemplazos de los solucionadores numéricos tradicionales en entornos de producción, aunque pueden servir como ayudas para el razonamiento aproximado o herramientas educativas.