A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?

Résumé technique : Une évaluation de référence sur le calcul de flux de puissance basé sur les LLM

Énoncé du problème
Le calcul de flux de puissance est un élément fondamental de la planification, de l'exploitation et de l'analyse de stabilité des réseaux électriques. Bien que les modèles de langage de grande taille (LLM) soient de plus en plus explorés en tant qu'outils d'aide à la décision pour les réseaux intelligents – allant du diagnostic de pannes aux questions-réponses des opérateurs – leur capacité à exécuter des algorithmes numériques précis reste non vérifiée. Plus spécifiquement, la méthode de Gauss-Seidel, un solveur itératif canonique enseigné dans les cursus d'ingénierie électrique, nécessite des calculs arithmétiques complexes, une convergence sur plusieurs passes et un suivi attentif des estimations intermédiaires de tension. Cet article comble le manque de compréhension concernant la capacité des LLM à exécuter de manière fiable de tels algorithmes itératifs classiques et examine comment les stratégies d'ingénierie des invites (par exemple, entrées structurées, chaîne de pensée, exemples few-shot) influencent la performance sur ces tâches.

Méthodologie
Les auteurs ont conçu une évaluation de référence contrôlée évaluant trois LLM à travers quatre formats d'invite distincts, utilisant un système de flux de puissance AC à trois bus.

• Système et solveur : Le banc d'essai est un système entièrement connecté à trois bus (un bus de référence, deux bus de charge PQ) avec des paramètres de branche ($R, X$) et des valeurs de charge aléatoires. Les solutions de référence ont été calculées numériquement à l'aide de Python (NumPy) avec une arithmétique en double précision. La méthode de Gauss-Seidel a été sélectionnée plutôt que la méthode de Newton-Raphson pour isoler la difficulté de l'arithmétique itérative de la complexité de la factorisation matricielle, garantissant ainsi que l'évaluation teste la capacité du modèle à suivre une procédure algorithmique connue.
• Modèles évalués :
  1. Gemini 2.5 Pro (Google DeepMind)
  2. Claude Sonnet 4.5 (Anthropic)
  3. GPT-3.5 Turbo (OpenAI) en tant que baseline de capacité inférieure.
• Formats d'invite : Quatre formats ont été testés pour faire varier la complexité de représentation :
  1. Narratif-final : Description en langage naturel du problème (style manuel) demandant uniquement la réponse finale.
  2. Narratif + Exemple : Le même récit plus un exemple résolu complet issu d'un manuel.
  3. Procédure-texte : Une procédure numérotée, étape par étape, avec des données en puces, exigeant un tableau de trace d'itération et la réponse finale.
  4. JSON structuré : Entrée JSON lisible par machine avec la procédure écrite, exigeant la même trace d'itération et la réponse finale.
• Évaluation : L'évaluation de référence a été exécutée sur 50 cas de test, avec une réplication indépendante de 100 cas. Les métriques comprenaient l'erreur absolue moyenne (MAE) en MW/MVar et le pourcentage de cas tombant dans des intervalles d'erreur relative spécifiques (<1 %, 1–5 %, 5–10 %, 10–20 %, >20 %). Les échecs (sorties non analysables) ont été comptabilisés dans l'intervalle d'erreur >20 % pour refléter la fiabilité de bout en bout.

Contributions clés

1. Conception de l'évaluation de référence : L'article présente la première étude contrôlée faisant varier systématiquement les formats d'invite pour un solveur de flux de puissance AC itératif classique, en maintenant l'algorithme et le réseau de test constants.
2. Analyse de la sensibilité aux invites : L'étude démontre que les effets de l'ingénierie des invites sont hautement dépendants du modèle. Pour le modèle le plus performant (Gemini 2.5 Pro), l'augmentation de la complexité de l'invite (passant du récit au JSON structuré avec traces d'itération) a dégradé significativement la performance, augmentant la MAE d'un facteur de 3,1. À l'inverse, l'ajout d'un exemple résolu a dégradé la performance de Gemini mais a procuré un gain marginal pour Claude.
3. Limites des capacités : Les auteurs établissent qu'aucune configuration testée n'a atteint une fiabilité suffisante pour une utilisation directe en tant que solveur numérique. GPT-3.5 Turbo a échoué sur au moins 90 % des cas dans tous les formats, tandis que même la configuration la plus performante (Gemini avec une invite narrative simple) n'a atteint que 54 % des cas dans une erreur relative de 5 %.

Résultats

• Gemini 2.5 Pro : A présenté la sensibilité la plus large au format d'invite. Le format le plus simple (narratif-final) a produit les meilleurs résultats (MAE = 0,257 MW/MVar ; 54 % des cas dans une erreur de 5 %). Le format le plus complexe (JSON structuré) a entraîné la pire performance (MAE = 0,789). L'ajout d'un exemple résolu a augmenté l'erreur de 73 %.
• Claude Sonnet 4.5 : A montré un profil de précision quasi plat sur tous les formats, avec environ 38 % des cas dans une erreur de 5 % indépendamment de la structure de l'invite. Le format procédure-texte a légèrement mieux performé pour Claude que pour Gemini, suggérant que l'optimisation des invites est spécifique au modèle.
• GPT-3.5 Turbo : A démontré une inefficacité quasi totale, avec 90 à 96 % des cas dépassant une erreur relative de 20 % dans tous les formats.
• Puissance active vs réactive : Une asymétrie constante a été observée où les erreurs de puissance réactive ($Q_g$) dépassaient les erreurs de puissance active ($P_g$) pour la plupart des configurations, potentiellement dû à une représentation moins fréquente de l'extraction de la partie imaginaire dans les données d'entraînement.
• Réplication : La réplication sur 100 cas a confirmé l'ordre qualitatif (Gemini $\gg$ Claude > GPT-3.5) et l'absence de précision de niveau solveur. Cependant, le format optimal pour Gemini a changé, passant du récit à la procédure-texte dans l'échantillon plus large, suggérant une sensibilité à la difficulté de l'instance ou à la variabilité d'échantillonnage.

Importance et affirmations
L'article conclut que si les LLM montrent des promesses pour des tâches de réseau de haut niveau (explication, questions-réponses), ils manquent actuellement de la fiabilité requise pour le calcul numérique direct du flux de puissance. Les résultats remettent en question l'hypothèse courante en ingénierie des invites selon laquelle fournir des instructions plus explicites et structurées améliore toujours la précision arithmétique ; dans ce domaine, des invites plus simples ont produit des résultats supérieurs pour le modèle le plus performant.

Les auteurs positionnent ce travail comme une ligne de base diagnostique pour les praticiens et les chercheurs. L'implication principale est que le déploiement de LLM pour l'aide à la décision des réseaux intelligents nécessite un calibrage attentif des formats d'invite basé sur le modèle spécifique, car « des invites plus détaillées » peuvent être contre-productives. De plus, l'étude affirme que les configurations actuelles de LLM ne devraient pas être utilisées comme remplacements aux solveurs numériques traditionnels dans des environnements de production, bien qu'elles puissent servir d'aides au raisonnement approximatif ou d'outils éducatifs.