Résumé Technique : VeraGrid-Agent

Énoncé du Problème

Les grands modèles de langage (LLM) ont démontré des capacités significatives en génération de code et en raisonnement, menant à leur exploration dans des domaines scientifiques et d'ingénierie tels que les réseaux électriques. Cependant, répondre à des questions complexes concernant l'optimisation du flux de puissance en mode de distribution (D-OPF) présente un défi unique. Ces questions nécessitent souvent la résolution de problèmes numériques non convexes et NP-difficiles impliquant des équations de flux de puissance en courant alternatif (AC), des ressources énergétiques distribuées (DER) et des contraintes de réseau.

Lorsque les LLM tentent de répondre à ces questions en utilisant uniquement des connaissances paramétriques (mémoire), ils sont contraints de deviner, produisant souvent des sorties numériquement incorrectes. L'article soutient que le raisonnement linguistique seul est insuffisant pour des tâches exigeant une simulation numérique précise, comme la détermination des élévations de tension aux nœuds PV, les capacités de bus, l'écrêtage des DER ou les pertes sur les départs. Le problème central est de distinguer le raisonnement de calcul authentique de la mémorisation ou de l'hallucination dans le raisonnement scientifique.

Méthodologie

Pour y remédier, les auteurs proposent VeraGrid-Agent, un cadre de LLM augmenté par des outils conçu pour résoudre de manière autonome les problèmes de D-OPF. La méthodologie repose sur un flux de travail en boucle fermée où le LLM agit comme un contrôleur pour un solveur externe plutôt que de s'appuyer sur ses connaissances internes.

1. Le Flux de Travail de l'Agent

L'agent opère dans un espace de travail isolé et suit un cadre ReAct (Raisonnement + Action). Pour chaque requête, l'agent :

• Écrit l'Entrée : Génère un fichier d'entrée JSON décrivant le graphe du départ, les bus, les branches, les charges et les configurations de DER basés sur la description du problème.
• Exécute le Solveur : Appelle le simulateur open-source VeraGrid, qui résout numériquement le problème AC-OPF.
• Lit la Sortie : Le solveur renvoie des métadonnées d'exécution et une table des matières plutôt que la solution complète afin de maintenir la fenêtre de contexte compacte. L'agent effectue ensuite des lectures ciblées de lignes de résultats spécifiques (par exemple, des flux de lignes ou des tensions de bus spécifiques).
• Sélectionne la Réponse : Interprète les données numériques récupérées pour sélectionner l'option correcte d'une question à choix multiples (QCM).

Le système est limité par un nombre maximal d'itérations ($T_{max}$) pour éviter les boucles infinies, bien que la plupart des requêtes soient résolues en quelques étapes.

2. Le Benchmark : VeraGrid-MCQ-150

Pour évaluer la performance, les auteurs introduisent VeraGrid-MCQ-150, un benchmark déterministe piloté par des modèles consistant en 150 questions à choix multiples.

• Génération : Les questions sont générées par des modèles définis par des experts où la vérité terrain est calculée directement par le simulateur VeraGrid. Cela garantit que chaque réponse est une fonction déterministe d'un enregistrement de réseau spécifique résolu.
• Niveaux de Difficulté :
  • Facile (50 questions) : Récupération directe (ex: magnitudes de tension de nœud, comptage d'éléments).
  • Moyen (50 questions) : Dérivations en une étape (ex: conversion par unité, magnitude d'impédance de ligne, facteur de puissance).
  • Difficile (50 questions) : Calcul multi-étapes et inférence inter-tables (ex: pertes de branche agrégées, puissance de réserve nette, marges thermiques).
• Métrique d'Évaluation : La précision est mesurée par le pourcentage d'étiquettes prédites correctement ($\hat{\ell}$) par rapport à la vérité terrain ($\ell^*$), en traitant les réponses malformées ou manquantes comme incorrectes.

Principales Contributions

L'article apporte trois contributions majeures :

1. Architecture Augmentée par des Outils : Un nouveau cadre pour l'analyse D-OPF où le LLM écrit les entrées du simulateur, exécute le solveur VeraGrid et lit les résultats pertinents, garantissant que chaque réponse est traçable jusqu'à la sortie du solveur.
2. Benchmark Déterministe : L'introduction de VeraGrid-MCQ-150, un banc d'essai reproductible avec une vérité terrain vérifiée qui évalue la capacité d'un agent à récupérer des informations quantitatives à partir d'un réseau résolu, empêissant ainsi le recours à la mémorisation statique.
3. Étude Empirique : Une évaluation complète de sept LLM différents sous deux régimes : "sans outil" (raisonnement à partir de la description seule) et "agent" (augmenté par des outils). L'étude analyse les gains de performance et les modes de défaillance.

Résultats

Les auteurs ont évalué sept modèles (incluant GPT-5.2, Claude Sonnet 4.5, Gemini 3 Flash, Grok 4.3/4.5, Composer 2.5 et Opus 4.8) sur le cas de test de départ radial à 8 bus.

• Régime Sans Outil : Sans accès au solveur, tous les modèles ont performé faiblement, avec des précisions globales allant de 41,3 % à 49,3 %. Cela confirme que les connaissances paramétriques sont insuffisantes pour ces tâches numériques.
• Régime Augmenté par des Outils : Avec le VeraGrid-Agent, la précision s'est considérablement améliorée pour tous les modèles, allant de 97,3 % à 100,0 %.
  • Gemini 3 Flash, Grok 4.3 et Grok 4.5 ont atteint une précision parfaite de 100 %.
  • GPT-5.2 et Claude Sonnet 4.5 n'ont manqué qu'une seule question difficile chacun.
  • Opus 4.8 et Composer 2.5 ont manqué respectivement deux et quatre questions.
• Analyse des Modes de Défaillance : Les rares erreurs restantes n'étaient pas dues à des échecs d'exécution du solveur (aucun timeout ou erreur d'exécution ne s'est produit). Au lieu de cela, les erreurs provenaient de mauvaises interprétations lors du raisonnement multi-étapes, comme l'agrégation des pertes de branche à une terminaison unique ou la confusion entre l'écrêtage des DER et la répartition (dispatch).
• Impact des Outils : L'amélioration a été la plus significative pour les questions nécessitant un calcul numérique (ex: pertes de départ, élévations de tension). Les questions pouvant être répondues à partir de la description du prompt (ex: topologie, paramètres de ligne) ont montré peu d'amélioration, car la base de référence sans outil était déjà relativement élevée pour ces catégories spécifiques.

Signification et Revendications

L'article affirme que pour les tâches d'ingénierie ancrées et numériquement intensives comme l'analyse de l'extrémité du réseau, l'accès à des outils de calcul externes est plus critique que le choix du modèle de base (backbone) du LLM. Une fois que l'agent a accès à un solveur déterministe, l'écart de performance entre les différents LLM disparaît largement.

Le travail démontre que les agents augmentés par des outils peuvent efficacement séparer le calcul authentique de la mémorisation et de la supposition. Il souligne que si les modèles actuels peinent avec l'analyse mathématique complexe lorsqu'ils s'appuient uniquement sur des connaissances paramétriques, les doter de solveurs spécialisés leur permet d'atteindre une précision quasi parfaite sur des tâches qui étaient auparavant insolubles par les LLM seuls. Les auteurs notent des limites, notamment l'utilisation d'un seul départ radial équilibré et le temps requis pour l'exécution du solveur, suggérant que les travaux futurs se concentreront sur les systèmes triphasés déséquilibrés et l'ajustement fin de modèles plus petits en utilisant les traces de raisonnement de l'agent.