SPARC: A Multi-Agent System for Electrical Circuit Question Answering

Résumé Technique : SPARC – Un système multi-agents pour le questionnement sur les circuits électriques

Énoncé du problème
Répondre à des questions en langage naturel concernant des schémas de circuits électriques nécessite un raisonnement mathématique complexe fondé sur la physique. Bien que les modèles de langage multimodaux (LLM) aient atteint des performances solides dans le questionnement général basé sur des diagrammes, ils éprouvent des difficultés significatives avec les circuits électriques, n'atteignant qu'environ 51 % de précision sur les benchmarks existants. La difficulté fondamentale réside dans le fait que les équations requises ne sont pas fournies ; elles doivent être dérivées de la topologie du circuit, de la connectivité des composants et des lois physiques (par exemple, la loi d'Ohm, les lois de Kirchhoff). De plus, l'ingénierie du monde réel exige non seulement de la précision, mais aussi de la fiabilité ; les sorties probabilistes des LLM n'offrent aucune garantie de raisonnement correct, et vérifier leur validité mathématique nécessite généralement l'expertise de domaine même que l'automatisation cherche à remplacer. Les approches actuelles échouent souvent car elles tentent de résoudre ces problèmes de bout en bout ou s'appuient sur la génération de code symbolique (par exemple, Python/SymPy) qui nécessite que le modèle formule et résolve explicitement les équations directrices, un processus sujet aux erreurs.

Méthodologie : Le système SPARC
Les auteurs présentent SPARC (SPICE Program Analysis and Reasoning for Circuits), un système multi-agents qui fonde le raisonnement sur des simulations exécutables basées sur la physique en utilisant SPICE (Simulation Program with Integrated Circuit Emphasis), le cadre de référence pour la simulation de circuits. Plut-né de demander à un LLM de résoudre directement les mathématiques, SPARC utilise les LLM comme une interface pour traduire les questions et les diagrammes en programmes SPICE, tandis que le simulateur SPICE (ngspice) effectue le calcul réel.

Le système décompose la tâche en trois étapes distinctes, gérées par des agents spécialisés :

1. Configuration de la simulation :

   • Un Agent Planificateur analyse la question en langage naturel et le netlist du circuit pour déterminer le nombre de simulations nécessaires. Il décompose les requêtes complexes (par exemple, comparer deux états ou balayer des paramètres) en sous-questions indépendantes.
   • Il construit un état initial comprenant le diagramme du circuit, le netlist et un programme SPICE de base dérivé du netlist.

2. Exécution de la simulation :

   • Cette étape implique la génération de programmes SPICE exécutables pour chaque sous-question. SPARC emploie trois agents spécialisés pour modifier des sections disjointes du programme de base :
     • Agent de Spécification du Circuit : Met à jour les valeurs des composants (par exemple, résistances, sources de tension) basées sur des valeurs explicites dans la question ou infère des valeurs implicites (par exemple, « ondulation négligeable » impliquant une grande capacité). Il gère également les modèles de dispositifs manquants.
     • Agent de Spécification d'Analyse : Sélectionne le type d'analyse correct (DC, AC ou Transitoire) et configure les paramètres (par exemple, fréquence, pas de temps) en fonction de mots-clés spécifiques au domaine dans la question.
     • Agent de Spécification de Sortie : Détermine quelles mesures extraire (par exemple, tensions de nœuds, courants) et formule les directives SPICE appropriées (.print, .meas).
   • Gestion des erreurs : Si une simulation échoue, un Agent de Diagnostic d'Erreur analyse les journaux du simulateur pour identifier la cause profonde (par exemple, erreurs de syntaxe, paramètres incohérents). Il ré-invoque sélectivement uniquement l'agent défaillant pour appliquer un correctif ciblé, plutôt que de régénérer l'intégralité du programme. Cette boucle itérative continue jusqu'à ce que l'exécution réussisse ou qu'une limite de tentatives soit atteinte.

3. Analyse de la simulation :

   • Une fois que toutes les simulations s'exécutent avec succès, un Agent de Génération de Réponse agrège les journaux de sortie. En utilisant un modèle vision-langage (VLM) et un ensemble restreint d'outils de calcul spécifiques au domaine (par exemple, pour l'arithmétique de base ou la loi d'Ohm), il interprète les résultats de la simulation pour dériver la réponse finale à la question originale.

Principales contributions

• Architecture SPARC : L'introduction d'un système multi-agents qui synthétise, exécute et analyse des programmes SPICE, transférant la charge du raisonnement mathématique du LLM vers un simulateur physique vérifié.
• Nouveaux jeux de données : La création de deux jeux de données associant des diagrammes de circuits à des paires de questions-réponses complexes nécessitant une analyse mathématique :
  • CktBench : Une adaptation de EEE-Bench avec 1 205 points de données, augmentée de netlists correspondantes.
  • NetQ : Un jeu de données de 495 paires de questions-réponses générées automatiquement à partir du jeu de données AMSNet, où les questions sont dérivées des sorties de simulation pour garantir la justesse de la vérité de terrain (ground-truth).
• Diagnostic d'erreur structuré : L'implémentation d'une taxonomie d'erreurs systématique qui localise les échecs dans des étapes spécifiques du pipeline (configuration, exécution, analyse), permettant un débogage ciblé et une interprétabilité.

Résultats expérimentaux
Les auteurs ont évalué SPARC par rapport à des bases de référence de pointe, incluant le prompting Chain-of-Thought (COT) et les approches de génération de code (CODE) utilisant SymPy, à travers divers modèles (GPT-5.1, Claude Sonnet 4, GPT-4O, GLM-4.5V, Qwen3-VL).

• Précision : SPARC a atteint une précision de 83 % sur CktBench et 81,4 % sur NetQ.
• Amélioration : Cela représente une amélioration absolue de 30,3 % à 58,7 % par rapport aux bases de référence COT zero-shot et jusqu'à 60,8 % par rapport aux méthodes antérieures de QA visuel à usage général.
• Agnosticisme du modèle : Le système a fourni les gains les plus importants pour les modèles de base plus faibles (par exemple, une amélioration allant jusqu'à 58,6 % pour Qwen3 sur NetQ), réduisant efficacement l'écart de performance entre les modèles faibles et les modèles forts.
• Exécutabilité : Alors que la génération directe de code SPICE par les LLM via le prompting direct résultait en des programmes non exécutables dans jusqu'à 99,9 % des cas (exécutabilité aussi basse que 0,07 %), le pipeline de réparation multi-étapes de SPARC a atteint plus de 95 % d'exécutabilité.
• Analyse d'erreurs : L'étude a révélé que les principaux goulots d'étranglement n'étaient pas l'exécution de la simulation mais plutôt l'interprétation des résultats (mauvaise interprétation de journaux corrects) et la spécification des paramètres (mauvaise correspondance entre les contraintes de la question et les valeurs du circuit).

Signification et affirmations
L'article affirme que SPARC démontre l'efficacité du raisonnement natif au simulateur pour le questionnement complexe sur les circuits. En déléguant le raisonnement mathématique à SPICE, le système atteint une haute précision et, surtout, une fiabilité grâce à un calcul vérifiable. Les auteurs soulignent que leur approche répond à un défi unique et largement non résolu de l'IA multimodale : combler le fossé entre la perception visuelle des diagrammes de circuits et le raisonnement physique rigoureux. Le travail établit que, pour les domaines exigeant une exactitude de bout en bout stricte, la décomposition de la tâche en agents spécialisés interagissant avec des outils spécifiques au domaine est supérieure à la génération de bout en bout par un LLM. Les auteurs notent que si l'extraction du netlist reste un défi visuel, leur système répond avec succès au problème peu exploré de la synthèse de programmes de simulation exécutables à partir de spécifications en langage naturel.