SPARC: A Multi-Agent System for Electrical Circuit Question Answering

Technische Samenvatting: SPARC – Een Multi-Agent Systeem voor het Beantwoorden van Vragen over Elektrische Circuits

Probleemstelling
Het beantwoorden van natuurlijke taalvragen over elektrische circuitdiagrammen vereist complexe wiskundige redenering die geworteld is in de natuurkunde. Hoewel multimodale Large Language Models (LLM's) sterke prestaties hebben behaald bij algemene diagramgebaseerde vraagbeantwoording, worstelen ze aanzienlijk met elektrische circuits en behalen ze slechts ~51% nauwkeurigheid op bestaande benchmarks. De kern van de moeilijkheid ligt in het feit dat de benodigde vergelijkingen niet worden meegeleverd; deze moeten worden afgeleid uit de topologie van het circuit, de componentverbindingen en de natuurkundige wetten (bijv. de wet van Ohm, de wetten van Kirchhoff). Bovendien vereist echte engineering niet alleen nauwkeurigheid, maar ook betrouwbaarheid; probabilistische LLM-outputs bieden geen garantie op correcte redenering, en het verifiëren van hun wiskundige geldigheid vereist doorgaans juist de domeinkennis die automatisering probeert te vervangen. Huidige benaderingen falen vaak omdat ze proberen deze problemen end-to-end op te lossen of vertrouwen op het genereren van symbolische code (bijv. Python/SymPy), wat vereist dat het model expliciet sturende vergelijkingen formuleert en oplost, een proces dat gevoelig is voor fouten.

Methodologie: Het SPARC-systeem
De auteurs presenteren SPARC (SPICE Program Analysis and Reasoning for Circuits), een multi-agent systeem dat redenering fundeert in uitvoerbare, op fysica gebaseerde simulaties met behulp van SPICE (Simulation Program with Integrated Circuit Emphasis), het de facto framework voor circuitsimulatie. In plaats van een LLM direct de wiskunde te laten oplossen, gebruikt SPARC LLM's als een interface om vragen en diagrammen te vertalen naar SPICE-programma's, terwijl de SPICE-simulator (ngspice) de eigenlijke berekening uitvoert.

Het systeem deelt de taak op in drie afzonderlijke stadia, beheerd door gespecialiseerde agents:

1. Simulatie Setup:

   • Een Planner Agent analyseert de natuurlijke taalvraag en het circuit netlijst om het aantal vereiste simulaties te bepalen. Het deelt complexe queries op (bijv. het vergelijken van twee toestanden of het doorlopen van parameters) in onafhankelijke subvragen.
   • Het construeert een initiële staat die het circuitdiagram, de netlijst en een basis SPICE-programma bevat, afgeleid van de netlijst.

2. Simulatie Executie:

   • Deze fase houdt het genereren van uitvoerbare SPICE-programma's in voor elke subvraag. SPARC gebruikt drie gespecialiseerde agents om disjuncte secties van het basisprogramma aan te passen:
     • Circuit Specification Agent: Actualiseert componentwaarden (bijv. weerstanden, spanningsbronnen) op basis van expliciete waarden in de vraag of leidt impliciete waarden af (bijv. "verwaarloosbare rimpel" impliceert een grote capaciteit). Het handelt ook ontbrekende device-modellen af.
     • Analysis Specification Agent: Selecteert het juiste type analyse (DC, AC of Transient) en configureert parameters (bijv. frequentie, tijdstappen) op basis van domeinspecifieke trefwoorden in de vraag.
     • Output Specification Agent: Bepaalt welke metingen geëxtraheerd moeten worden (bijv. knooppuntenspanningen, stromen) en formuleert de passende SPICE-directives (.print, .meas).
   • Foutafhandeling: Als een simulatie faalt, analyseert een Error Diagnoser Agent de simulatorlogs om de oorzaak te identificeren (bijv. syntactische fouten, inconsistente parameters). Het roept selectief alleen de defecte agent opnieuw aan om een gerichte reparatiepatch toe te passen, in plaats van het gehele programma te regenereren. Deze iteratieve lus gaat door tot de uitvoering slaagt of een herhalingslimiet is bereikt.

3. Simulatie Analyse:

   • Zodra alle simulaties succesvol zijn uitgevoerd, aggregeert een Answer Generation Agent de outputlogs. Met behulp van een Vision-Language Model (VLM) en een beperkte set domeinspecifieke computationele tools (bijv. voor basisrekenkunde of de wet van Ohm), interpreteert het de simulatieresultaten om het uiteindelijke antwoord op de oorspronkelijke vraag af te leiden.

Belangrijkste Bijdragen

• SPARC Architectuur: De introductie van een multi-agent systeem dat SPICE-programma's synthetiseert, uitvoert en analyseert, waardoor de last van de wiskundige redenering wordt verschoven van de LLM naar een geverifieerde, op fysica gebaseerde simulator.
• Nieuwe Datasets: De creatie van twee datasets die circuitdiagrammen koppelen aan complexe QA-paren die wiskundige analyse vereisen:
  • CktBench: Een adaptatie van EEE-Bench met 1.205 datapunten, aangevuld met bijbehorende netlijsten.
  • NetQ: Een dataset van 495 QA-paren die automatisch zijn gegenereerd uit de AMSNet dataset, waarbij vragen zijn afgeleid van simulatie-outputs om de grondwaarheid (ground-truth) correctheid te waarborgen.
• Gestructureerde Foutdiagnose: De implementatie van een systematische fouttaxonomie die fouten lokaliseert naar specifieke pijplijnstadia (setup, executie, analyse), wat gerichte debugging en interpreteerbaarheid mogelijk maakt.

Experimentele Resultaten
De auteurs hebben SPARC geëvalueerd tegen state-of-the-art baselines, inclusief Chain-of-Thought (COT) prompting en code generatie (CODE) benaderingen met SymPy, over diverse modellen (GPT-5.1, Claude Sonnet 4, GPT-4O, GLM-4.5V, Qwen3-VL).

• Nauwkeurigheid: SPARC behaalde 83% nauwkeurigheid op CktBench en 81,4% op NetQ.
• Verbetering: Dit vertegenwoordigt een absolute verbetering van 30,3% tot 58,7% ten opzichte van zero-shot COT baselines en tot wel 60,8% ten opzichte van eerdere algemene visuele QA-methoden.
• Model Agnosticisme: Het systeem leverde de grootste winst voor zwakkere basismodellen (bijv. een verbetering van maar liefst 58,6% voor Qwen3 op NetQ), waardoor de prestatiekloof tussen zwakke en sterke modellen effectief werd verkleind.
• Uitvoerbaarheid: Terwijl directe prompting van LLM's om SPICE-code te genereren resulteerde in niet-uitvoerbare programma's in tot wel 99,9% van de gevallen (uitvoerbaarheid zo laag als 0,07%), bereikte SPARC's multi-stage reparatiepijplijn meer dan 95% uitvoerbaarheid.
• Foutanalyse: De studie vond dat de primaire bottlenecks niet de simulatie-executie waren, maar eerder de resultaatinterpretatie (het verkeerd interpreteren van correcte logs) en de parameterspecificatie (het onjuist mappen van vraagbeperkingen naar circuitwaarden).

Betekenis en Claims
Het artikel beweert dat SPARC de effectiviteit van simulator-native redenering demonstreert voor complexe circuit QA. Door de wiskundige redenering aan SPICE te delegeren, bereikt het systeem een hoge nauwkeurigheid en, cruciaal, betrouwbaarheid door middel van verifieerbare berekening. De auteurs benadrukken dat hun aanpak een unieke en grotendeels onopgeloste uitdaging in multimodale AI aanpakt: het overbruggen van de kloof tussen visuele perceptie van circuitdiagrammen en rigoureuze fysieke redenering. Het werk vestigt dat voor domeinen die strikte end-to-end correctheid vereisen, het opdelen van de taak in gespecialiseerde agents die interageren met domeinspecifieke tools superieur is aan end-to-end LLM-generatie. De auteurs merken op dat hoewel netlijstextractie een visuele uitdaging blijft, hun systeem succesvol het onderbelichte probleem aanpakt van het synthetiseren van uitvoerbare simulatieprogramma's vanuit natuurlijke taal specificaties.