SPARC: A Multi-Agent System for Electrical Circuit Question Answering

Sintesi Tecnica: SPARC – Un Sistema Multi-Agente per il Question Answering su Circuiti Elettrici

Definizione del Problema
Rispondere a domande in linguaggio naturale riguardanti diagrammi di circuiti elettrici richiede un complesso ragionamento matematico fondato sulla fisica. Sebbene i modelli linguistici multimodali (LLM) abbiano raggiunto prestazioni elevate nel question answering basato su diagrammi generici, faticano significativamente con i circuiti elettrici, ottenendo un'accuratezza di circa il 51% sugli benchmark esistenti. La difficoltà principale risiede nel fatto che le equazioni richieste non sono fornite; devono essere derivate dalla topologia del circuito, dalla connettività dei componenti e dalle leggi fisiche (ad esempio, la legge di Ohm, le leggi di Kirchhoff). Inoltre, le esigenze dell'ingegneria del mondo reale richiedono non solo accuratezza, ma anche affidabilità; gli output probabilistici degli LLM non offrono alcuna garanzia di correttezza del ragionamento, e verificare la validità matematica dei loro risultati richiede tipicamente proprio l'esperienza di dominio che l'automazione mira a sostituire. Gli approcci attuali spesso falliscono perché tentano di risolvere questi problemi in modo end-to-end o si affidano alla generazione di codice simbolico (ad esempio, Python/SymPy) che richiede al modello di formulare ed eseguire esplicitamente le equazioni governanti, un processo soggetto a errori.

Metodologia: Il Sistema SPARC
Gli autori presentano SPARC (SPICE Program Analysis and Reasoning for Circuits), un sistema multi-agente che ancora il ragionamento a simulazioni eseguibili basate sulla fisica utilizzando SPICE (Simulation Program with Integrated Circuit Emphasis), il framework de facto per la simulazione di circuiti. Invece di chiedere a un LLM di risolvere direttamente la matematica, SPARC utilizza gli LLM come interfaccia per tradurre domande e diagrammi in programmi SPICE, mentre il simulatore SPICE (ngspice) esegue il calcolo effettivo.

Il sistema decompone il compito in tre fasi distinte, gestite da agenti specializzati:

1. Configurazione della Simulazione:

   • Un Agente Pianificatore (Planner Agent) analizza la domanda in linguaggio naturale e il netlist del circuito per determinare il numero di simulazioni necessarie. Decompone query complesse (ad esempio, confrontare due stati o effettuare una scansione di parametri) in sotto-domande indipendenti.
   • Costruisce uno stato iniziale contenente il diagramma del circuito, il netlist e un programma SPICE di base derivato dal netlist stesso.

2. Esecuzione della Simulazione:

   • Questa fase prevede la generazione di programmi SPICE eseguibili per ogni sotto-domanda. SPARC impiega tre agenti specializzati per modificare sezioni disgiunte del programma di base:
     • Agente di Specifica del Circuito (Circuit Specification Agent): Aggiorna i valori dei componenti (ad esempio, resistenze, sorgenti di tensione) in base ai valori espliciti nella domanda o inferisce valori impliciti (ad esempio, "ripple trascurabile" che implica una capacità elevata). Gestisce inoltre i modelli di dispositivi mancanti.
     • Agente di Specifica dell'Analisi (Analysis Specification Agent): Seleziona il tipo di analisi corretto (DC, AC o Transitoria) e configura i parametri (ad esempio, frequenza, passi temporali) in base a parole chiave specifiche del dominio presenti nella domanda.
     • Agente di Specifica dell'Output (Output Specification Agent): Determina quali misurazioni estrarre (ad esempio, tensioni di nodo, correnti) e formula le direttive SPICE appropriate (.print, .meas).
   • Gestione degli Errori: Se una simulazione fallisce, un Agente Diagnosta di Errori (Error Diagnoser Agent) analizza i log del simulatore per identificare la causa principale (ad esempio, errori di sintassi, parametri incoerenti). Re-invoca selettivamente solo l'agente difettoso per applicare una patch di riparazione mirata, invece di rigenerare l'intero programma. Questo ciclo iterativo continua finché l'esecuzione non ha successo o non viene raggiunto un limite di tentativi.

3. Analisi della Simulazione:

   • Una volta che tutte le simulazioni sono state eseguite con successo, un Agente di Generazione Risposta (Answer Generation Agent) aggrega i log di output. Utilizzando un Modello Vision-Language (VLM) e un set ristretto di strumenti di calcolo specifici del dominio (ad esempio, per aritmetica di base o legge di Ohm), interpreta i risultati della simulazione per derivare la risposta finale alla domanda originale.

Contributi Chiave

• Architettura SPARC: L'introduzione di un sistema multi-agente che sintetizza, esegue e analizza programmi SPICE, spostando l'onere del ragionamento matematico dall'LLM a un simulatore fisico verificato.
• Nuovi Dataset: La creazione di due dataset che accoppiano diagrammi di circuiti con coppie di QA (domanda-risposta) complesse che richiedono analisi matematica:
  • CktBench: Un adattamento di EEE-Bench con 1.205 punti dati, aumentato con i relativi netlist.
  • NetQ: Un dataset di 495 coppie QA generati automaticamente dal dataset AMSNet, dove le domande sono derivate dagli output di simulazione per garantire la correttezza della verità di base (ground-truth).
• Diagnosi degli Errori Strutturata: L'implementazione di una tassonomia sistematica degli errori che localizza i fallimenti in specifiche fasi della pipeline (setup, esecuzione, analisi), consentendo un debugging mirato e interpretabilità.

Risultati Sperimentali
Gli autori hanno valutato SPARC rispetto a baseline allo stato dell'arte, inclusi approcci di Chain-of-Thought (COT) prompting e generazione di codice (CODE) tramite SymPy, su vari modelli (GPT-5.1, Claude Sonnet 4, GPT-4O, GLM-4.5V, Qwen3-VL).

• Accuratezza: SPARC ha raggiunto l'83% di accuratezza su CktBench e l'81,4% su NetQ.
• Miglioramento: Ciò rappresenta un miglioramento assoluto del 30,3% - 58,7% rispetto alle baseline zero-shot COT e fino al 60,8% rispetto ai precedenti metodi di visual QA generici.
• Agnosticismo rispetto al Modello: Il sistema ha fornito i maggiori guadagni per i modelli base più deboli (ad esempio, un miglioramento fino al 58,6% per Qwen3 su NetQ), restringendo efficacementamente il divario di prestazioni tra modelli deboli e forti.
• Eseguibilità: Mentre il prompting diretto degli LLM per generare codice SPICE ha portato a programmi non eseguibili in fino al 99,9% dei casi (eseguibilità bassa come lo 0,07%), la pipeline di riparazione multi-stadio di SPARC ha raggiunto oltre il 95% di eseguibilità.
• Analisi degli Errori: Lo studio ha rilevato che i principali colli di bottiglia non erano l'esecuzione della simulazione, ma piuttosto l'interpretazione dei risultati (interpretazione errata di log corretti) e la specifica dei parametri (mappatura errata dei vincoli della domanda ai valori del circuito).

Significatività e Rivendicazioni
L'articolo afferma che SPARC dimostra l'efficacia del ragionamento nativo del simulatore per il QA complesso sui circuiti. Delegando il ragionamento matematico a SPICE, il sistema raggiunge un'alta accuratezza e, soprattutto, affidabilità attraverso la computazione verificabile. Gli autori sottolineano che il loro approccio affronta una sfida unica e ampiamente insoluta nel campo dell'IA multimodale: colmare il divario tra la percezione visiva dei diagrammi di circuiti e il rigoroso ragionamento fisico. Il lavoro stabilisce che, per domini che richiedono una stretta correttezza end-to-end, la decomposizione del compito in agenti specializzati che interagiscono con strumenti specifici del dominio è superiore alla generazione end-to-end tramite LLM. Gli autori osservano che, sebbene l'estrazione del netlist rimanga una sfida visiva, il loro sistema affronta con successo il problema sottoutilizzato della sintesi di programmi di simulazione eseguibili partendo da specifiche in linguaggio naturale.