SPARC: A Multi-Agent System for Electrical Circuit Question Answering

Resumo Técnico: SPARC – Um Sistema Multiagente para Resposta de Perguntas sobre Circuitos Elétricos

Definição do Problema
Responder a perguntas em linguagem natural sobre diagramas de circuitos elétricos requer um raciocínio matemático complexo fundamentado na física. Embora os Modelos de Linguagem de Grande Escala (LLMs) multimodais tenham alcançado um forte desempenho em respostas de perguntas baseadas em diagramas gerais, eles apresentam dificuldades significativas com circuitos elétricos, atingindo apenas ~51% de precisão em benchmarks existentes. A dificuldade central reside no fato de que as equações necessárias não são fornecidas; elas devem ser derivadas da topologia do circuito, da conectividade dos componentes e das leis físicas (ex: Lei de Ohm, leis de Kirchhoff). Além disso, as demandas da engenharia do mundo real exigem não apenas precisão, mas confiabilidade; saídas probabilísticas de LLMs não oferecem garantia de raciocínio correto, e verificar sua validade matemática normalmente requer o próprio conhecimento especializado de domínio que a automação busca substituir. As abordagens atuais frequentemente falham porque tentam resolver esses problemas de ponta a ponta ou dependem da geração de código simbólico (ex: Python/SymPy) que exige que o modelo formule e resolva explicitamente as equações governantes, um processo propenso a erros.

Metodologia: O Sistema SPARC
Os autores apresentam o SPARC (SPICE Program Analysis and Reasoning for Circuits), um sistema multiagente que fundamenta o raciocínio em simulações executáveis baseadas em física usando SPICE (Simulation Program with Integrated Circuit Emphasis), o framework de fato para simulação de circuitos. Em vez de pedir a um LLM para resolver a matemática diretamente, o SPARC usa LLMs como uma interface para traduzir perguntas e diagramas em programas SPICE, enquanto o simulador SPICE (ngspice) realiza o cálculo real.

O sistema decompõe a tarefa em três estágios distintos, gerenciados por agentes especializados:

1. Configuração da Simulação:

   • Um Agente de Planejamento (Planner Agent) analisa a pergunta em linguagem natural e a netlist do circuito para determinar o número de simulações necessárias. Ele decompõe consultas complexas (ex: comparar dois estados ou varrer parâmetros) em subperguntas independentes.
   • Ele constrói um estado inicial contendo o diagrama do circuito, a netlist e um programa SPICE base derivado da netlist.

2. Execução da Simulação:

   • Este estágio envolve a geração de programas SPICE executáveis para cada subpergunta. O SPARC utiliza três agentes especializados para modificar seções disjuntas do programa base:
     • Agente de Especificação de Circuito: Atualiza os valores dos componentes (ex: resistores, fontes de tensão) com base em valores explícitos na pergunta ou infere valores implícitos (ex: "ripple desprezível" implicando capacitância alta). Ele também lida com modelos de dispositivos ausentes.
     • Agente de Especificação de Análise: Seleciona o tipo de análise correto (DC, AC ou Transiente) e configura parâmetros (ex: frequência, passos de tempo) com base em palavras-chave específicas do domínio na pergunta.
     • Agente de Especificação de Saída: Determina quais medições extrair (ex: tensões de nó, correntes) e formula as diretivas SPICE apropriadas (.print, .meas).
   • Tratamento de Erros: Se uma simulação falhar, um Agente de Diagnóstico de Erros analisa os logs do simulador para identificar a causa raiz (ex: erros de sintaxe, parâmetros inconsistentes). Ele invoca seletivamente apenas o agente defeituoso para aplicar um patch de reparo direcionado, em vez de regenerar todo o programa. Este loop iterativo continua até que a execução seja bem-sucedida ou um limite de tentativas seja atingido.

3. Análise de Simulação:

   • Uma vez que todas as simulações sejam executadas com sucesso, um Agente de Geração de Resposta agrega os logs de saída. Usando um Modelo de Linguagem-Visão (VLM) e um conjunto restrito de ferramentas de computação específicas do domínio (ex: para aritmética básica ou Lei de Ohm), ele interpreta os resultados da simulação para derivar a resposta final à pergunta original.

Principais Contribuições

• Arquitetura SPARC: A introdução de um sistema multiagente que sintetiza, execza e analisa programas SPICE, transferindo o fardo do raciocínio matemático do LLM para um simulador baseado em física verificado.
• Novos Datasets: A criação de dois conjuntos de dados pareando diagramas de circuitos com pares de QA (pergunta e resposta) complexos que exigem análise matemática:
  • CktBench: Uma adaptação do EEE-Bench com 1.205 pontos de dados, aumentada com netlists correspondentes.
  • NetQ: Um dataset de 495 pares de QA gerados automaticamente a partir do dataset AMSNet, onde as perguntas são derivadas de saídas de simulação para garantir a correção do ground-truth.
• Diagnóstico de Erro Estruturado: A implementação de uma taxonomia de erro sistemática que localiza falhas em estágios específicos do pipeline (configuração, execução, análise), permitindo depuração direcionada e interpretabilidade.

Resultados Experimentais
Os autores avaliaram o SPARC contra baselines de última geração, incluindo prompting de Cadeia de Pensamento (COT) e geração de código (CODE) usando SymPy, através de vários modelos (GPT-5.1, Claude Sonnet 4, GPT-4O, GLM-4.5V, Qwen3-VL).

• Precisão: O SPARC alcançou 83% de precisão no CktBench e 81,4% no NetQ.
• Melhoria: Isso representa uma melhoria absoluta de 30,3% a 58,7% sobre as baselines de zero-shot COT e até 60,8% sobre métodos anteriores de QA visual de propósito geral.
• Agnosticismo de Modelo: O sistema proporcionou os maiores ganhos para modelos base mais fracos (ex: até 58,6% de melhoria para o Qwen3 no NetQ), estreitando efetivamente a lacuna de desempenho entre modelos fracos e fortes.
• Executabilidade: Enquanto o prompting direto de LLMs para gerar código SPICE resultou em programas não executáveis em até 99,9% dos casos (executabilidade tão baixa quanto 0,07%), o pipeline de reparo em múltiplos estágios do SPARC alcançou mais de 95% de executabilidade.
• Análise de Erros: O estudo descobriu que os principais gargalos não foram a execução da simulação, mas sim a interpretação de resultados (interpretar incorretamente logs corretos) e a especificação de parâmetros (mapear incorretamente as restrições da pergunta para os valores do circuito).

Significância e Alegações
O artigo afirma que o SPARC demonstra a eficácia do raciocínio nativo de simulador para QA de circuitos complexos. Ao delegar o raciocínio matemático ao SPICE, o sistema alcança alta precisão e, crucialmente, confiabilidade através de computação verificável. Os autores enfatizam que sua abordagem aborda um desafio único e amplamente não resolvido da IA multimodal: a ponte entre a percepção visual de diagramas de circuitos e o raciocínio físico rigoroso. O trabalho estabelece que, para domínios que exigem correção end-to-end estrita, a decomposição da tarefa em agentes especializados que interagem com ferramentas específicas de domínio é superior à geração end-to-end de LLMs. Os autores observam que, embora a extração de netlist permaneça um desafio visual, seu sistema aborda com sucesso o problema pouco explorado de sintetizar programas de simulação executáveis a partir de especificações em linguagem natural.