SPARC: A Multi-Agent System for Electrical Circuit Question Answering

Resumen Técnico: SPARC – Un Sistema Multi-Agente para la Respuesta a Preguntas sobre Circuitos Eléctricos

Planteamiento del Problema
Responder preguntas en lenguaje natural sobre diagramas de circuitos eléctricos requiere un razonamiento matemático complejo fundamentado en la física. Aunque los modelos de lenguaje extensos (LLM) multimodales han logrado un sólido rendimiento en el cuestionario basado en diagramas generales, presentan dificultades significativas con los circuitos eléctricos, alcanzando solo un ~51% de precisión en los benchmarks existentes. La dificultad central radica en que las ecuaciones requeridas no se proporcionan; deben derivarse de la topología del circuito, la conectividad de los componentes y las leyes físicas (por ejemplo, la ley de Ohm, las leyes de Kirchhoff). Además, las demandas de la ingeniería del mundo real requieren no solo precisión, sino también fiabilidad; los resultados probabilísticos de los LLM no garantizan un razonamiento correcto, y verificar su validez matemática suele requerir la misma experiencia de dominio que la automatización busca reemplazar. Los enfoques actuales suelen fallar porque intentan resolver estos problemas de extremo a extremo o dependen de la generación de código simbólico (por ejemplo, Python/SymPy) que requiere que el modelo formule y resuelva explícitamente las ecuaciones gobernantes, un proceso propenso a errores.

Metodología: El Sistema SPARC
Los autores presentan SPARC (SPICE Program Analysis and Reasoning for Circuits), un sistema multi-agente que fundamenta el razonamiento en simulaciones ejecutables basadas en la física utilizando SPICE (Simulation Program with Integrated Circuit Emphasis), el marco de trabajo de facto para la simulación de circuitos. En lugar de pedir a un LLM que resuelva las matemáticas directamente, SPARC utiliza a los LLM como una interfaz para traducir preguntas y diagramas en programas SPICE, mientras que el simulador SPICE (ngspice) realiza el cálculo real.

El sistema descompone la tarea en tres etapas distintas, gestionadas por agentes especializados:

1. Configuración de la Simulación:

   • Un Agente Planificador analiza la pregunta en lenguaje natural y el netlist del circuito para determinar el número de simulaciones requeridas. Descompone consultas complejas (por ejemplo, comparar dos estados o realizar un barrido de parámetros) en sub-preguntas independientes.
   • Construye un estado inicial que contiene el diagrama del circuito, el netlist y un programa SPICE base derivado del netlist.

2. Ejecución de la Simulación:

   • Esta etapa implica la generación de programas SPICE ejecutables para cada sub-pregunta. SPARC emplea tres agentes especializados para modificar secciones disjuntas del programa base:
     • Agente de Especificación de Circuito: Actualiza los valores de los componentes (por ejemplo, resistencias, fuentes de voltaje) basados en valores explícitos en la pregunta o infiere valores implícitos (por ejemplo, "rizado insignificante" implicando una capacitancia grande). También gestiona la falta de modelos de dispositivos.
     • Agente de Especificación de Análisis: Selecciona el tipo de análisis correcto (DC, AC o Transitorio) y configura los parámetros (por ejemplo, frecuencia, pasos de tiempo) basándose en palabras clave de dominio específico en la pregunta.
     • Agente de Especificación de Salida: Determina qué mediciones extraer (por ejemplo, voltajes de nodo, corrientes) y formula las directivas SPICE apropiadas (.print, .meas).
   • Gestión de Errores: Si una simulación falla, un Agente de Diagnóstico de Errores analiza los registros del simulador para identificar la causa raíz (por ejemplo, errores de sintaxis, parámetros inconsistentes). Re-invoca selectivamente solo al agente defectuoso para aplicar un parche de reparación dirigido, en lugar de regenerar todo el programa. Este bucle iterativo continúa hasta que la ejecución tiene éxito o se alcanza un límite de reintentos.

3. Análisis de la Simulación:

   • Una vez que todas las simulaciones se ejecutan con éxito, un Agente de Generación de Respuestas agrega los registros de salida. Utilizando un Modelo de Lenguaje-Visión (VLM) y un conjunto restringido de herramientas de computación específicas del dominio (por ejemplo, para aritmética básica o la ley de Ohm), interpreta los resultados de la simulación para derivar la respuesta final a la pregunta original.

Contribuciones Clave

• Arquitectura SPARC: La introducción de un sistema multi-agente que sintetiza, ejecuta y analiza programas SPICE, trasladando la carga del razonamiento matemático del LLM al simulador basado en física verificado.
• Nuevos Datasets: La creación de dos conjuntos de datos que emparejan diagramas de circuitos con pares de preguntas-respuestas complejos que requieren análisis matemático:
  • CktBench: Una adaptación de EEE-Bench con 1,205 puntos de datos, aumentado con sus correspondientes netlists.
  • NetQ: Un dataset de 495 pares de preguntas-respuestas generados automáticamente a partir del dataset AMSNet, donde las preguntas se derivan de las salidas de simulación para asegurar la corrección de la verdad fundamental (ground-truth).
• Diagnóstico de Errores Estructurado: La implementación de una taxonomía de errores sistemática que localiza los fallos en etapas específicas del pipeline (configuración, ejecución, análisis), permitiendo una depuración dirigida e interpretabilidad.

Resultados Experimentales
Los autores evaluaron SPARC contra líneas base de vanguardia, incluyendo enfoques de prompting de Cadena de Pensamiento (COT) y generación de código (CODE) usando SymPy, a través de varios modelos (GPT-5.1, Claude Sonnet 4, GPT-4O, GLM-4.5V, Qwen3-VL).

• Precisión: SPARC logró un 83% de precisión en CktBench y un 81.4% en NetQ.
• Mejora: Esto representa una mejora absoluta de un 30.3% a 58.7% sobre las líneas base de zero-shot COT y hasta un 60.8% sobre métodos previos de QA visual de propósito general.
• Agnosticismo de Modelo: El sistema proporcionó las mayores ganancias para los modelos base más débiles (por ejemplo, hasta un 58.6% de mejora para Qwen3 en NetQ), reduciendo efectivamente la brecha de rendimiento entre modelos débiles y fuertes.
• Ejecutabilidad: Mientras que la generación directa de código SPICE mediante prompting de LLMs resultó en programas no ejecutables en hasta el 99.9% de los casos (ejecutabilidad tan baja como 0.07%), el pipeline de reparación multi-etapa de SPARC logró más del 95% de ejecutabilidad.
• Análisis de Errores: El estudio encontró que los principales cuellos de botella no fueron la ejecución de la simulación, sino la interpretación de resultados (malinterpretar registros correctos) y la especificación de parámetros (mapear incorrectamente las restricciones de la pregunta a los valores del circuito).

Significancia y Reivindicaciones
El artículo afirma que SPARC demuestra la efectividad del razonamiento nativo de simulador para el QA de circuitos complejos. Al delegar el razonamiento matemático a SPICE, el sistema logra una alta precisión y, crucialmente, fiabilidad mediante la computación verificable. Los autores enfatizan que su enfoque aborda un desafío único y en gran medida no resuelto de la IA multimodal: cerrar la brecha entre la percepción visual de diagramas de circuitos y el razonamiento físico riguroso. El trabajo establece que, para dominios que requieren una corrección estricta de extremo a extremo, la descomposición de la tarea en agentes especializados que interactúan con herramientas de dominio específico es superior a la generación de extremo a extremo de un LLM. Los autores señalan que, si bien la extracción de netlists sigue siendo un desafío visual, su sistema aborda con éxito el problema poco explorado de sintetizar programas de simulación ejecutables a partir de especificaciones de lenguaje natural.