SPARC: A Multi-Agent System for Electrical Circuit Question Answering

기술 요약: SPARC – 전기 회로 질의응답을 위한 멀티 에이전트 시스템

문제 정의
전기 회로도를 바탕으로 자연어 질문에 답하는 것은 물리학에 근거한 복잡한 수학적 추론을 필요로 합니다. 멀티모달 거대언어모델(LLM)은 일반적인 다이어그램 기반 질의응답에서 강력한 성능을 달acia 성취했지만, 전기 회로에서는 기존 벤치마크에서 약 51%의 정확도만을 기록하며 현저히 낮은 성능을 보였습니다. 핵심적인 어려움은 필요한 방정식이 제공되지 않으며, 회로 토폴로지, 구성 요소의 연결성, 그리고 물리 법칙(예: 옴의 법칙, 키르히호프의 법칙)으로부터 직접 유도해야 한다는 점에 있습니다. 또한, 실제 엔지니어링 현장에서는 정확도뿐만 아니라 신뢰성도 요구됩니다. 확률적인 LLM 출력은 올 논리적 추론을 보장하지 못하며, 수학적 타당성을 검증하는 작업은 대개 자동화를 목표로 하는 바로 그 도메인 전문 지식을 필요로 합니다. 기존 방식들은 종-단간(end-to-end) 방식으로 문제를 해결하려 하거나, 모델이 지배 방정식을 명시적으로 공식화하고 풀어야 하는 심볼릭 코드(예: Python/SymPy) 생성을 의존하는데, 이 과정은 오류가 발생하기 쉽기 때문에 자주 실패합니다.

방법론: SPARC 시스템
저자들은 회로 시뮬레이션의 사실상 표준 프레임워크인 SPICE(Simulation Program with Integrated Circuit Emphasis)를 활용하여, 실행 가능한 물리 기반 시뮬레이션에 추론을 접지(grounding)시키는 멀티 에이전트 시스템인 SPARC(SPICE Program Analysis and Reasoning for Circuits)를 제시합니다. SPARC는 LLM에게 수학을 직접 풀라고 요구하는 대신, LLM을 자연어 질문과 다이어그램을 SPICE 프로그램으로 변환하는 인터페이스로 사용하며, 실제 계산은 SPICE 시뮬레이터(ngspice)가 수행하도록 합니다.

이 시스템은 전문화된 에이전트들에 의해 관리되는 세 가지 명확한 단계로 작업을 분해합니다:

1. 시뮬레이션 설정 (Simulation Setup):

   • **플래너 에이전트(Planner Agent)**는 자연어 질문과 회로 넷리스트(netlist)를 분석하여 필요한 시뮬레이션 횟수를 결정합니다. 이는 복잡한 쿼리(예: 두 상태의 비교 또는 파라미터 스윕)를 독립적인 하위 질문들로 분해합니다.
   • 또한 회로 다이어그램, 넷리스트, 그리고 넷리스트로부터 유도된 기본 SPICE 프로그램을 포함하는 초기 상태를 구축합니다.

2. 시뮬레이션 실행 (Simulation Execution):

   • 이 단계는 각 하위 질문에 대한 실행 가능한 SPICE 프로그램을 생성하는 과정을 포함합니다. SPARC는 기본 프로그램을 서로 다른 부분별로 수정하기 위해 세 가지 특화된 에이전트를 운용합니다:
     • 회로 사양 에이전트(Circuit Specification Agent): 질문에 명시된 값(예: 저항기, 전압원)을 업데이트하거나, 암묵적인 값(예: "무시할 수 있는 리플"은 큰 커패시턴스를 의미함)을 추론합니다. 또한 누락된 소자 모델을 처리합니다.
     • 분석 사양 에이전트(Analysis Specification Agent): 질문 내의 도메인 특화 키워드에 따라 올바른 분석 유형(DC, AC, 또는 Transient)을 선택하고 파라미터(예: 주파수, 타임 스텝)를 구성합니다.
     • 출력 사양 에이전트(Output Specification Agent): 추출할 측정 항목(예: 노드 전압, 전류)을 결정하고 적절한 SPICE 지시어(.print, .meas)를 작성합니다.
   • 오류 처리 (Error Handling): 시뮬레이션이 실패할 경우, **오류 진단 에이전트(Error Diagnoser Agent)**가 시뮬레이터 로그를 분석하여 근본 원인(예: 구문 오류, 일관되지 않은 파라미터)을 식별합니다. 이 에이전트는 전체 프로그램을 다시 생성하는 대신, 결함이 있는 에이전트만을 선택적으로 재호출하여 타겟팅된 수정 패치를 적용합니다. 이 반복 루프는 실행에 성공하거나 재시도 제한에 도달할 때까지 지속됩니다.

3. 시뮬레이션 분석 (Simulation Analysis):

   • 모든 시뮬레이션이 성공적으로 실행되면, **답변 생성 에이전트(Answer Generation Agent)**가 출력 로그를 종합합니다. 비전-언어 모델(VLM)과 제한된 도메인 특화 계산 도구(예: 기초 산술 또는 옴의 법칙을 위한 도구)를 사용하여, 시뮬레이션 결과를 해석하고 원래 질문에 대한 최종 답변을 도출합니다.

주요 기여

• SPARC 아키텍처: 수학적 추론의 부담을 LLM에서 검증된 물리 기반 시뮬레이터로 전환하여, SPICE 프로그램을 합성, 실행 및 분석하는 멀티 에이전트 시스템을 도입했습니다.
• 새로운 데이터셋: 수학적 분석을 요구하는 회로 다이어그램과 복잡한 QA 쌍을 결합한 두 개의 데이터셋을 구축했습니다:
  • CktBench: 1,205개의 데이터 포인트로 구성된 EEE-Bench의 변형으로, 대응하는 넷리스트가 추가되었습니다.
  • NetQ: AMSNet 데이터셋으로부터 자동 생성된 495개의 QA 쌍으로, 정답의 정확성을 보장하기 위해 시뮬레이션 출력으로부터 질문을 유도했습니다.
• 구조화된 오류 진단: 실패를 특정 파이프라인 단계(설정, 실행, 분석)로 국지화하는 체계적인 오류 분류 체계를 구현하여, 타겟팅된 디버깅과 해석 가능성을 가능하게 했습니다.

실험 결과
저자들은 다양한 모델(GPT-5.1, Claude Sonnet 4, GPT-4O, GLM-4.5V, Qwen3-VL)에 대해 Chain-of-Thought(COT) 프롬프팅 및 SymPy를 이용한 코드 생성(CODE) 접근 방식 등 최신 SOTA 베이스라인들과 SPARC를 비교 평가했습니다.

• 정확도: SPARC는 CktBench에서 83%, NetQ에서 **81.4%**의 정확도를 달성했습니다.
• 개선 효과: 이는 제로샷 COT 베이스라인 대비 **30.3% ~ 58.7%**의 절대적 향상을 나타내며, 기존의 범용 시각 QA 방식보다는 최대 60.8% 더 높은 성능을 보였습니다.
• 모델 불가지론(Model Agnosticism): 본 시스템은 약한 베이스 모델에서 가장 큰 성능 향상을 보였으며(예: NetQ에서 Qwen3의 경우 최대 58.6% 향상), 이를 통해 약한 모델과 강한 모델 간의 성능 격차를 효과적으로 좁혔습니다.
• 실행 가능성: LLM에 직접 SPICE 코드를 생성하도록 프롬프팅했을 때 실행 불가능한 프로그램이 최대 99.9%까지 발생하는 반면(실행 가능성 0.07% 수준), SPARC의 다단계 복구 파이프라인은 95% 이상의 실행 가능성을 달면했습니다.
• 오류 분석: 연구 결과, 주요 병목 구간은 시뮬레이션 실행 자체가 아니라 결과 해석(올바른 로그를 잘못 해석함)과 파라미터 사양(질문의 제약 조건을 회로 값으로 잘못 매핑함)인 것으로 나타났습니다.

의의 및 주장
본 논문은 SPARC가 복잡한 회로 QA를 위해 **시뮬레이터 네이티브 추론(simulator-native reasoning)**의 효과를 입증한다고 주장합니다. 수학적 추론을 SPICE로 오프로딩함으로써, 시스템은 높은 정확도와 더불어 검증 가능한 계산을 통한 신뢰성을 확보합니다. 저자들은 본 방식이 멀티모달 AI의 독특하고 미해결된 과제인 '회로 다이어그램의 시각적 인지와 엄격한 물리적 추론 사이의 간극'을 메운다고 강조합니다. 이 연구는 엄격한 엔드 투 엔드 정확성이 요구되는 도메인에서는 작업을 전문화된 에이전트로 분해하여 도메인 특화 도구와 상호작작용하게 하는 것이 엔드 투 엔드 LLM 생성보다 우월함을 보여줍니다. 저자들은 넷리스트 추출이 여전히 시각적 과제로 남아있으나, 본 시스템이 자연어 명세로부터 실행 가능한 시뮬레이션 프로그램을 합성하는 미개척 문제를 성공적으로 해결했음을 언급했습니다.