CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis

논문 개요: CircuChain

이 논문은 전기 회로 분석 분야에서 대형 언어 모델 (LLM) 의 **물리적 추론 능력 (Competence)**과 **사용자 지정 규칙 준수 능력 (Compliance)**을 분리하여 평가하기 위한 진단 벤치마크인 CircuChain을 제안합니다. 연구자들은 LLM 이 수치적으로 정확한 답을 내놓더라도, 회로 분석의 필수적인 방법론적 규칙 (전류 방향, 극성 할당 등) 을 위반할 경우 안전에 치명적인 오류를 범할 수 있음을 지적하며, 기존 벤치마크가 이러한 '규칙 무지 (Convention Blindness)'를 포착하지 못한다고 주장합니다.

1. 문제 정의 (Problem Statement)

• 규칙 무지 (Convention Blindness): LLM 이 물리 법칙 (키르히호프 법칙 등) 을 계산하는 능력은 뛰어나지만, 사용자가 명시적으로 지정한 임의의 규칙 (예: 시계 방향 메쉬 전류, 특정 기준 노드) 을 무시하고 훈련 데이터에서 학습된 선입견 (Prior) 을 따르는 경향이 있습니다.
• 안전 및 교육적 위험: 공학 분야에서는 최종 수치만 맞더라도 유도 과정이나 규칙 위반은 실패로 간주됩니다. 특히 로봇 제어나 전력 시스템과 같은 안전 필수 (Safety-critical) 분야에서 부호나 극성 오류는 시스템 불안정으로 이어질 수 있습니다.
• 평가의 한계: 기존 벤치마크 (GSM8K, MATH 등) 는 정답의 정확성만 평가할 뿐, 도메인 특유의 절차적 규칙을 따랐는지 여부는 평가하지 않습니다.

2. 방법론 (Methodology)

가. 데이터셋 구조 (CircuChain)

• 구성: 5 가지 고전적인 회로 토폴로지 (3-루프 슈퍼메쉬, T-네트워크, 휘트스톤 브리지, 사다리 회로, 종속 전압원 회로) 를 기반으로 50 개의 수동 작성된 문제 인스턴스.
• Control vs. Trap: 각 문제는 두 가지 변형으로 구성됩니다.
  • Control: 표준적인 조건 (일반적인 전류 방향, 극성).
  • Trap: 물리적으로 올바른 해가 일반적인 '교과서 직관'과 상충되도록 설계된 조건 (예: 시계 방향 정의 하에 음수 전류 발생, 비대칭 부하로 인한 강성 방정식 등).
• 목표: 모델이 명시된 프롬프트를 따르는지, 아니면 훈련된 선입견에 의존하는지 구분합니다.

나. 검증 파이프라인 (Multi-Stage Verification)

1. Ground Truth 생성: NGSPICE 시뮬레이션과 독립적인 Python 해석적 솔버를 사용하여 수치적 정확성을 이중 검증합니다.
2. 자동화된 평가 (Automated Evaluation):
   • Stage 1: 모델에게 구조화된 답변 (final_answer) 을 요구합니다.
   • Stage 2: 수치적 오차 허용 범위 내지 여부를 확인합니다.
   • Stage 3 (Judge Diagnosis): 실패한 사례에 대해 GPT-5 를 '판심자 (Judge)'로 활용하여 오류 유형을 분류합니다.
     • 준수 오류 (Compliance Errors): 부호 규칙 위반, 요구된 방법 (KVL/KCL) 위반.
     • 역량 오류 (Competence Errors): 물리 법칙 설정 오류, 계산 실수, 환각 (Hallucination).

3. 주요 기여 (Key Contributions)

1. 진단용 벤치마크 CircuChain 도입: 물리적 추론과 규칙 준수를 분리하여 평가할 수 있는 100 개의 제어된 회로 분석 태스크를 공개했습니다.
2. 다단계 검증 파이프라인 개발: 심볼릭 솔버, SPICE 시뮬레이션, LLM 기반 오류 분류를 결합하여 실패 원인을 정밀하게 추적하는 시스템을 구축했습니다.
3. 준수 - 역량 트레이드오프 (Compliance–Competence Trade-off) 발견: 모델의 규모와 계산 능력이 커질수록 오히려 사용자 지정 규칙을 따르는 능력이 떨어질 수 있음을 실증적으로 증명했습니다.

4. 실험 결과 (Results)

5 가지 최첨단 모델 (GPT-5, Claude Opus 4.5, o4-mini, GPT-4o 등) 을 평가한 결과는 다음과 같습니다.

• 전체 정확도: GPT-5(66%) 와 Claude Opus 4.5(65%) 가 최상위권을 기록했습니다.
• Trap 조건에서의 성능:
  • GPT-5: 물리적 역량 오류가 0% 였으나, **준수 오류 (규칙 위반) 가 34%**로 매우 높았습니다. 특히 Trap 조건에서 표준적인 패턴을 고집하며 사용자의 지시를 무시하는 경향이 뚜렷했습니다.
  • Claude Opus 4.5: 준수 오류는 7% 로 낮았으나, **역량 오류 (물리/계산 실수) 가 28%**로 상대적으로 높았습니다.
  • o4-mini: 준수 오류가 31% 로 높았으나 전체 정확도는 57% 수준이었습니다.
• 결론: 모델의 규모가 커지고 추론 능력이 향상될수록, 사용자가 명시한 임의의 제약 조건 (Conventions) 을 따르는 능력은 오히려 저하될 수 있음을 보여줍니다. 이는 "더 똑똑한 모델이 더 잘 따르는 것"이라는 가설이 수학적으로 엄격한 도메인에서는 성립하지 않음을 시사합니다.

5. 의의 및 시사점 (Significance)

• 공학 교육: 튜터링 시스템이 수치적으로만 맞는 답을 주더라도 규칙 위반을 감지하지 못하면 학습자에게 오해를 불러일으킬 수 있습니다. 규칙 준수 여부를 명시적으로 체크하는 도구의 필요성이 제기됩니다.
• 안전 필수 시스템: LLM 이 생성한 제어 로직이나 코드에서 부호/극성 오류는 시스템의 안정성을 무너뜨릴 수 있습니다. 단순한 정답률 (Accuracy) 이 아닌, 규약 준수 (Compliance) 를 고려한 평가 및 훈련 프레임워크가 필수적입니다.
• AI 정렬 (Alignment) 연구: 모델이 훈련 데이터의 통계적 패턴과 사용자의 명시적 지시 사이에서 갈등할 때, 어떤 요인이 우선시되는지에 대한 새로운 연구 방향을 제시합니다.

요약

이 논문은 LLM 이 복잡한 공학 문제 해결에서 계산 능력과 규칙 준수 능력이 서로 다른 차원의 문제임을 증명했습니다. 특히 최첨단 모델일수록 훈련된 선입견에 갇혀 사용자 지시를 무시하는 '규칙 무지' 현상이 발생할 수 있음을 경고하며, 안전과 신뢰성이 중요한 분야에서는 단순한 정답률 이상의 **방법론적 충실도 (Methodological Fidelity)**를 평가해야 함을 강조합니다.