기술 요약: LLM 기반 양자 회로 생성에서의 게이트키퍼와 환각(Hallucinations)

문제 정의

대규모 언어 모델(LLM)이 양자 시뮬레이션 워크플로우—IDE 코파일럿, 노트북 어시스턴트, 에이전트형 파이프라인 오케스트레이터 등—에 통합됨에 따라, 평가 인프라의 결정적인 공백이 발생하고 있습니다. 현재의 벤치마크는 주로 구문적 정확성이나 실행 가능한 코드 생성에 초점을 맞추고 있습니다. 그러나 재료 정보 기반 변분 양자 고유값 솔버(VQE) 작업의 경우, 요구되는 수준은 훨씬 높습니다. 모델은 물리적으로 유의미한 제약 조건을 보존하고, 외부 데이터베이스 입력(예: Materials Project)을 정확하게 해석하며, 실행 전반에 걸쳐 일관된 설계 선택을 유지해야 합니다.

저자들은 이 도메인에서의 LLM 실패가 무작위가 아니라 구조적이고 다양하다는 점을 지적합니다. 결정적으로, 일부 실패 모드는 "침묵하는(silent)" 형태를 띱니다. 즉, 출력값이 구문적으로 유효하고 그럴듯해 보이지만 물리적으로는 틀린 경우(예: 잘못된 분자 기하 구조 또는 존재하지 않는 API 호출)입니다. 모델의 능력이 진보함에 따라, 출력의 '그럴듯함(plausibility)'이 '물리적 정확성(physical correctness)'보다 더 빠르게 증가할 수 있으며, 이는 값비싼 양자 시뮬레이션 파이프라인을 통해 오류가 전파되는 것을 방지하기 위해 견고한 평가 인프라가 왜 필수적인지를 보여줍니다.

방법론

본 논문은 재료 정보 기반 작업을 위한 VQE 회로 생성에 적용할 수 있도록 재사용 가능하고 모델 불가지론적인(model-agnostic) **계층적 평가 프레임框架(framework)**를 제안합니다. 이 프레임워크는 세 가지 별도의 단계로 구성됩니다:

1. 게이트키퍼 스크리닝(Gatekeeper Screening): 비용이 많이 드는 재료 정보 기반 작업에 착수하기 전에 적용되는 경량 루브릭 기반 스크리닝 단계입니다. 모델은 기초 작업(H2/STO-3G/Jordan–Wigner에 대한 UCCSD 코드 생성)에 대해 테스트되며, 다음 7가지 기준에 따라 0~4점 척도로 채점됩니다:

   • 물리적 타당성 (Physical Validity)
   • 대칭성 강제 (Symmetry Enforcement)
   • 참조 상태 (Reference State, Hartree–Fock)
   • 상관관계 타겟팅 (Correlation Targeting)
   • 국소성 (Locality)
   • 프레임워크 정확성 (Framework Correctness)
   • 설명 품질 (Explanation Quality)

2. 구조적 실패 분류 및 회로 충실도 분석 (Structured Failure Taxonomy & Circuit Fidelity Analysis):

   • 안사츠(Ansatz) 분류: 모델의 주장과 관계없이, 코드 내에서 실제로 인스턴스화된 안사츠 유형에 따라 출력을 분류합니다.
   • 충실도 지표: H2/STO-3G/JW/UCCSD 사례에 대해, 모델 출력은 두 가지 참조 유형과 비교됩니다:
     • 해석적(Analytical): (2e, 2o) 활성 공간에 대해 제1원리로부터 유도된 정확히 3개의 변분 파라미터.
     • 참조 구현(Reference Implementation): 특정 Qiskit 1.2.x 분해에서 유도된 특정 게이트 수 및 깊이(예: depth 73, 24 CX gates).
   • 실패 분류 체계: 저자들은 탐지 가능성(침묵형, 런타임형, 혹은 명시적 오류형)에 따라 실패를 다섯 가지 모드로 분류합니다.

3. 설계 엔트로피 (Design Entropy, 행동 일관성): 반복된 실행 전반에 걸쳐 서로 다른 설계 튜플(깊이, 2-큐비트 게이트 수, 파라미터 수)의 정규화된 샤논 엔트로피(Shannon entropy)를 계산하는 새로운 지표입니다. 이는 모델이 설계 공간을 넓게 탐색하는지, 아니면 템플릿 중심의 행동에 수렴하는지를 측정합니다.

실험 설정:
평가는 MCP 서버를 통해 Materials Project를 통합하는 에이전트 워크플로우 상에서 수행되었습니다. 여러 파운데이션 모델(Claude Sonnet 4.5, Opus 4.1, Llama 3/4, DeepSeek R1, OpenAI OSS-120B, Nova Pro, Qwen 3-32B 포함)이 테스트되었습니다. 또한 평가 플랫폼 소스 코드에 대한 포렌식 감사를 실시하여 출력의 기원을 검증했습니다.

주요 결과

1. 실패 분류 및 침묵하는 실패 (Silent Failures)

연구는 다섯 가지 뚜렷한 실패 모드를 식별했습니다:

• 기하 구조 환각 (Geometry Hallucination): 잘못된 분자에 대해 유효한 회로를 생성함.
• 존재하지 않는 API 사용 (Nonexistent API Usage): 존재하지 않는 메서드를 호출하거나 모듈을 임포트함.
• 런타임 통합 실패 (Runtime Integration Failures): 구조적으로는 올바른 코드이지만, 파이프라인 충돌(예: 데이터베이스 검색 시 null 반환)로 인해 실패함.
• 제약 조건 위반 (Constraint Violations): 엄격한 출력 계약을 준수하지 못함 (예: 코드만 요청되었음에도 생각 과정(CoT)을 출력함).
• 그럴듯하지만 검증 불가능한 출력 (Plausible-but-Unverifiable Output): 실행 가능한 코드 없이 지표나 요약만을 제공함.

결정적 발견: 두 모델(Llama 3 70B 및 DeepSeek R1)이 잘못된 "잘못된 분자(H2 대신 CO)" 코드를 생성하는 것처럼 보였습니다. 평가 하네스의 포렌식 감사 결과, 이는 모델의 생성이 아니었음이 밝혀졌습니다. 모델이 추출 가능한 코드를 생성하지 못했고(하나는 토큰 고갈, 다른 하나는 코드 블록 부재 때문), 이로 인해 플랫폼의 침묵하는 폴백(fallback) 메커니즘이 작동하여 잘못 해결된 공식을 담은 사전 생성 템플릿으로 대체되었습니다. 이는 평가 인프라 자체가 침묵하는 실패의 원인이 될 수 있으며, 모델의 오류로 오인될 수 있음을 입증했습니다.

2. 회로 충실도 및 파라미터 수

• Claude Sonnet 4.5는 모든 참조 값(3개 파라미터, depth 73, 24 CX 게이트)과 일치하는 확인된 실행 UCCSD 출력을 생성한 유일한 모델이었습니다.
• Claude Opus 4.1은 구조적으로 올바른 UCCSD 코드를 생성했으나, 응답 처리 계층의 TypeError로 인해 주변 파이프라인이 실패했습니다(런타임 통합 실패).
• 기타 모델: 대부분의 모델은 제1원리와 일치하지 않는 파라미터 수를 보고했습니다 (예: Nova Pro는 10개의 파라미터를 보고하여 +233%의 오차를 보임). OpenAI GPT는 그럴듯한 API 호출을 생성했으나, 물리적으로 일치하지 않는 파라미터 수와 게이트 구성을 보였습니다.

3. 설계 엔트로피 및 안정성

• 엔트로피: 높은 엔트로피는 광범위한 회로 설계 탐색을 나타내며, 낮은 엔트로피는 템플릿 중심의 행동을 시사합니다.
• 온도 안정성: 샘플링 온도($T \in \{0.1, \dots, 1.0\}$)에 따른 Claude Sonnet 4.5 테스트 결과, 모델은 거의 동일한 코드 구조와 API 선택을 유지했습니다(구조적 유사성 $\ge 0.96$ for $T \ge 0.3$). 이는 온도가 높아질수록 다양성이 증가한다는 일반적인 코드 생성 결과와 대조되며, 이 모델이 물리적으로 근거 있는 정형화된 설계(canonical designs)를 향한 도메인 특화적 귀납 편향(inductive bias)을 가지고 있음을 시사합니다.

의의 및 주장

본 논문은 자신의 주된 기여가 현재 모델의 순위를 매기는 것이 아니라, 양자 회로 생성을 위한 LLM 기반 작업의 구조적 실패를 특징짓는 공유된 어휘와 방법론을 확립하는 것이라고 주장합니다.

• 게이트키퍼의 필요성: 저자들은 신뢰할 수 있는 배포를 위해 게이트키퍼 방식의 검증이 선택이 아닌 필수적인 안전장치라고 주장합니다. 모델이 개선됨에 따라 침묵하는 실패는 탐지하기 더 어려워질 것이며, 따라서 사전 약정 스크리닝이 필수적입니다.
• 인프라 신뢰 경계 (Infrastructure Trust Boundary): 중앙 주장 중 하나는 평가 하네스가 모델과 동일한 신뢰 경계 내에 있어야 한다는 것입니다. 파이프라인 수준의 오염(예: 침묵하는 템플릿 대체)은 평가 결과를 무효화할 수 있으므로, 인프라 자체에 대한 포렌식 감사가 필요합니다.
• 해석적 검증: 논문은 파라미터 수 오류가 가장 접근하기 쉬운 단일 진단 도구임을 강조합니다. 특정 시스템에 대한 정확한 변분 파라미터 수는 해석적으로 유도 가능하므로, 회로를 실행하지 않고도 빠르고 확실한 체크가 가능합니다.
• 제한적 범위: 저자들은 자신의 결과에 대해 겸허한 태도를 유지합니다. 온도 안정성 관찰은 단일 모델과 프롬프트($n=5$)에 기반한 것이므로 예비적인 것으로 간주해야 한다고 언급합니다. 또한, 단일 평가자 루브릭 점수와 일부 모델의 실제 동작이 하네스 실패로 인해 가려졌다는 점 등의 한계를 인정합니다.

결론적으로, 이 프레임워크는 에이전트형 양자 도구의 투명하고 재현 가능한 평가를 위한 토대를 제공하며, LLM이 생성한 코드를 물리적 제약 및 외부 스키마에 결합하는 것이 규모 확장만으로는 사라지지 않을 지속적인 과제임을 강조합니다.