QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

이 논문은 클래식 피드백 및 펄스 제어와 같은 OpenQASM-3의 고급 하드웨어 대응 기능을 대상으로 대규모 언어 모델을 학습시키고 평가하기 위해 설계된 최초의 포괄적인 데이터셋이자 벤치마크인 QASM-Eval을 소개하며, 표적 미세 조정이 이러한 중요한 NISQ 시대 프로그래밍 작업에서 모델 성능을 유의미하게 향상시킨다는 것을 입증한다.

핵심

당신이 아주 정교하고 첨단 기술이 집약된 기계, 즉 양자 컴퓨터를 만드는 법을 배우고 있는 아주 똑똑하지만 경험이 부족한 도제(apprentice)에게 가르치고 있다고 상상해 보십시오.

오랫동안 우리가 이 도제에게 주었던 지침은 단순한 레시피와 같았습니다: "재료를 섞고, 10분 동안 굽는다." 기본적인 작업에는 이것으로 충분했습니다. 하지만 이제 이 기계는 매우 시끄럽고 까다로운 단계(이를 NISQ 시대라고 부릅니다)에 진입하고 있습니다. 이 기계를 안정적으로 작동시키려면 지침이 훨씬 더 구체적이어야 합니다. 이제 도제는 정확히 언제 온도를 확인해야 하는지, 굽는 도중에 어떻게 오븐 문을 조절해야 하는지, 심지어 열파(heat waves)의 모양 자체를 어떻게 미세하게 조정해야 하는지까지 알아야 합니다.

이러한 초정밀 지침에 사용되는 언어를 OpenQASM 3라고 부릅니다. 이것은 양자 컴퓨터를 위한 "하드웨어 매뉴얼"입니다.

문제점: 도제가 혼란에 빠지다

AI가 코드를 작성하는 데 매우 능숙해졌음에도 불구하고, 한 가지 큰 문제가 있었습니다. 이 새로운 복잡한 언어에 특화된 연습 시험을 만든 사람이 아무도 없었다는 점입니다.

기존의 테스트들은 도제에게 "케이크를 구워라"(고차원 논리)라고 하거나 "고장 난 토스터를 고쳐라"(기초 회로)라고 묻는 수준이었습니다. 하지만 기존 테스트들은 도제가 다음의 기술들을 갖추었는지 테스트하지 못했습니다:

1. 멈춰서 생각하기: 베이킹 과정을 잠시 멈추고, 센서를 확인한 뒤, 그 수치를 바탕으로 설탕을 더 넣을지 결정하는 것 (고전적 논리/Classical Logic).
2. 완벽한 타이밍 맞추기: 오븐 문을 열기 전 정확히 0.0000001초를 기다리거나, 두 개의 오븐을 완벽하게 동기화하는 것 (타이밍 스케줄링/Timing Scheduling).
3. 파동 미세 조정하기: 음식이 타는 것을 방지하기 위해 음식에 닿는 열파의 모양을 수동으로 조절하는 것 (펄스 제어/Pulse Control).

이러한 특정 기술들을 위한 연습 시험이 없었기 때문에, AI 모델들은 추측에 의존했고, 결과적으로 처참하게 실패했습니다.

해결책: QASM-Eval (궁극의 연습 시험)

연구진은 QASM-Eval을 만들었습니다. 이것은 AI를 위한 거대하고 특화된 전문 훈련 체육관이자 최종 시험이라고 생각하면 됩니다. 이는 OpenQASM 3를 위해 특별히 설계되었습니다.

• 훈련 세트: 연구진은 4,000개의 연습 문제를 생성했습니다. 이 문제들은 단순히 무작위 질문이 아닙니다. AI가 양자 기계를 올바르게 작동시키기 위해 누락된 코드를 채워 넣어야 하는 정교하게 설계된 시나리오들입니다.
• 시험: 100문항으로 구성된 엄격한 시험을 만들었습니다.
• 채점 시스템: 연구진은 특별한 "로봇 선생님"(자동 검증기)을 구축했습니다. 이 로봇은 단순히 코드가 올바르게 보이는지만 확인하는 것이 아니라, 실제로 양자 기계를 시뮬레이션하여 코드가 올바른 결과를 내는지, 타이밍 규칙을 준서하는지, 그리고 시스템을 충돌시키지 않는지 확인합니다.

연구 결과

연구진은 여러 최상급 AI 모델(Llama 및 GPT 등)을 이 새로운 시험에 투입했습니다. 결과는 다음과 같았습니다.

1. "제로샷(Zero-Shot)"의 고전: 아무런 도움 없이 시험을 치르게 했을 때(그저 "질문이 여기 있으니 풀어라"라고 했을 때), 결과는 형편없었습니다. AI들은 일반 물리학은 공부했지만, 이 특정 기계의 설계도는 본 적이 없는 학생들과 같았습니다. 그들은 문법(syntax)조차 제대로 맞추지 못했고, 타이밍 조절은 말할 것도 없었습니다.
2. "퓨샷(Few-Shot)"의 상승: 연구진이 유사한 문제를 해결하는 방법(예: 샘题 답안지를 하나 보여주는 것)을 몇 가지 예시로 먼저 제공했을 때, 점수가 올라갔습니다. 이는 마치 학생에게 예시 답안이 포함된 커닝 페이퍼를 준 것과 같았습니다.
3. "파인 튜닝(Fine-Tuning)"의 돌파구: 이것이 결정적인 승리였습니다. 연구진은 AI 모델들을 가져와 4,000개의 연습 문제를 통해 "특화 훈련"을 시켰습니다.
   • 결과: 중간 규모의 AI 모델(Llama-8B)은 이 특화 훈련을 거친 후, 훈련을 전혀 받지 않은 가장 강력하고 비싼 AI(GPT-5.2)와 거의 대등한 성능을 보여주었습니다.
   • 챔피언: 더 큰 AI 모델(Llama-70B)은 훈련 후 마스터가 되었습니다. 이 모델은 시험에서 **85%**를 기록하며, 몇 가지 예시를 제공받은 상태의 가장 강력한 AI마저 제쳤습니다.

시사점

이 논문은 병목 현상이 AI가 양자 물리학에 대해 "멍청해서" 발생하는 것이 아니라고 결 결론짓습니다. 병목 현상은 AI가 OpenQASM 3의 특정한 문법과 규칙을 모른다는 점에 있습니다.

전용 데이터셋(QASM-Eval)을 만들고 이를 통해 AI를 훈련시킴으로써, 연구진은 범용 AI를 매우 신뢰할 수 있는 양자 프로그래머로 바꿀 수 있음을 증명했습니다. 이는 자동차 운전법을 아는 똑똑한 사람에게 포뮬러 원(F1) 카 전용 매뉴얼과 연습 트랙을 제공하는 것과 같습니다. 그러면 그 사람은 갑자기 레이스카를 완벽하게 몰 수 있게 됩니다.

이 데이터셋은 이제 모두가 사용할 수 있도록 공개되어 있으며, 인간이 차세대 양자 컴퓨터를 프로그래밍하는 데 도움을 줄 수 있는 더 나은 AI 어시스턴트를 구축하는 데 기여할 것입니다.

기술 요약

기술 요약: QASM-Eval

문제 정의

양자 컴퓨팅은 현재 노이즈에 의해 성능이 크게 제한되는 NISQ(Noisy Intermediate-Scale Quantum) 시대에 운영되고 있습니다. 이러한 오류를 완화하기 위해서는 표준 게이트 시퀀스 회로 명세를 넘어서는 하드웨어 지향적 역량이 필요합니다. 이러한 역량에는 양자 오류 수정(QEC)을 위한 중간 회로 측정 및 클래식 피드백, 동적 디커플링(DD)을 위한 정밀한 타이밍 제어, 그리고 캘리브레이션을 위한 펄스 레벨 파형 접근 등이 포함됩니다.

OpenQASM 3는 이러한 하드웨어 수준의 기능들을 노출하여 알고리즘과 물리학을 연결하는 프로그래밍 인터페이스를 제공하기 위해 도입되었습니다. 그러나 LLM(Large Language Models)이 코드 생성 분야에서 급격한 발전을 이루었음에도 불구하고, OpenQASM 3 프로그램의 고급 하드웨어 지향적 기능을 학습하고 평가하기 위해 설계된 데이터셋은 결정적으로 부족한 실정입니다. 기존 리소스들은 고수준 알고리즘 설계(예: Qiskit 기반 데이터셋)에 집중하거나 정적인 게이트 시퀀스 회로에 국한되어 있어, OpenQASM 3의 동적이고 제약 조건이 많은 특성을 다루지 못합니다. 결과적으로, 현재의 LLM들은 클래식 로직, 타이밍, 펄스 제어와 관련된 OpenQASM 3의 엄격한 구문 및 의미론적 제약을 준수하는 유효한 코드를 생성하는 데 어려움을 겪고 있습니다.

방법론

데이터셋 구축 (QASM-Eval)

저자들은 OpenQASM 3에 특화되어 LLM을 학습시키고 평가하기 위해 설계된 최초의 포괄적인 데이터셋인 QASM-Eval을 소개합니다. 이 데이터셋은 인간 양자 프로그래밍 전문가와 AI를 결합한 하이브리드 파이프라인을 사용하여 구축되었으며, 데이터 누수를 방적으로 하면서 다양성과 정확성을 모두 보장합니다.

1. 템플릿 준비: 전문가들이 "배경 템플릿"(큐비트 구성, 주파수, 초기 상태를 무작위화)과 "핵심 작업 템플릿"(if/else 흐름이나 펄스 연산과 같은 특정 테마를 타겟팅)을 설계합니다.
2. 인스턴스 생성: OpenQASM 3 문서를 보강한 코더-LLM(Qwen3-Coder-480B)이 핵심 작업의 스타일적 및 구조적 변형을 생성합니다. 이들은 무작위화된 배경과 결합되어 완전한 OpenQASM 3 프로그램을 생성합니다.
3. 프롬프트 생성: 핵심 작업 코드를 필요한 기능을 설명하는 자연어 "TODO" 주석으로 대체하여, 명세-솔루션 쌍(specification-solution pair)을 만듭니다.
4. 데이터셋 구성:
   • 테스트 세트: 100개의 전문가 검증 작업.
   • 학습 세트: 4,000개의 작업.
   • 카테고리: 데이터셋은 네 가지 카테고리를 다룹니다:
     • 클래식 로직(Classical Logic): 제어 흐름, 중간 회로 측정, 산술 연산 및 타입 캐스팅.
     • 타이밍 스케줄링(Timing Scheduling): 지연 삽입, 지속 시간 유형, 확장 가능한 간격 및 정렬.
     • 펄스 제어(Pulse Control): 파형 조작, 프레임 동기화 및 캘리브레이션.
     • 복합 작업(Complex Tasks): QEC, DD 및 크로스토크 캘리브레이션과 같이 위 기능들을 통합하는 실제 워크플로우.

평가 프레임워크

생성된 프로그램을 검증하기 위해 저자들은 다음과 같은 사항을 확인하는 **확장된 자동 검증기(extended automatic verifier)**를 개발했습니다:

• 구문(Syntax): 공식 OpenQASM 3 파서를 통한 파싱을 통해 잘 형성된 추상 구문 트리(AST)를 보장합니다.
• 양자 상태(Quantum State): 상태 벡터 시뮬레이션(Qiskit) 및 펄스 레벨 시뮬레이션(Qutip)을 사용하여 최종 양자 상태 분포가 참조 동작과 일치하는지 확인합니다.
• 스케줄(Schedule): 가상 타임라인을 생성하여 타이밍 제약 조건(예: 정렬, 지연)이 충족되었는지 확인합니다.

통과 기준은 성공적인 구문 파싱을 요구하며, 작업 유형에 따라 상태 체크, 스케줄 체크, 또는 두 가지 모두를 통과해야 합니다.

주요 기여

1. 최초의 OpenQASM 3 하드웨어 중심 데이터셋: QASM-Eval은 LLM 학습 및 평가를 위해 OpenQASM 3의 고급 기능(클래식 로직, 타이밍, 펄스 제어)을 체계적으로 다루는 최초의 리소스입니다.
2. 자동 검증 파이프라인: 저자들은 동적 타이밍 및 펄스 레벨 의미론을 포함한 OpenQASM 3의 고유한 특징들을 자동 검증할 수 있도록 기존 툴체인을 확장하였으며, 인간 전문가와 92%의 일치율을 달s 달성했습니다.
3. 벤치마킹 및 미세 조정 결과: 본 논문은 최신 모델들이 OpenQASM 3 작업에 어려움을 겪지만, 타겟팅된 미세 조정을 통해 상당한 개선을 이룰 수 있음을 보여주는 엄격한 벤치마크를 제공합니다.

실험 결과

저자들은 QASM-Eval 테스트 세트를 사용하여 ChatGPT-5.2-Thinking, DeepSeek-V3, Llama-3 변형(8B 및 70B)을 포함한 여러 모델을 평가했습니다.

• 베이스라인 성능: 최신 모델들은 제한적인 성능을 보였습니다. ChatGPT-5.2-Thinking은 전체 pass@1 0.54를 기록한 반면, 오픈 소스 베이스라인(Llama-70B, Llama-8B)은 각각 0.27과 0.24로 현저히 낮았습니다. 특히 "복합(Complex)" 작업에서의 성능은 매우 저조했습니다(0.00–0.08).
• 퓨샷 프롬프팅(Few-Shot Prompting): 세 개의 인컨텍스트 예시를 제공했을 때 성능이 향상되어, ChatGPT-5.2-Thinking은 전체 0.78에 도달했습니다. 그러나 이 방식은 모델이 내재화된 지식이 아닌 예시로부터 패턴을 추론하는 능력에 의존합니다.
• 미세 조정(Fine-Tuning) 효과: QASM-Eval 학습 세트로 미세 조정을 수행했을 때 가장 큰 이득을 얻었습니다:
  • Llama-3-70B: 전체 pass@1 0.85를 달성하여, 퓨샷 보강을 거친 ChatGPT-5.2-Thinking(0.78)을 능가했습니다.
  • Llama-3-8B: 0.24에서 0.52로 향상되어 ChatGPT-5.2-Thinking의 제로샷 성능에 근접했습니다.
  • 이전 데이터셋(QCircuitBench, Agent-Q)을 통한 미세 조정은 미미한 개선만을 제공하여, OpenQASM 3의 하드웨어 기능에 특화된 데이터의 필요성을 입증했습니다.
• 오류 분석: 미세 조정은 주로 베이스 모델의 주요 실패 모드였던 구문 오류(예: 잘못된 측정 할당 또는 유효하지 않은 switch 구문)를 줄였습니다. 구문 유효성은 크게 개선되었으나, 의미론적 오류(타이밍 및 분포 불일치)는 특히 작은 모델에서 여전히 과제로 남았습니다.

의의 및 주장

본 논문은 QASM-Eval을 NISQ 시대를 위한 중요한 벤치마크이자 훈련 기반으로 자리매김합니다. 저자들의 주장은 다음과 같습니다:

• 현재의 LLM은 하드웨어 지향적 양자 프로그래밍에 필요한 특정 구문 및 의미론적 지식이 부족합니다.
• QASM-Eval에 대한 타겟 미세 조정은 상당한 역량을 끌어내어, 중간 규모 모델(Llama-3-70B 등)이 퓨샷 보강을 받은 더 큰 모델의 성능을 능가할 수 있게 합니다.
• 이 데이터셋과 검증 프레임워크는 추상적인 회로 설계를 넘어, 노이즈 완화 및 캘리브레이션이라는 물리적 실행의 실제 현실과 알고리즘적 의도 사이의 간극을 메울 수 있는 신뢰할 수 있는 LLM 어시스턴트를 개발하기 위한 필수적인 단계입니다.

저자들은 현재의 작업이 개방형 알고리즘 추론보다는 제약 조건 기반의 코드 번역에 초점을 맞추고 있으며, 합성 데이터의 특성이 실제 세계의 양자 코드베이스가 가진 비구조적 복잡성을 완전히 포착하지 못할 수 있다는 점을 언급하며 범위를 겸손하게 제한했습니다. 그러나 그들은 QASM-Eval이 미래의 양자 소프트웨어 공학 연구를 위한 중요한 기준점을 세웠다고 주장합니다.