QSpark: Towards Reliable Qiskit Code Generation

이 논문은 Qiskit 코드 생성의 신뢰성을 높이기 위해 Qwen2.5-Coder-32B 모델을 GRPO 및 ORPO 방법으로 미세 조정하여 일반 목적 모델 대비 Qiskit HumanEval 벤치마크에서 현저히 향상된 성능을 달성했으나, 고급 태스크 해결에는 여전히 한계가 있음을 보여줍니다.

핵심

🚀 QSpark: 양자 컴퓨터를 위한 '똑똑한 코딩 비서' 이야기

이 논문은 **"양자 컴퓨터라는 복잡한 우주선을 조종할 때, 인공지능 (AI) 이 실수를 줄이고 더 잘 코딩할 수 있게 도와주는 방법"**을 소개합니다.

기존의 AI(대형 언어 모델) 는 일반 프로그래밍은 잘하지만, 양자 컴퓨터용 언어인 'Qiskit'을 쓰면 헛소리를 하거나 틀린 코드를 만들어내는 경우가 많았습니다. 연구진은 이를 해결하기 위해 QSpark라는 새로운 AI 비서를 만들었습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "양자 컴퓨터는 AI 도 배울 게 많아요" 🤔

양자 컴퓨터 프로그래밍은 일반 프로그래밍과 완전히 다릅니다.

• 일반 코딩: 레고 블록을 쌓는 것처럼 논리적으로 쌓으면 됩니다.
• 양자 코딩: 레고 블록이 공기 중에 떠다니고, 서로 연결되었다가 끊어지기도 하는 마법 같은 세계입니다. (중첩, 얽힘 같은 개념)

기존의 AI 는 이 '마법 세계'의 규칙을 잘 몰라서, "여기서 블록을 연결해!"라고 하면 오히려 전체 구조를 무너뜨리는 코드를 만들어냈습니다. 마치 요리 실력이 좋은 셰프에게 '마법 재료'로 요리를 시켰는데, 재료가 폭발해버린 상황과 비슷합니다.

2. 해결책: QSpark와 두 가지 훈련 방법 🎓

연구진은 Qwen2.5-Coder-32B라는 똑똑한 AI 모델을 가져와서, 양자 프로그래밍 전문가처럼 가르쳤습니다. 이때 두 가지 특별한 훈련 방법 (RL) 을 사용했는데, 이를 비유하면 다음과 같습니다.

🅰️ ORPO (오드스 - 비율 선호 최적화): "선생님의 엄격한 피드백"

• 비유: AI 가 코드를 짤 때, **A(좋은 코드)**와 B(나쁜 코드) 두 가지를 보여줍니다.
• 훈련 방식: "A 는 훌륭하지만, B 는 너무 엉망이네. A 를 더 많이 만들어!"라고 가르칩니다.
• 효과: AI 가 가독성이 좋고, 인간이 읽기 편한 코드를 쓰도록 길들여졌습니다. 마치 예의 바르고 깔끔한 비서가 된 셈입니다.

🅱️ GRPO (그룹 상대 정책 최적화): "실전 시뮬레이션 대회"

• 비유: AI 에게 같은 문제를 10 번 풀게 하고, 실제로 양자 컴퓨터 시뮬레이터에서 돌려봅니다.
• 훈련 방식: "1 번은 실패, 2 번은 성공! 3 번은 성공했지만 전기가 너무 많이 썼네. 성공하고 전기를 아끼는 2 번을 칭찬하자!"
• 효과: AI 가 오류가 없고, 자원을 아껴서 효율적인 코드를 짜는 법을 배웠습니다. 마치 실전 감각이 뛰어난 운동선수가 된 셈입니다.

3. 결과: 얼마나 잘해냈을까요? 🏆

연구진은 'Qiskit HumanEval'이라는 양자 코딩 자격시험을 치렀습니다.

• 기존 AI 들: 일반 코딩은 잘하지만 양자 코딩 시험에서는 평균 30~40 점대.
• 기존 양전 특화 AI (Granite-8B-QK): 46 점.
• QSpark (우리 팀):
  • ORPO: 56 점 (전체 1 위! 기존 특화 모델보다 10 점이나 더 높음)
  • GRPO: 49 점 (기존 일반 모델들을 모두 제침)

🌟 재미있는 점:

• 초급/중급 문제: QSpark 는 아주 잘 풀었습니다. (예: "양자 상태를 준비해" 같은 기본 명령)
• 고급 문제: 하지만 아직도 5 개의 아주 어려운 문제 (최고 난이도) 는 모두 0 점이었습니다.
  • 비유: "초급 요리 (계란 프라이) 는 완벽하지만, '마법 스펀지 케이크'는 아직 실패합니다."
  • 이는 양자 프로그래밍의 고난도 영역은 AI 가 아직 완전히 이해하지 못한다는 뜻입니다.

4. 왜 이 연구가 중요한가요? 🌍

1. 접근성: 양자 컴퓨터를 다룰 수 있는 전문가가 드뭅니다. QSpark 같은 도구가 있으면 초보자도 쉽게 양자 코드를 쓸 수 있게 됩니다.
2. 신뢰성: AI 가 만든 코드가 틀리면 양자 컴퓨터는 엉뚱한 결과를 냅니다. QSpark 는 실수를 줄여서 더 안전한 코드를 만들어냅니다.
3. 미래 지향: 아직 완벽하지는 않지만, AI 가 양자 세계를 배우는 첫걸음을 떼었습니다. 앞으로 더 발전하면 인간과 AI 가 손잡고 양자 혁명을 이끌 것입니다.

💡 한 줄 요약

"기존 AI 는 양자 컴퓨터라는 낯선 땅에서 길을 잃고 헤맸지만, QSpark 는 '선생님의 피드백'과 '실전 대회'를 통해 길을 찾아내는 똑똑한 나침반이 되었습니다. 아직 고난도 길은 어렵지만, 양자 코딩의 문턱을 훨씬 낮췄습니다."

이 연구는 AI 가 단순히 코드를 짜는 것을 넘어, 양자 세계의 규칙을 배우고 인간과 협력하는 새로운 단계로 나아가고 있음을 보여줍니다.

기술 요약

QSpark: 신뢰할 수 있는 Qiskit 코드 생성을 위한 연구

1. 문제 정의 (Problem)

양자 컴퓨팅은 고전 컴퓨팅보다 특정 문제 해결에 우위를 보이지만, 양자 프로그래밍은 양자 역학, 알고리즘, 소프트웨어 공학에 대한 전문 지식이 필요하여 진입 장벽이 매우 높습니다. IBM 의 Qiskit 과 같은 고수준 프레임워크가 존재함에도 불구하고, 개발자가 직접 양자 회로를 작성하는 과정은 오류가 발생하기 쉽고, 중첩 (superposition), 얽힘 (entanglement), 비복제 정리 등 양자 고유의 개념을 정확히 다뤄야 합니다.

최근 대규모 언어 모델 (LLM) 이 고전적 코드 생성에 혁신을 가져왔으나, 양자 프로그래밍에 적용할 때는 다음과 같은 한계가 존재합니다:

• 데이터 부족: 고전 코드에 비해 양자 코드 데이터셋이 극히 제한적입니다.
• 도메인 지식 부재: 일반 목적의 LLM 은 양자 역학의 규칙이나 리소스 제약 (큐비트 재사용, 오류 완화 등) 을 이해하지 못해 비효율적이거나 실행 불가능한 코드를 생성합니다.
• 신뢰성 문제: 기존 모델 (Granite-20B-Code, StarCoder 등) 은 Qiskit HumanEval 벤치마크에서 낮은 통과율을 보이며, 특히 복잡한 양자 회로 생성에 실패합니다.

2. 방법론 (Methodology)

이 논문은 QSpark라는 Qiskit 기반의 AI 코딩 어시스턴트를 제안하며, 이를 위해 Qwen2.5-Coder-32B 모델을 양자 프로그래밍 데이터로 미세 조정 (Fine-tuning) 하고, 두 가지 강화 학습 (Reinforcement Learning) 기법을 적용했습니다.

가. 고품질 학습 데이터셋 구축

• 데이터 수집: 공개 저장소에서 약 10,819 개의 Qiskit 소스 코드를 수집했습니다.
• 선별 및 검증: 함수 추출, 주석 분석, 자동화된 시뮬레이션 기반 유닛 테스트를 통해 522 개의 고품질 태스크로 선별했습니다. (초기 데이터의 5% 미만이 최종 선정됨)
• 난이도 분류:
  • Basic: 단순 게이트, 측정 없음 (259 개)
  • Intermediate: 측정 포함, 중간 깊이, 기본 알고리즘 구조 (223 개)
  • Advanced: 얽힘, 변분법, 하이브리드 워크플로우 포함 (40 개)
• 선호도 데이터 생성: ORPO 와 GRPO 학습을 위해 '선택된 (Preferred)' 정답 코드와 '거부된 (Rejected)' 오류/비효율 코드를 쌍으로 구성하거나, 그룹 내 여러 후보를 생성하여 상대적 점수를 매겼습니다.

나. 강화 학습 전략
두 가지 독립적인 강화 학습 방법을 사용하여 모델의 행동을 정제했습니다.

1. ORPO (Odds-Ratio Preference Optimization):
   • 목적: 인간의 코딩 선호도 (가독성, 유지보수성, Qiskit 모범 사례 준수) 에 모델 정렬.
   • 방식: 선택된 정답과 거부된 오답 간의 쌍별 비교를 통해 손실 함수를 최적화합니다. KL 발산을 정규화 항으로 사용하여 사전 학습된 모델의 능력을 유지하면서 선호도를 학습합니다.
2. GRPO (Group Relative Policy Optimization):
   • 목적: 실행 신뢰도 (Execution Fidelity) 와 리소스 효율성 향상.
   • 방식: 하나의 프롬프트에 대해 여러 후보 코드를 생성한 후, Qiskit 시뮬레이터로 실행하여 점수를 매깁니다.
   • 보상 함수: 유닛 테스트 통과율 (70%), 회로 깊이 (20%), 큐비트 수 (10%) 를 가중치로 결합하여 상대적 이득 (Advantage) 을 계산하고 정책을 업데이트합니다.

3. 주요 기여 (Key Contributions)

• QSpark 시스템 개발: Qiskit SDK 에 특화된 AI 코딩 어시스턴트 프로토타입을 구축했습니다.
• 양자 특화 미세 조정: Qwen2.5-Coder-32B 모델을 양자 데이터셋으로 학습시키고, ORPO 와 GRPO 를 적용하여 일반 목적 모델보다 우수한 성능을 입증했습니다.
• 새로운 평가 기준 적용: Qiskit HumanEval (QHE) 벤치마크를 활용하여 난이도별 (Basic, Intermediate, Advanced) 성능을 정밀하게 분석했습니다.
• 오픈 소스 및 재현성: 전체 구현 코드와 데이터 처리 파이프라인을 공개하여 연구의 재현성을 보장했습니다.

4. 실험 결과 (Results)

Qiskit HumanEval (QHE) 벤치마크 결과:

• ORPO 모델: Pass@1 정확도 **56.29%**를 기록하여, 도메인 특화 모델인 Granite-8B-QK(46.53%) 를 약 10%p 이상 앞섰습니다.
• GRPO 모델: Pass@1 정확도 **49.00%**를 기록하여 모든 일반 목적 모델 (CodeLLaMA, DeepSeek 등) 을 능가했습니다.
• 난이도별 분석:
  • Basic: ORPO(44/78), GRPO(42/78) 가 기존 모델들보다 우수한 성능을 보였습니다.
  • Intermediate: ORPO 가 41/68 로 가장 높은 통과율을 기록했습니다.
  • Advanced: 모든 모델 (기존 벤치마크 포함) 이 0/5로 실패했습니다. 이는 현재 AI 가 복잡한 양자 추론을 수행하는 데 여전히 한계가 있음을 보여줍니다.

기타 발견:

• ORPO 와 GRPO 모델은 원래 HumanEval 벤치마크에서도 각각 65.90% 와 63.00% 의 높은 점수를 기록하여, 도메인 특화 학습이 일반 코드 생성 능력도 향상시킬 수 있음을 시사했습니다.
• 기존 벤치마크 참조 구현체조차 최신 Qiskit 버전 환경에서 Basic/Intermediate 태스크에서 실패하는 경우가 있어, 양자 실행 환경의 버전 민감성과 취약성이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 성공 요인: 선호도 기반 강화 학습 (Preference-based RL) 이 양자 코드 생성의 정확도와 신뢰성을 높이는 데 효과적임을 입증했습니다. 특히 ORPO 는 가독성과 모범 사례 준수 측면에서, GRPO 는 실행 효율성 측면에서 강점을 보였습니다.
• 한계: 현재로서는 'Advanced' 수준의 복잡한 양자 알고리즘 생성에는 실패하고 있으며, 학습 데이터의 양이 고전 코드에 비해 부족하여 일반화 능력이 제한될 수 있습니다. 또한 공식 평가 스크립트의 부재로 인한 재현성 문제가 존재합니다.
• 향후 과제:
  • GRPO 와 ORPO 를 통합된 보상 프레임워크로 결합.
  • 오류 수정, 하이브리드 알고리즘, 하드웨어 최적화 등 데이터셋 확장.
  • 표준화된 평가 도구와 벤치마크의 공개를 통한 공정한 비교 환경 조성.

이 연구는 양자 소프트웨어 공학 분야에서 AI 의 역할을 단순한 코드 생성기를 넘어, 개발자의 워크플로우를 보조하고 양자 프로그래밍의 진입 장벽을 낮추는 신뢰할 수 있는 도구로 발전시킬 수 있는 가능성을 제시했습니다.