⚛️ quantum physics

Fine-Tuning Large Language Models for Quantum Reasoning

이 논문은 명시적인 양자 회로 시뮬레이션 트레이스를 통해 대규모 언어 모델을 미세 조정하는 것이, 특히 지도 미세 조정(Supervised Fine-Tuning)과 그룹 상대적 정책 최적화(Group Relative Policy Optimisation)의 결합을 통해, 베이스라인 모델보다 정확도와 더 큰 큐비트 시스템에 대한 일반화 성능 측면에서 크게 앞서는 진정한 양자 추론 능력을 효과적으로 주입한다는 것을 입증한다.

원저자: Katherine Ip, Casey R. Myers, Udaya Parampalli, James Quach, Peiyong Wang

게시일 2026-06-23

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Katherine Ip, Casey R. Myers, Udaya Parampalli, James Quach, Peiyong Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 박학다식한 학생(대규모 언어 모델, 즉 LLM)이 있다고 상상해 보세요. 이 학생은 세상에 대해 많은 것을 알고 있지만, 실제로 물리학 숙제를 해본 적은 없습니다. 이 학생은 읽었던 이야기들을 바탕으로 과학 실험에서 어떤 일이 일어날지 추측할 수는 있지만, 왜 그런 일이 발생하는지에 대한 실제 '메커니즘'은 진정으로 이해하지 못합니다.

이 논문은 그 학생에게 단순히 정답을 추측하는 것이 아니라, 양자 컴퓨팅을 위한 수학을 실제로 수행하는 법을 가르치는 방법에 관한 것입니다.

다음은 이 실험의 내용을 쉬운 비유를 들어 정리한 내용입니다.

문제점: 추측하기 vs 이해하기

양자 컴퓨팅은 매우 이상하게 작동하는 보이지 않는 주사리 게임과 같습니다. 결과를 알기 위해서는 매 움직임마다 주사리가 어떻게 변하는지를 추적해야 합니다.

과거의 방식: 이전의 AI 모델들은 움직임의 패턴을 보고 최종 결과를 추측하려고 시도했습니다. 이는 마치 체스 게임의 첫 몇 수만 보고 나머지 과정을 계산하지 않은 채 승자를 예측하려는 것과 같습니다. 이 방식은 단순한 게임에서는 운 좋게 맞출 수 있지만, 게임이 길어지거나 복잡해지면 처참하게 실패합니다.
목표: 연구자들은 AI가 매 움직임 직후의 "주사리" 상태를 계산하여, 게임을 단계별로 실제로 시뮬레이션하도록 가르치고자 했습니다.

해결책: 두 가지 훈련 방법

연구자들은 AI(Qwen3-8B 모델 기반)를 양자 시뮬레이터로 훈련시키기 위해 두 가지 다른 방법을 시도했습니다.

방법 1: "단계별 학습지" (지도 미세 조정 또는 SFT)

학생에게 수학 문제의 모든 단계가 상세하게 적힌 학습지를 주는 상황을 상상해 보세요.

작동 방식: AI에게 양자 회로(명령 목록)와 그 사이의 모든 단계에 대한 정확한 답을 보여줍니다. AI는 게이트 1 이후의 상태, 게이트 2 이후의 상태, 게이트 3 이후의 상태를 끝까지 차례대로 적어야 합니다.
결과: 이 학생은 자신이 연습한 문제들에 대해서는 천재가 되었습니다. 작은 규모의 회로나, 학습했던 것보다 단계가 더 많은 회로에 대해서도 거의 완벽하게 정답을 맞혔습니다.
결함: 연구자들이 훨씬 더 큰 시스템(학습했던 것보다 더 많은 "주사리"를 추적해야 하는 경우)을 주었을 때, 학생은 당황했습니다. 그는 자신이 익숙했던 작은 공책을 사용하려 했고, 결국 전체 과정이 무너졌습니다. 그는 더 큰 규모를 감당할 수 없었습니다.

방법 2: "학습지 + 코치" (SFT + GRPO)

이 방법은 '학습지(SFT)'로 시작하되, 두 번째 단계인 보상 시스템(GRPO라고 불리는)을 사용하는 '코치'를 추가했습니다.

작동 방식: 먼저 학생은 단계별 방식을 배웁니다. 그다음 코치가 말합니다. "좋아, 이제 스스로 이 문제들을 풀어봐. 만약 최종 정답을 맞히면 점수를 줄게. 틀리면 0점이야." 학생은 결과만 맞힌다면 다양한 사고 방식을 시도해도 좋습니다.
결과: 이 학생은 좀 더 유연해지는 법을 배웠습니다. 익숙한 작은 문제들에서는 첫 번째 학생만큼 완벽하지는 않았지만, 결정적인 기술 하나를 배웠습니다. 바로 더 큰 문제를 다루는 법입니다.
마법 같은 기술: 6-큐비트 시스템(첫 번째 학생에게는 너무 컸던 크기)을 마주했을 때, 이 학생은 중간 계산 과정에서 실수(여전히 작은 공책을 사용함)를 범했지만, 마지막에 "잠깐, 이건 6-큐비트 게임이니까 내 답은 6자리 숫자가 되어야 해!"라고 깨달았습니다. 그리고 자신의 최종 답변을 문제의 크기에 맞춰 수정했습니다. 반면 첫 번째 학생은 작은 공책에 기반한 틀린 답을 내놓고 말았습니다.

핵심 발견 (쉬운 설명)

풀이 과정을 보여주는 것이 중요하다: 연구자들이 "단계별" 지침을 제거하고 단순히 최종 결과만 추측하게 했을 때, AI의 성능은 훨씬 떨어졌습니다. 이는 중간 단계(추론 흔적)를 보는 것이 AI가 단순히 패턴을 익히는 것이 아니라 논리를 배우는 데 필수적임을 증명합니다.
"길이"의 문제: 가장 큰 장애물은 수학의 복잡성이 아니라 문제의 길이였습니다. 양자 시스템은 기하급수적으로 성장합니다. "큐비트"(양자 비트)를 하나 더 추가할 때마다 정보량은 두 배로 늘어납니다. AI는 학습했던 것보다 더 커진 데이터가 폭발적으로 늘어나는 상황을 추적하는 데 어려움을 겪었습니다.
효율성: "학습지 + 코치(SFT+GRPO)" 방식은 더 효율적으로 학습하는 법을 배웠습니다. 이 AI는 공간을 절약하고 결과에 집중하기 위해 불필요한 세부 사항(예: 전체 숫자 목록을 다시 쓰는 대신 "상태가 변하지 않음"이라고 말하기)을 건너뛰는 법을 배우기 시작했습니다.

결론

이 논문은 단순히 똑똑한 AI에게 양자 물리학을 "알아내라"고 요구해서는 안 된다고 결론짓습니다. 당신은 AI에게 양자 물리학을 단계별로 시뮬레이션하도록 가르쳐야 합니다.

**단계를 가르치는 것(SFT)**은 AI가 아는 문제에 대해 믿을 수 없을 정도로 정확하게 만듭니다.
**보상 시스템을 추가하는 것(GRPO)**은 AI가 더 똑똑하고 유연한 해결 방식을 찾도록 장려함으로써, 더 크고 낯선 문제를 다룰 수 있는 일반화 능력을 키워줍니다.

하지만 이 논문은 이러한 훈련에도 불구하고, 양자 시스템이 너무 커지면 AI가 여전히 한계에 부딪힌다는 점을 인정합니다. 이는 마치 인간에게 장술(long division)을 가르치는 것과 같습니다. 종이에 쓰는 법을 완벽히 배웠더라도, 만약 백만 자리 숫자가 적힌 문제를 준다면, 아무리 잘 훈련받았더라도 결국 공간이 부족해지거나 실수를 하게 될 것입니다. AI는 양자 작업에 대해 "시스템 2"(느리고 신중한 추론) 사고를 하는 데 점점 더 능숙해지고 있지만, 여데 우주의 거대한 규모 앞에서는 여전히 고군분투하고 있습니다.

기술 요약: 양자 추론을 위한 대규모 언어 모델의 미세 조정(Fine-Tuning)

문제 정의

대규모 언어 모델(LLM)은 복잡한 추론 작업(System 2 사고)에서 창발적인 능력을 입증해 왔으나, 양자 컴퓨팅과 같이 매우 전문화된 과학적 영역에 대한 적용은 여전히 제한적이다. 기존의 접근 방식은 프롬프트 엔지니어링이나 양자 코드 생성 또는 회로 합성과 같은 특정 작업에 국한된 좁은 의미의 미세 조정에 의존하는 경우가 많다. 그러나 핵심적인 간극이 존재한다: 이러한 모델들이 진정한 양자 추론(임의의 양자 연산을 추론하고 학습되지 않은 회로로 일반화하는 능력)을 보유하고 있는지, 아니면 단순히 익숙한 구조에 대한 작업 특화적 패턴 매칭을 수행하는 것인지가 불분명하다는 점이다.

본 연구에서 다루는 핵심 과제는 LLM에 진정한 양자 추론을 주입하기 위한 미세 조정 파이프라인을 개발하는 것이다. 구체적으로, 저자들은 양자 회로의 게이트 연산 시퀀스가 주어졌을 때 모델이 측정 확률 분포를 예측하도록 훈련하는 것이, 모델을 단순한 표면적 패턴 인식이 아닌 양자 역학적 원리에 기반하도록 정착시킬 수 있는지 조사한다.

방법론

데이터셋 구축

저자들은 무작위로 생성된 두 종류의 양자 회로 데이터셋(1~~5 큐비트, 1~~50 게이트)을 큐레이션하였다:

비매개변수 세트(Non-parameterised Set): $H, X, Z, CNOT, CZ$ 게이트 및 다중 제어 게이트(최대 4개의 컨트롤)를 포함한다.
매개변수 세트(Parameterised Set): 위 구성에 이어서 이산 집합에서 샘플링된 각도 값을 가진 매개변수 회전 게이트 $R_x, R_y, R_z$ 를 확장하여 포함한다.
회로는 특히 다중 제어 게이트에 대한 토큰 효율성을 위해 Qiskit Python API를 사용하여 표현된다.

훈련 파이프라인

본 연구는 Qwen3-8B 베이스 모델을 사용하여 두 가지 미세 조정 전략을 제안하고 비교한다:

명시적 트레이스(Explicit Traces)에 대한 지도 미세 조정(SFT):
- 모델은 게이트 단위의 상태 벡터 시뮬레이션 트레이스를 통해 훈련된다.
- 각 게이트 적용 시, 모델은 상태 벡터(일반적인 값에 대한 기호식과 기타 값에 대한 부동 소수점으로 표현됨)를 업데이트하고 중간 진폭을 계산하는 추론 트레이스를 생성한다.
- 최종 출력은 상위 15개 측정 확률을 담은 JSON 딕셔너리이다.
- 특수 토큰(<circuit_reasoning>, <quantum_state>)은 단계별 시뮬레이션 과정을 강제하기 위해 출력을 구조화한다.
2단계 SFT + 그룹 상대 정책 최적화(GRPO):
- 1단계 (SFT): 범용 추론 능력을 유지하고 출력 다양성을 방지하기 위해 일반 추론 데이터셋(OpenMathReasoning, OpenCodeReasoning)과 함께 멀티태스크 SFT를 수행한다.
- 2단계 (GRPO): 모델은 **검증 가능한 보상(verifiable rewards)**을 사용하는 강화 학습을 거친다.
  - 보상 구조: (1) 형식 검증(유효한 JSON, 올바른 비트스트링 길이, 정규화된 확률)과 (2) 예측된 확률 분포와 실제 분포 사이의 총 변동 거리(Total Variation Distance, TVD)에 기반한 복합 보상을 사용한다.
  - 목표: GRPO는 모델이 SFT에서 사용된 고정된 상세한 트레이스를 넘어, 정확도를 유지하면서 더 토큰 효율적인 추론 전략을 탐색하도록 장려한다.

평가 지표

F1-Score: 예측된 상위 15개 계산 기저 상태(computational basis states)와 실제 상태 간의 중첩도를 측정한다.
총 변동 거리(TVD): 예측된 확률 분포의 오차를 정량화한다.
단계별 상태 충실도(Step-by-Step State Fidelity): SFT 파이프라인에 특화된 새로운 지표로, 각 중간 게이트 단계에서 예측된 양자 상태와 실제 상태 사이의 충실도를 계산한다.
토큰 효율성(Token Efficiency): 올바르게 시뮬레이션된 샘플 수와 생성된 토큰 수의 비율이다.

주요 결과

인-디스트리뷰션(In-Distribution) 및 외삽 성능

인-디스트리뷰션(Set 1) 및 게이트 개수 외삽(Set 2): SFT와 SFT+GRPO 모두 베이스 모델(Qwen3-8B) 및 더 큰 규모의 GPT-OSS-120B 베이스라인을 크게 상회한다.
- SFT는 거의 완벽한 F1-점수(비매개변수 세트 1에서 0.988)와 가장 낮은 TVD를 달 기록하며, 인-디스트리뷰션 작업에서 높은 정밀도를 보여준다.
- SFT+GRPO는 유사한 F1-점수를 달성하지만 TVD는 약간 더 높으며, 이는 모델이 더 나은 일반화 능력을 얻기 위해 확률 정밀도를 일부 희생하는 트레이드오프를 보여준다.
시스템 크기 외삽(Set 3, 6~7 큐비트):
- SFT는 비매개변수 회로에서 완전히 붕괴되어(F1 = 0.000), 훈련 분포(1~5 큐비트)를 벗어난 큐비트 수에 대해 일반화하는 데 실패한다.
- SFT+GRPO는 **부분적인 길이 일반화(partial length generalization)**를 보여, 비매매변수(0.045) 및 매개변수(0.265) 세트에서 0이 아닌 F1-점수를 달성한다. 질적 분석에 따르면, SFT+GRPO는 추론 과정에서 여전히 잘못된(더 작은) 상태 벡터를 초기화하지만, 최종 답변 단계에서 올바른 길이의 비트스트링을 생성함으로써 결과적으로 복구하는 반면, SFT는 차원 오류를 최종 답변까지 전파시킨다.

절제 실험(Ablation) 및 분석

추론 트레이스의 역할: 명시적 추론 트레이스 유무에 따른 절제 실험 결과, 트레이스 없이 훈련된 모델은 F1 및 TVD 측면에서 현저히 낮은 성능을 보였다. 이는 단계별 트레이스가 정확한 양자 시뮬레이션을 위한 결정적인 학습 신호를 제공함을 확인시켜 준다.
토큰 효율성: 인-디스트리뷰션 작업에서 SFT가 가장 토큰 효율적이다. SFT+GRPO는 (게이트가 효과가 없는 경우 상태 업데이트를 건너뛰는 등) 더 간결한 추론을 생성하는 법을 학습하여, 단순 작업에서는 SFT보다 덜 효율적이지만 SFT의 상세한 트레이스보다는 적은 토큰을 사용한다.
병목 현 현상: 식별된 주요 한계점은 **길이 일반화(length generalization)**이다. 두 모델 모두 단계별 추론 과정에서 기하급수적으로 증가하는 양자 상태 공간을 추적하는 데 어려움을 겪으며, 이는 양자 상태의 지수적 스케일링이 LLM의 광범위한 길이 일반화 과제의 구체적인 발현임을 시사한다.

의의 및 주장

본 논문은 명시적 추론 트레이스에 대한 타겟팅된 미세 조정이 제로샷 프롬프팅이나 더 큰 범용 모델보다 LLM의 양자 추론 능력을 향상시키는 데 효과적인 전략이라고 주장한다.

진정한 추론 vs 패턴 매칭: 단계별 상태 추적의 높은 충실도는 모델이 단순히 회로 패턴을 매칭하는 것이 아니라 양자 역학을 시뮬레이션하는 법을 배우고 있음을 시사한다. 다만, 시스템 크기 외삽에서의 실패는 이러한 추론이 아직 완전히 견고하지는 않음을 나타낸다.
트레이드오프: 본 연구는 SFT가 보여주는 정밀도(엄격한 시뮬레이션 트레이스에 의한)와 SFT+GRPO가 보여주는 일반화(적응형 탐색에 의한) 사이의 트레이드오프를 강조한다.
향atic 방향: 저자들은 시뮬레이션 트레이스에 대한 미세 조정이 강력한 신호를 제공하기는 하지만, 길이 일반화 병목 현상을 완전히 해결하기에는 불충분하다고 제안한다. 다음 단계로서, 단순히 시뮬레이션 트레이스에 의존하는 것이 아니라 회로 합성(circuit synthesis)과 같은 다운스트림 작업에 사용할 수 있는 양자 지식을 내재화한 "양자 세계 모델(Quantum World Model)"을 개발할 것을 제안한다. 또한 토큰 효율성 제약으로 인한 수치적 정밀도 문제와 평가 과정에서 위상(phase) 정보가 제외된 점을 한계로 언급한다.