⚛️ quantum physics

Fine-Tuning Large Language Models for Quantum Reasoning

本文证明了通过显式量子线路模拟轨迹，特别是结合监督微调（Supervised Fine-Tuning）与群体相对策略优化（Group Relative Policy Optimisation）对大语言模型进行微调，能够有效赋予其真正的量子推理能力，使其在准确率以及对更大量子比特系统的泛化能力方面均显著优于基准模型。

原作者： Katherine Ip, Casey R. Myers, Udaya Parampalli, James Quach, Peiyong Wang

发布于 2026-06-23

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Katherine Ip, Casey R. Myers, Udaya Parampalli, James Quach, Peiyong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你有一个非常聪明、博学多才的学生（一个大语言模型，简称 LLM），他了解很多关于世界的事物，但从未真正做过物理作业。他可以根据读过的故事来猜测科学实验可能发生的结果，但他并不真正理解事物发生的“机制”。

这篇论文是关于如何教导那个学生如何真正地进行量子计算的数学运算，而不仅仅是靠猜答案。

以下是他们实验的拆解，使用了简单的类比：

问题：猜测 vs. 理解

量子计算就像一场由隐形骰子进行的博弈，这些骰子的行为非常古怪。要了解结果，你必须追踪这些骰子在每一次移动中是如何变化的。

旧方法： 之前的 AI 模型试图通过观察移动的模式来猜测最终结果。这就像是在只看前几步棋的情况下，试图猜测一场国际象棋比赛的胜负，而没有计算出后续的所有步骤。它们在简单的游戏中可能会碰巧猜对，但当游戏变得更长或更复杂时，就会彻底失败。
目标： 研究人员想要教会 AI 真正地模拟这个游戏——即在每一个移动之后，都计算出“骰子”的状态。

解决方案：两种训练方法

研究人员尝试了两种不同的方式来训练他们的 AI（基于一个名为 Qwen3-8B 的模型）使其成为一个量子模拟器。

方法 1：“分步练习册”（监督微调，简称 SFT）

想象一下给学生一本练习册，其中每一个数学问题的每一个步骤都详细写了出来。

运作方式： AI 被展示一个量子线路（一组指令）以及中间每一步的确切答案。它必须写下系统在执行完第 1 个门（Gate 1）、第 2 个门、第 3 个门……直到最后一步后的状态。
结果： 这个学生成了他练习过的那些问题的天才。对于规模较小的电路，甚至对于步骤比他见过的还要多的电路，他都能近乎完美地得出答案。
缺陷： 当研究人员给了他一个更大的系统（要追踪的“骰子”比他在练习册里见到的更多）时，这个学生惊慌失措了。他试图使用他习惯的那本小笔记本，结果整个计算过程崩溃了。他无法处理更大的规模。

方法 2：“练习册 + 教练”（SFT + GRPO）

这种方法始于“练习册”（SFT），但增加了一个第二阶段：一个使用奖励机制（称为 GRPO）的“教练”。

运作方式： 首先，学生学习分步的方法。然后，教练说：“好了，现在尝试自己解决这些问题。如果你得到了正确的最终答案，你就得一分。如果你错了，你就得零分。” 学生可以尝试不同的思考方式，只要能得到正确的结果即可。
结果： 这个学生学会了变得更加灵活。虽然在熟悉的小规模问题上，他不像第一个学生那样完美，但他学会了一个至关重要的技巧：如何处理更大的问题。
神奇的招数： 当面对一个 6 量子比特（6-qubit）系统时（这对于第一个学生来说太大了），这个学生在中间计算过程中犯了一个错误（他仍然使用了那本小笔记本），但他最后意识到：“等等，这是一个 6 量子比特的游戏，所以我的答案需要 6 位数字！” 他修正了最终答案以匹配问题的规模，而第一个学生只会根据他的小笔记本给出一个错误的答案。

用通俗语言总结关键发现

展示过程很重要： 当研究人员移除“分步”指令，只要求 AI 猜测最终答案时，AI 的表现变得差得多。这证明了看到中间步骤（即“推理轨迹”）对于 AI 学习逻辑（而非仅仅是模式）是至关重要的。
“长度”问题： 最大的障碍不是数学的复杂程度，而是问题的长度。量子系统呈指数级增长。如果你增加一个“量子比特”（qubit），信息量就会翻倍。当问题比它受训时更大的时候，AI 很难追踪这种爆炸式增长的数据。
效率： “练习册 + 教练”（SFT+GRPO）方法学会了变得更高效。它开始跳过不必要的细节（例如，它会说“状态未改变”，而不是重新写下一整串数字）以节省空间并专注于结果。

核心结论

论文得出结论：你不能仅仅要求一个聪明的 AI 去“弄明白”量子物理。你必须教它如何模拟物理过程。

教它步骤（SFT） 使它在已知问题上具有极高的准确性。
加入奖励系统（GRPO） 则有助于它实现泛化，并能通过鼓励它寻找更聪明、更灵活的解题方式，来处理稍大的、陌生的问题。

然而，论文也承认，即使有了这些训练，当量子系统变得过于庞大时，AI 仍然会遇到瓶颈。这有点像教人类做长除法：他们可以在纸上做得非常完美，但如果你给他们一个有一百万位数字的数字，无论经过多么好的训练，他们最终都会耗尽空间或出错。AI 在处理量子任务时的“系统 2”思维（慢速、深思熟虑的推理）正在进步，但它在面对宇宙的宏大规模时仍然感到吃力。

技术摘要：针对量子推理的大语言模型微调

问题陈述

尽管大语言模型（LLMs）在复杂推理任务（System 2 思维）中展现出了新兴能力，但其在量子计算等高度专业化科学领域的应用仍然有限。现有方法通常依赖于提示工程或针对特定任务（如量子代码生成或电路合成）的窄领域微调。然而，存在一个关键差距：目前尚不清楚这些模型是否具备真正的量子推理能力——即对任意量子操作进行推理并泛化到未见电路的能力——还是仅仅在熟悉的结构上进行特定任务的模式匹配。

本研究解决的核心挑战是开发能够使 LLM 具备真正量子推理能力的微调流水线。具体而言，作者研究了通过训练 LLM 根据给定的一系列门操作来预测量子电路的测量概率分布，是否能将模型锚定在量子力学原理之上，而非仅仅停留在表层的模式识别。

方法论

数据集构建

作者构建了两个由随机生成的量子电路（1–5 个量子比特，1–50 个门）组成的集合：

非参数化集合： 包含门 $H, X, Z, CNOT, CZ$ 以及多受控门（最多 4 个控制位）。
参数化集合： 在上述基础上扩展了带有参数化旋转门 $R_x, R_y, R_z$ 的电路，其角度从离散集合中采样。
电路使用 Qiskit Python API 进行表示，以提高 Token 效率，特别是在处理多受控门时。

训练流水线

本研究使用 Qwen3-8B 基座模型提出了并对比了两种微调策略：

基于显式轨迹的监督微调 (SFT)：
- 模型在逐门状态向量模拟轨迹上进行训练。
- 对于每个门的调用，模型生成一个推理轨迹，该轨迹更新状态向量（使用常见值的符号表达式表示，以及其他值的浮点数表示）并计算中间振幅。
- 最终输出是一个包含前 15 个测量概率的 JSON 字典。
- 特殊标记（<circuit_reasoning>, <quantum_state>）用于结构化输出，以强制执行逐步模拟过程。
两阶段 SFT + 群相对策略优化 (GRPO)：
- 第一阶段 (SFT)： 在量子轨迹的同时，在通用推理数据集（OpenMathReasoning, OpenCodeReasoning）上进行多任务 SFT，以防止灾难性遗忘并保持输出多样性。
- 第二阶段 (GRPO)： 模型进行带有可验证奖励的强化学习。
  - 奖励结构： 一个基于（1）格式验证（有效的 JSON、正确的比特串长度、归一化的概率）和（2）预测概率分布与真实分布之间的全变分距离 (TVD) 的复合奖励。
  - 目标： GRPO 鼓励模型探索更具 Token 效率的推理策略，同时保持准确性，从而超越 SFT 中使用的固定且冗长的轨迹。

评估指标

F1 分数： 衡量预测的前 15 个计算基态与真实基态之间的重叠度。
全变分距离 (TVD)： 量化预测概率分布的误差。
逐步状态保真度 (Step-by-Step State Fidelity)： 针对 SFT 流水线的创新指标，计算每一步中间门过程中预测量子态与真实量子态之间的保真度。
Token 效率： 正确模拟样本数与生成的 Token 总数之比。

关键结果

分布内性能与外推表现

分布内 (Set 1) 与门数外推 (Set 2)： SFT 和 SFT+GRPO 均显著优于基座模型 (Qwen3-8B) 和更大的 GPT-OSS-120B 基准模型。
- SFT 实现了近乎完美的 F1 分数（非参数化集合 1 为 0.988）和最低的 TVD，展示了在分布内任务中的高精度。
- SFT+GRPO 取得了相当的 F1 分数，但 TVD 略高，这表明存在一种权衡：它牺牲了一定的概率精度以换取更好的泛化能力。
系统规模外推 (Set 3, 6–7 个量子比特)：
- SFT 在非参数化电路上的表现完全崩溃（F1 = 0.000），无法泛化到训练分布（1–5 个量子比特）之外的量子比特数量。
- SFT+GRPO 展示了部分长度泛化能力，取得了非零的 F1 分数（非参数化集合为 0.045，参数化集合为 0.265）。定性分析显示，虽然 SFT+GRPO 在推理过程中仍会初始化一个错误的（较小的）状态向量，但它能在输出阶段通过生成正确长度的比特串来恢复，而 SFT 则会将维度错误传播至最终答案。

消融实验与分析

推理轨迹的作用： 通过对比带有和不带有显式推理轨迹的 SFT 模型，消融研究表明，没有轨迹的模型表现明显更差（较低的 F1，较高的 TVD）。这证实了逐步轨迹为准确的量子模拟提供了关键的学习信号。
Token 效率： SFT 在分布内任务上是最具 Token 效率的。SFT+GRPO 学会了生成更简洁的推理（例如，在门对状态无影响时跳过状态更新），从而减少了 Token 使用量，尽管在简单任务上其效率仍低于 SFT。
瓶颈： 研究识别出的主要限制是长度泛化。由于在逐步推理过程中，两个模型都难以追踪更大量子系统中指数级增长的状态空间，这表明量子态的指数级缩放是 LLM 广泛存在的长度泛化挑战的具体体现。

意义与主张

论文声称，针对显式推理轨迹的定向微调是提升 LLM 量子推理能力的有效策略，其表现优于零样本提示和更大的通用模型。

真正推理 vs. 模式匹配： 逐步状态跟踪的高保真度表明，模型正在学习模拟量子力学而非仅仅匹配电路模式，尽管在系统规模外推方面的失败表明这种推理尚未完全成熟。
权衡： 本工作强调了精度（通过 SFT 的刚性模拟轨迹实现）与泛化（通过 SFT+GRPO 的自适应探索实现）之间的权衡。
未来方向： 作者指出，虽然利用模拟轨迹进行微调提供了强大的信号，但这不足以完全解决长度泛化的瓶颈。他们提出下一步是开发一个“量子世界模型”，将量子知识内化，以用于电路合成等下游任务，而非仅仅依赖于模拟轨迹。他们还提到了关于数值精度（受限于 Token 效率约束）以及评估中排除了相位信息等局限性。