QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits

该论文介绍了 QASM-Eval，这是首个旨在针对 OpenQASM-3 的高级硬件面向特性（如经典反馈和脉冲控制）来训练和评估大型语言模型的综合数据集与基准测试，并证明了针对性的微调能显著提高模型在这些关键的 NISQ 时代编程任务中的性能。

要点

想象一下，你正在试图教一名才华横溢但缺乏经验的学徒去建造一台非常精密的、高科技的机器。这台机器是一台量子计算机。

长期以来，我们给这位学徒的指令就像是一个简单的食谱：“混合这些原料，烘烤10分钟。”这对于处理基础任务已经足够了，但现在这台机器正进入一个嘈杂且困难的阶段（被称为 NISQ 时代）。为了让它可靠地运行，指令需要变得更加精确。学徒现在需要知道确切的何时检查温度，如何在中途调整烤箱门，甚至如何微调热波的形状本身。

这种用于编写这些超精确指令的语言被称为 OpenQASM 3。它是量子计算机的“硬件手册”。

问题：学徒感到困惑

尽管人工智能（AI）在编写代码方面已经变得非常出色，但出现了一个主要问题：没有人专门为这种全新的、复杂的语言构建过针对性的练习测试。

现有的测试就像是要求学徒“烤一个蛋糕”（高层逻辑）或“修理一个坏掉的烤面包机”（基础电路）。但它们并没有测试学徒是否能够：

1. 暂停并思考： 停止烘烤过程，检查传感器，并根据读数决定是否添加更多糖（经典逻辑）。
2. 精准计时： 在打开炉门前精确等待 0.0000001 秒，或者完美地同步两个烤箱（定时调度）。
3. 微调波形： 手动调整撞击食物的热波形状，以防止烧焦（脉冲控制）。

由于缺乏针对这些特定技能的练习测试，AI 模型一直在靠猜测，并且表现得很糟糕。

解决方案：QASM-Eval（终极模拟考试）

该论文的作者创建了 QASM-Eval。你可以把它看作是一个大规模的、专门化的训练健身房，也是针对 OpenQASM 3 的 AI 终极考试。

• 训练集： 他们生成了 4,000 个练习题。这些不仅仅是随机的问题；它们是精心设计的场景，AI 必须在其中填补缺失的代码，以使量子机器正常工作。
• 考试： 他们设计了一套严格的 100 道题目的测试。
• 评分系统： 他们构建了一个特殊的“机器人老师”（自动验证器）。这个机器人不仅仅检查代码看起来是否正确，它还会实际模拟量子机器，以观察代码是否产生了正确的结果、是否遵循了计时规则，以及是否没有导致系统崩溃。

他们的发现

研究人员让几个顶尖的 AI 模型（如 Llama 和 GPT）参加了这项新考试。结果如下：

1. “零样本”（Zero-Shot）的挣扎： 当他们要求 AI 在没有任何帮助的情况下参加考试（仅仅给出问题并让其解决）时，结果非常糟糕。这些 AI 就像是学过通用物理学但从未见过这台机器特定蓝图的学生。它们无法掌握语法，更不用说计时了。
2. “少样本”（Few-Shot）的提升： 当研究人员先给 AI 提供一些解决类似问题的例子（比如展示一个示例答案）时，得分上升了。这就像是给了学生一张带有单个例子的“小抄”。
3. “微调”（Fine-Tuning）的突破： 这是最大的胜利。研究人员利用这 4,000 个练习题对 AI 模型进行了专门的“训练”。
   • 结果： 一个中等规模的 AI 模型（Llama-8B）在经过这种特定训练后，表现几乎与那些完全没有经过训练的最强大、最昂贵的 AI（GPT-5.2）不相上下。
   • 冠军： 一个更大的 AI 模型（Llama-70B）在经过训练后成为了大师。它在考试中获得了 85% 的分数，甚至击败了那些在给予少量示例后的最强 AI。

核心结论

论文得出结论，瓶颈并不在于 AI 对量子物理学“不够聪明”。瓶颈在于 AI 不了解 OpenQASM 3 的特定语法和规则。

通过创建专门的数据集（QASM-Eval）并针对该数据集训练 AI，他们证明了你可以将通用的 AI 转变为高度可靠的量子程序员。这就像是将一个懂得驾驶汽车的聪明人，交给一份特定的手册和一条 F1 赛道的练习场；突然之间，他们就能完美地驾驶赛车了。

这个数据集现在已向所有人开放使用，旨在帮助构建更好的 AI 助手，从而协助人类编写下一代量子计算机的程序。

技术摘要

技术摘要：QASM-Eval

问题陈述

量子计算目前处于噪声中规模量子（NISQ）时代，其性能受到噪声的严重制约。缓解这些误差需要面向硬件的能力，这些能力超出了标准的门序列电路规范。这些能力包括用于量子纠错（QEC）的中路测量（mid-circuit measurement）与经典反馈、用于动力学退耦（DD）的精确时序控制，以及用于校准的脉冲级波形访问。

OpenQASM 3 的引入旨在暴露这些硬件层面的特性，提供一种将算法与物理连接起来的编程接口。然而，尽管大语言模型（LLM）在代码生成方面取得了飞速进展，但仍缺乏专门用于训练和评估 LLM 处理具有这些先进硬件导向型特性的 OpenQASM 3 程序的数据集。现有的资源要么侧重于高层算法设计（例如基于 Qiskit 的数据集），要么局限于静态门序列电路，未能涵盖 OpenQASM 3 动态且受约束性强的本质特征。因此，目前的 LLM 在生成符合 OpenQASM 3 关于经典逻辑、时序和脉冲控制的严格语法及语义约束的有效代码方面表现困难。

方法论

数据集构建 (QASM-Eval)

作者引入了 QASM-Eval，这是第一个专门为训练和评估 LLM 处理 OpenQASM 3 而设计的综合数据集。该数据集通过结合人类量子编程专家与 AI 的混合流水线构建，确保了多样性和正确性，同时防止了数据泄露。

1. 模板准备： 专家设计“背景模板”（随机化量子比特配置、频率和初始状态）和“核心任务模板”（针对特定主题，如 if/else 流或脉冲操作）。
2. 实例生成： 由一个编码器-LLM（Qwen3-Coder-480B）在 OpenQASM 3 文档的增强下，生成核心任务的风格化和结构化变体。这些变体与随机化的背景相结合，从而创建完整的 OpenQASM 3 程序。
3. 提示词生成： 将核心任务代码替换为描述所需功能的自然语言“TODO”注释，从而创建一个“规范-解决方案”对。
4. 数据集组成：
   • 测试集： 100 个经专家验证的任务。
   • 训练集： 4,000 个任务。
   • 类别： 数据集涵盖四个类别：
     • 经典逻辑： 控制流、中路测量、算术运算和类型转换。
     • 时序调度： 延迟插入、持续时间类型、可拉伸间隔和对齐。
     • 脉冲控制： 波形操纵、帧同步和校准。
     • 复杂任务： 集成上述功能的真实工作流，如 QEC、DD 和串扰校准。

评估框架

为了验证生成的程序，作者开发了一个扩展自动验证器，用于检查：

• 语法： 通过官方 OpenQASM 3 解析器进行解析，以确保生成良构的抽象语法树（AST）。
• 量子态： 使用状态向量模拟（Qiskit）和脉冲级模拟（Qutip）来验证最终的量子态分布是否符合参考行为。
• 调度： 生成虚拟时间线以验证是否满足时序约束（例如对齐、延迟）。

通过标准要求成功的语法解析，并根据任务类型，通过状态检查、调度检查或两者皆通过。

核心贡献

1. 首个面向 OpenQASM 3 硬件的数据集： QASM-Eval 是第一个系统性覆盖 OpenQASM 3 高级特性（经典逻辑、时序和脉冲控制）的资源，专门用于 LLM 训练和评估。
2. 自动化验证流水线： 作者扩展了现有工具链，以支持对 OpenQASM 3 独特特性（包括动态时序和脉冲级语义）的自动验证，实现了与人类专家 92% 的一致率。
3. 基准测试与微调结果： 本文提供了一个严谨的基准测试，表明最先进的模型在处理 OpenQASM 3 任务时表现挣扎，但可以通过针对性的微调获得显著提升。

实验结果

作者使用 QASM-Eval 测试集评估了包括 ChatGPT-5.2-Thinking、DeepSeek-V3 和 Llama-3 变体（8B 和 70B）在内的多个模型。

• 基准性能： 最先进的模型表现有限。ChatGPT-5.2-Thinking 的整体 pass@1 为 0.54，而开源基准模型（Llama-70B、Llama-8B）得分显著较低（分别为 0.27 和 0.24）。在“复杂”任务上的表现尤为糟糕（0.00–0.08）。
• 少样本提示（Few-Shot Prompting）： 提供三个上下文示例提高了性能，使 ChatGPT-5.2-Thinking 的整体性能达到 0.78。然而，这种方法依赖于模型从示例中推断模式的能力，而非内化的知识。
• 微调影响： 在 QASM-Eval 训练集上进行微调带来了最实质性的收益：
  • Llama-3-70B： 实现了 0.85 的整体 pass@1，超越了经过少样本增强的 ChatGPT-5.2-Thinking (0.78)。
  • Llama-3-8B： 从 0.24 提升至 0.52，接近 ChatGPT-5.2-Thinking 的零样本性能。
  • 在先前数据集（QCircuitBench、Agent-Q）上的微调仅提供了边际改进，凸显了针对 OpenQASM 3 硬件特性数据的必要性。
• 误差分析： 微调主要减少了语法错误（例如，错误的测量赋值或无效的 switch 语法），这些是基准模型的常见失败模式。虽然语法有效性显著提高，但语义错误（时序和分布不匹配）仍然是一个挑战，特别是在较小的模型中。

重要性与主张

本文将 QASM-Eval 定位为 NISQ 时代至关重要的基准测试和训练基础。作者主张：

• 当前的 LLM 缺乏处理面向硬件的量子编程所需的特定语法和语义知识。
• 针对 QASM-Eval 的定向微调释放了巨大的潜力，使得中等规模模型（如 Llama-3-70B）能够超越经过少样本辅助的更大模型。
• 该数据集和验证框架为开发可靠的 LLM 助手提供了必要的一步，使其能够弥合算法意图与物理量子执行之间的鸿沟，从抽象的电路设计转向噪声缓解和校准的实际应用。

作者对研究范围保持谦逊，指出目前的任务侧重于受约束驱动的代码翻译，而非开放式的算法推理，并且数据的合成性质可能无法完全捕捉现实世界量子代码库中非结构化的复杂性。然而，他们断言 QASM-Eval 为未来的研究建立了一个至关重要的基线。