Leveraging LLM-Based Agentic Systems to Generate Quantum Applications for Test Optimization

技术摘要：利用基于 LLM 的智能体系统生成用于测试优化的量子应用

问题陈述
尽管量子计算（QC）在优化软件工程（SE）任务（特别是如测试用例优化（TCO）这类基于搜索的软件工程（SBSE）问题）方面展现出巨大潜力，但仍存在一个显著障碍：将自然语言（NL）层级的任务需求转化为可执行的量子应用。现有方法需要具备量子力学和编程方面的深厚专业知识，以处理问题建模、编码、求解器选择及编排工作。现有的量子工作流工程工具（如 QuantME、Q-READY）虽然提供了抽象层，但无法实现从自然语言需求到可执行应用的端到端自动化生成。此外，虽然大语言模型（LLMs）在孤立的量子代码生成或 QUBO 转换方面已取得成功，但尚未被有效地应用于为 SE 优化任务生成完整的、具有可追溯性的、可执行的量子应用工作流。

方法论：QPipe 架构
作者提出了 QPipe，一种基于 LLM 的多智能体架构，旨在自主将自然语言需求转换为可执行的量子应用。该系统通过一个包含八个专业化智能体的结构化流水线运行，这些智能体由策划的任务知识和编码技能支持，并在本地工具环境中进行交互。

1. 工作流智能体：

   • 解析智能体 (Parse Agent)： 从自然语言需求中提取 SE 任务、目标、约束条件和项目数据。
   • 分析智能体 (Analysis Agent)： 确定量子适用性，识别优化内核（例如 QUBO 或 Ising 模型），并定义经典/量子拆分方案。
   • 蓝图智能体 (Blueprint Agent)： 创建混合工作流计划，指定结构、求解器选择及预期产物。
   • 编码智能体 (Encoding Agent)： 将完整的题目实例映射为可执行的子问题，通过分解变量或实例来处理比特预算限制。
   • 代码生成智能体 (Codegen Agent)： 根据蓝图和编码生成候选 Python 程序（使用 Qiskit/Qiskit-Aer）。它在一个循环内运行，利用工具进行静态检查、编译和沙盒执行，以进行迭代式代码修复。
   • 评审智能体 (Review Agent)： 在执行前，根据原始需求和中间产物对生成的代码进行语义审查，并针对不一致性或目标失配请求修复。
   • 组合智能体/脚本 (Combination Agent/Script)： 聚合来自分解后的子问题的结果。它使用确定性脚本处理简单的聚合（如求和），并使用 LLM 智能体处理复杂的语义解释。
   • 验证智能体 (Verification Agent)： 根据生成记录以及（在可行情况下）经典参考求解器，验证最终执行的应用及其结果。

2. 支持能力：

   • 任务知识 (Task Knowledge)： 提供关于建模（QUBO/Ising）的指导，并将问题锚定在特定的 SE 实体（如测试用例属性）上。
   • 编码技能 (Coding Skill)： 强制执行实现规范，例如使用特定的 Qiskit API 并避免使用存根（stubs）或已弃用的调用。
   • 工具链 (Tooling)： 智能体可以访问本地工具进行环境检查、代码存储、静态/编译检查、沙盒执行以及经典参考求解（例如针对小规模实例的精确特征值分解或穷举法）。

核心贡献

• 端到端自动化： QPipe 是首个能自主生成具有可追溯性的、可执行的量子应用系统的，涵盖了从解析到验证的完整生命周期，且面向自然语言 SE 优化需求。
• 多智能体分解： 该架构将关注点分离为专门的角色（解析、规划、编码、评审），从而实现了针对性的反馈循环，并保持了跨中间产物的可追溯性。
• 混合执行策略： 系统通过将大型问题分解为子问题并编排其执行与聚合，动态处理资源限制（如比特限制）。
• 经验评估框架： 作者建立了一个严谨的评估协议，使用 20 个自然语言需求覆盖 10 个真实的 TCO 基准测试（测试用例选择与最小化），测量生成成本、有效性（pass@k）以及相对于遗传算法（GA）基准的解质量。

实验结果
该研究在涉及 10 个基准测试（包括 elevator_o2, gsdtsr 和 GNU subject programs）的 20 个自然语言需求上对 QPipe 进行了评估。

• 生成有效性： QPipe 实现了 100% 的编译通过率，并在所有需求中实现了 96.7% 的应用执行与最终结果组合成功率。每个需求的平均生成成本为 260.1 秒，消耗 1.89 百万个 token。
• 解质量： 在成功生成的应用中，其解在大多数情况下优于经典的遗传算法（GA）基准。量子缩减率（QRR）显示出积极的改进，测试用例选择（TCS）的中位 QRR 为 57.6，测试用例最小化（TCM）为 89.1。最差情况下的表现仍能匹配或略微超过 GA 基准。
• 工作流模式： 对成功运行的分析表明，尽管提示词中提供了其他算法选项，但智能体自主收敛到了 QUBO 建模和 QAOA 算法。系统一致地将任务分解为 4–6 个子问题，并将电路规模控制在 12 个比特左右，以平衡可行性与开销。
• 消融实验： 移除特定组件会显著降低性能。移除代码生成技能导致了最剧烈的失败（编译成功率接近于零）。移除任务知识、评审反馈或多智能体分解也会降低有效性和解质量，证实了完整架构的必要性。
• 骨干 LLM 对比： 使用 Claude 作为骨干模型表现最佳（100% 编译成功，93.3% 执行成功）。DeepSeek 在早期阶段和编译方面表现良好，但在后期评审和验证阶段遇到困难。Llama 则完全无法完成代码生成阶段，凸显了工作流对骨干模型编码能力的敏感性。

意义与主张
论文声称，**智能体协同（agentic coordination）**是为现实世界测试优化问题生成可执行量子应用的一种可行方法。作者指出，QPipe 证明了基于 LLM 的多智能体系统可以自主应对量子工作流工程的复杂性——处理问题建模、编码及编排——而无需在每一步都进行人工干预。

其意义在于降低了将量子优化应用于 SE 任务的门槛。通过自动化将自然语言需求转化为可执行代码，QPipe 有望降低 SE 从业者利用量子计算所需的专业知识门槛。作者谨慎地总结道，虽然当前的工作流在 token 和时间成本方面较高，但它成功产生了高质量的解，且往往优于经典基准，这为更易于获取的量子辅助软件工程指明了方向。他们也指出，需要更广泛的实证研究来验证这些发现是否能推广到其他 SE 任务及量子后端。