⚛️ quantum physics

Hybrid Action Reinforcement Learning for Quantum Architecture Search

该论文提出了 HyRLQAS，一种混合动作强化学习框架，它将离散电路结构搜索与连续参数优化统一起来，以自动设计变分量子电路，从而在减少门数量的同时实现化学精度并加快收敛速度。

原作者： Jiayang Niu, Yan Wang, Jie Li, Ke Deng, Azadeh Alavi, Muhammad Usman, Yongli Ren

发布于 2026-01-30

📖 1 分钟阅读🧠 深度阅读

原作者： Jiayang Niu, Yan Wang, Jie Li, Ke Deng, Azadeh Alavi, Muhammad Usman, Yongli Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图建造一台完美的机器来解决一个特定的谜题。在量子计算的世界里，这种“机器”被称为量子线路（Quantum Circuit），而这个“谜题”通常是弄清楚分子的能量状态（例如原子是如何粘在一起的）。

长期以来，建造这些机器就像是在蒙着眼睛组装一套复杂的乐高积木。你必须同时决定两件事：

结构： 积木（门/gate）应该放在哪里？
设置： 你应该把这些积木上的旋钮拧多紧？

旧方法：分两步走

以往的方法尝试通过先后执行这两个步骤来解决问题，就像一场接力赛，但接力棒在传递时掉在了地上。

第 1 步： 一个 AI 会猜测结构（积木该放哪儿）。
第 2 步： 一个单独的、运行缓慢的计算机程序会尝试去拧那些旋钮，让机器正常工作。

问题在于，当 AI 在放置积木时，它并不知道这些旋钮之后会被如何拧动。这就像一位建筑师在设计房子时，完全不知道水管工是否能把管子塞进去。这往往导致设计的方案要么过于复杂，要么根本无法很好地工作，从而需要那个负责“拧旋钮”的计算机程序运行很长时间来修复错误。

新方法：HyRLQAS（“混合型”建筑师）

本文作者提出了一种名为 HyRLQAS 的新方法。你可以把它想象成聘请了一位超级聪明的建筑师，他不仅能绘制蓝图，还能在绘图的同时，精准地知道如何转动机械上的刻度盘。

以下是它的工作原理，使用简单的类比：

1. “混合”动作空间（同时做两件事）
AI 不仅仅是说“在这里放一个红色积木”，而是说：“在这里放一个红色积木，并将它的刻度设置为 45 度。”

离散动作（Discrete Action）： 决定在哪里放置一个门（比如选择一个乐高零件）。
连续动作（Continuous Action）： 决定这个门的初始设置（比如选择一个刻度盘的起始角度）。
通过同时学习这两者，AI 理解了机器的形状与其部件的设置之间是深度关联的。

2. “精炼”机制（打磨步骤）
当你为一个复杂的机器添加一个新部件时，它往往会破坏之前添加的部件之间的平衡。

旧方法： 一旦放置了一个部件，它的设置就被锁定了。如果新部件搞砸了平衡，整个系统必须稍后重新进行优化。
HyRLQQAS： 每当添加一个新部件时，AI 会立即“打磨”之前部件的设置，以确保它们依然能良好协作。这就像一位雕塑家，每当他增加一块新的黏土时，都会轻轻地重塑整尊雕像，以保持其平衡。

3. 奖励系统（“化学精度”目标）
AI 在一个虚拟环境中接受训练，尝试构建一个能够计算分子能量的电路。

如果电路算出的能量非常准确（非常接近真实值），它会得到一颗“金星”（奖励）。
如果错了，它会得到一个“大拇指朝下”（惩罚）。
目标是达到化学精度（Chemical Accuracy），这就像是击中一个极其精确的靶心，其误差比足球场上的一粒沙子还要小。

他们发现了什么？

作者在几个分子谜题（如氢化锂和水）上测试了这种新 AI。以下是用通俗语言描述的结果：

事半功倍： HyRLQAS 找到的解决方案比之前的方法要精确得多（误差低至 0.00000001），而之前的方法通常只能停留在较大的误差水平（0.0001）。
更小的机器： 它在实现这些结果时使用了更少的部件（门）和更短的电路。它并没有通过把机器做大来蛮干，而是找到了更聪明、更高效的设计。
更快的调优： 因为 AI 从一开始就正确设置了“刻度盘”，所以进行最终微调的外部计算机程序工作量大大减少。它只需要很少次的“拧转旋钮”就能达到完美解。
为什么有效（“原因”）： 作者使用了一种称为“量子神经切线核”（Quantum Neural Tangent Kernel，可以理解为机器学习潜力的“X光”）的数学工具。他们发现，HyRLQAS 创建的电路天生更容易被训练。其“打磨”步骤平滑了学习路径上的颠簸，使得计算机更容易找到最佳解决方案。

核心结论

HyRLQAS 是一种更聪明的量子计算机设计方式。它不再是先猜结构，然后祈祷设置能奏效，而是在设计结构的同时同步设置刻度，并在生长过程中不断调整整体。这带来了更小、更精确且更易于训练的量子电路，从而能更有效地解决化学问题。

技术摘要：用于量子架构搜索的混合动作强化学习 (HyRLQAS)

1. 问题陈述

在含噪声中规模量子（NISQ）时代，变分量子算法（VQAs）如变分量子特征值求解器（VQE）高度依赖于参数化量子电路（PQCs）的设计。虽然强化学习（RL）已成为量子架构搜索（QAS）中自动化 PQC 设计的一个极具前景的框架，但现有方法存在三个主要局限性：

离散与连续空间的解耦： 当前的方法通常将离散的门放置（拓扑结构）与连续的参数优化分开处理。它们通常将参数初始化视为一个独立的外部步骤，忽略了电路结构与参数初始化之间的相互作用。
低效的优化循环： 在标准的基于 RL 的 QAS 中，每轮迭代（episode）都会独立调用外部经典优化器来精炼参数。这导致无法在不同轮次之间复用与参数相关的经验，并因过多的迭代次数而导致优化效率低下。
优化器敏感性： 性能往往受限于外部优化器对初始化和训练性问题（例如，在更深电路深度下的贫瘠高原/barren plateaus）的敏感性。

2. 方法论：HyRLQAS

作者提出了 HyRLQAS（用于量子架构搜索的混合动作强化学习），这是一个统一的框架，通过在混合离散-连续动作空间内共同学习门放置和参数初始化来解决上述问题。

2.1 框架概述

HyRLQAS 将 QAS 表述为一个马尔可夫决策过程（MDP），其中智能体顺序地构建量子电路。

状态 ( $s_t$ )： 表示部分构建的电路，通过捕捉门类型、位置和当前参数值的张量表示进行编码。
动作 ( $a_t$ )： 一个由以下部分组成的混合动作：
- 离散组件 ( $z_t$ )： 选择要插入的门的类型（例如 $R_X, R_Y, R_Z$ , CNOT）和位置。
- 连续组件 ( $x_t$ )： 定义新插入的参数化门的初始旋转角度。
精炼机制： 至关重要的是，当添加新门时，智能体还会预测一个连续增量 ( $\Delta x_t$ )，用于更新先前放置的门的参数。这使得智能体能够在电路增长的过程中动态精炼整个电路的参数化，从而保持与演进中的拓扑结构的一致性。

2.2 奖励与训练

奖励信号： 智能体在 VQE 环境中进行训练。在每次电路扩展后，外部经典优化器（COBYLA）会精炼所有参数，以最小化分子基态能量。得到的能量 $E_t$ $E_{t}$ 被转化为奖励信号。
- 终止奖励基于能量是否低于动态阈值 $\xi$ 来分配。
- 逐步奖励提供与相对能量改进成比例的反馈。
策略优化： 该框架利用混合策略 $\pi(z, x | s) = \pi_d(z|s)\pi_a(x|s)$ ，通过 REINFORCE 算法进行优化。策略网络包含一个用于门选择的离散头，以及用于参数初始化和精炼增量的连续头。
课程学习： 阈值 $\xi$ 根据智能体的进度进行动态调整，从而使任务难度逐渐增加。

2.3 理论分析

作者使用**量子神经切线核（QNTK）**及其动态变体（dQNTK）来分析优化动力学。他们假设，策略引导的初始化改善了优化景观的条件性（conditioning），与随机或零初始化相比，更有利于梯度的传播和收敛。

3. 核心贡献

统一的混合动作框架： HyRLQAS 是第一个在单一策略下共同搜索电路结构（离散动作）和参数初始化（连续动作）的 QAS 框架，捕捉了拓扑与参数之间的相互作用。
策略引导的初始化与精炼： 该方法引入了一种机制，为外部优化器提供有信息的参数初始化，并包含一个“精炼头”来追溯性地调整现有门的参数。这减少了对外部优化器的依赖，并减少了所需的迭代次数。
基于 QNTK 的分析： 论文提供了一个原则性的解释，证明了策略引导的初始化如何改善核条件（kernel conditioning）和梯度传播，从而实现更稳定的优化。
全面的评估： 在标准分子 VQE 基准测试（LIH, BeH $_2$ , H $_2$ O）上的广泛实验表明，HyRLQAS 在能量误差、电路深度和门数量方面均优于现有的最先进方法（包括 CRLQAS, TensorRL 和可微方法）。

4. 实验结果

实验在具有 4、6 和 8 个量子比特的分子系统（LIH, BeH $_2$ , H $_2$ O）上进行，采用 STO-3G 基组。

性能： HyRLQSA 在 LIH-4 上实现了化学精度级别的收敛（能量误差降至 $10^{-8}$ ），显著优于通常在 $10^{-5}$ 到 $10^{-4}$ 范围内达到平台期的现有方法。
效率： 与基准方法相比，该方法使用更少的门和更浅的电路实现了更低的能量误差。
优化器减少： 策略引导的初始化减少了 COBYLA 收敛所需的迭代次数，在 LIH-4 中减少了 33%，在 LIH-6 中减少了 46%。
消融研究：
- 去除混合动作空间（仅保留离散）会导致性能显著下降，证实了联合学习的重要性。
- 禁用精炼头会导致更大的精度下降，突显了随着电路增长更新现有参数的必要性。
- 去除外部优化器会导致性能明显退化，表明 HyRLQAS 主要识别高质量的初始区域，而外部优化器负责必要的局部微调。
QNTK 发现： 分析显示，带有精炼功能的策略引导初始化导致二阶 QNTK ( $K_2$ ) 的分布更加尖锐且集中，表明与零初始化或随机初始化相比，其优化景观更加平滑且条件更好。

5. 意义与主张

本文声称 HyRLQAS 提供了一种原则性且有效的机制，将电路拓扑设计与优化感知参数化耦合在一起。通过将架构搜索视为一个混合动作问题，该方法克服了脱节方法的局限性。

作者强调，性能的提升不仅在于找到了更深或更具表达能力的电路，更源于结构搜索与有信息参数化之间的协同作用。策略引导的初始化有效地“预热”了优化过程，减轻了经典优化器的负担，并缓解了训练性问题。

该工作得出结论，混合动作强化学习是实现为 NISQ 设备设计鲁棒且高效的变分量子电路自动化的可行路径，未来的工作可能会探索完全端到端的方案，从而彻底消除对外部优化器的需求。