⚛️ quantum physics

Transformers as Intrinsic Optimizers for Quantum Approximate Optimization Algorithm

本文提出了一种基于 Transformer 的内在优化框架，该框架通过处理问题结构和优化历史来学习预测 QAOA 参数更新，从而利用一种可迁移、摊销化的策略取代高成本且针对特定实例的经典优化，进而提升在 MaxCut 基准测试上的混合量子-经典性能。

原作者： Kuan-Cheng Chen, Xiaotian Xu, Hiromichi Matsuyama, Wei-Hao Huang, Haomu Yuan, Yu Yamashiro

发布于 2026-09-18

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Kuan-Cheng Chen, Xiaotian Xu, Hiromichi Matsuyama, Wei-Hao Huang, Haomu Yuan, Yu Yamashiro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在构建实用量子计算机的竞赛中，科学家们目前正在使用虽然强大但并不完美的机器。这些被称为“噪声中规模量子计算机”（NISQ）的设备可以进行复杂的计算，但容易出错且规模有限。为了使它们能够解决物流或金融建模等现实世界中的问题，研究人员依赖于一种特定的策略，称为“量子近似优化算法”（QAOA）。可以将这种算法想象成一个由两部分组成的机器：一个负责探索庞大可能解空间的量子处理器，以及一个充当向导的经典计算机，它负责告诉量子机器如何调整其设置以找到最佳答案。量子部分就像是一个在雾气缭绕的山脉中探索的徒步旅行者，而经典部分则是决定下一步该往哪个方向走的地图和指南针。整个行动的成功很大程度上取决于这个经典向导能从徒步旅行者的进展中学习到多少，并能否做出明智的决策。

多年来，这一引导角色一直由几十年前为不同类型问题设计的标准数学工具承担。面对量子优化中独特的、崎岖不平的地形时，这些工具往往显得力不从心，需要大量的尝试和显著的计算能力才能找到较好的解。现在，一组研究人员提出了一种不同的方法：用一种专门的、能够直接从其观察到的数据中学习如何优化的智能人工智能来取代传统的向导。通过训练一个复杂的神经网络来充当向导本身，他们创建了一个系统，该系统可以根据问题的结构和自身的过往经验来预测最佳的调整方案。这种新方法不仅仅是在猜测；它学习了一种可以应用于许多类似问题的改进模式，使得寻找解的过程变得更快且更可靠。

研究人员将工作重点放在了一个经典的谜题——MaxCut（最大割）问题上，该问题涉及将一个连接的点网络划分为两个组，使得组与组之间的连接尽可能强。在他们的实验设置中，量子计算机准备一个代表潜在解的物质状态，而经典计算机测量结果以观察其优劣。在标准设置中，经典计算机会使用一条固定的、僵化的规则来决定下一次尝试时如何改变设置。然而，新方法将决策过程视为一种可以被学习的过程。团队构建了一个基于 Transformer 类型的人工智能系统，这种系统因其理解数据中复杂关系的能力而闻名。该系统不仅观察当前的结果，还会观察问题的形状、当前的设置、以往尝试的历史记录以及来自量子机器的反馈，从而预测下一步的动作。

为了测试这个想法是否可行，研究人员在一个大规模的随机网络问题集合上训练了他们的 AI。他们教导系统识别这些问题的底层结构，并学习如何随着时间的推移来改进解的过程。一旦训练完成，他们要求 AI 去解决从未遇到的新问题。结果显示，这个学到的向导表现得非常出色。在涉及多达 13 个点的网络测试中，该 AI 一致地找到了比梯度下降或其他标准优化技术等传统方法更好的解。它还表现出更高的稳定性，这意味着当问题变得更大或更复杂时，它不会像其他方法那样容易陷入困境或失败。研究表明，该 AI 可以泛化其学习成果，将它在训练期间发现的模式成功应用于新情况，而无需从头开始。

其中一个最重要的发现是，该系统并不需要规模宏大也能运作良好。研究人员测试了不同规模的 AI 模型，并发现中等规模的模型就足以捕捉到必要的模式。将模型做得更大并不一定会带来更好的结果，有时反而会让系统难以训练。这表明，优势来自于系统设计用于学习优化过程的方式，而非仅仅依靠庞大的参数数量。团队还检查了系统究竟是在记忆训练数据，还是在学习一种有用的策略。他们将该 AI 与一个被告知不做任何改变的版本进行了对比。那个学会了调整设置的 AI 表现得好得多，这证明了改进源于其做出明智决策的能力，而不仅仅是源于量子计算机探索可能性的能力。

研究还观察了当量子电路变得更深、更复杂时系统的表现。随着量子电路层数的增加，寻找正确设置的问题对所有方法来说都变得更加困难。然而，这个学习型优化器保持了其优势，即使在搜索空间显著扩大时，仍能持续找到高质量的解。这表明该系统可以处理未来量子硬件日益增长的复杂性。研究人员还检查了训练数据量对性能的影响。他们发现，系统学习速度很快，并在训练了相对较少的样本后就达到了收益递减的点，这表明它能高效地从观察到的数据中提取最重要的信息。

尽管结果令人鼓舞，但研究人员谨慎地将其定义为向前迈进的一步，而非最终解决方案。这项工作是在模拟环境中进行的，下一步将是在存在真实世界噪声和误差的实际量子硬件上测试这些方法。团队建议，未来的系统版本可以被改编以处理更多样化的问题，并考虑到物理量子机器的具体限制。通过将优化器视为一个随量子算法共同演进的可学习组件，这种方法为思考混合计算提供了一种新的途径。它使该领域不再依赖于静态的、手工设计的规则，而是转向一个计算机学会如何引导自身的未来，从而有可能释放量子机器在解决世界上最困难的优化挑战方面的全部潜力。

技术摘要：作为量子近似优化算法内在优化器的 Transformer

1. 问题陈述

量子近似优化算法 (QAOA) 是用于噪声中规模量子 (NISQ) 硬件上组合优化的领先变分框架。然而，其在实际应用中的效能受到需要对变分参数 ( $\gamma, \beta$ ) 进行调优的经典外层优化的严重制约。该优化过程面临以下挑战：

非凸性与敏感性： QAOA 角色的搜索空间通常是非凸的、依赖于问题的，并且对初始化和优化器选择高度敏感。
计算成本： 在涉及有限采样噪声的现实设置中，重复的目标函数评估占据了主要的计算成本，特别是在针对相关的庞大家族进行优化时。
缺乏可迁移性： 传统的优化器（如梯度下降、SPSA、COBYLA、Nelder–Mead）将每个图实例视为独立的，无法利用相关问题之间的可迁移模式或优化历史。

本文旨在解决需要一种结构化优化机制的需求，以摊销搜索过程，利用可迁移的模式来减少对昂贵的、基于实例的在线优化的依赖。

2. 方法论

作者提出了一种 基于 Transformer 的内在优化框架，其中经典优化器不再是手工设计的常规程序，而是直接嵌入到混合量子-经典循环中的学习组件。

A. 核心概念：摊销学习策略

优化器不再是为每个实例 $G$ 从头开始求解优化问题 $\theta^\star(G) = \arg\max_\theta f_G(\theta)$ ，而是学习一个映射 $F_\phi$ ，根据问题结构和优化历史预测参数更新：
$\Delta\theta^{(t)} = F_\phi(G, H_t, \theta^{(t)})$
其中 $H_t$ 代表截至迭代 $t$ 的优化历史， $\phi$ 是神经网络的可训练权重。更新后的参数会被投影到可行域 $\Omega$ 上。

B. 图条件 Transformer 架构

所提出的优化器利用 Transformer 编码器来建模 QAOA 层、图拓扑结构以及过去优化行为之间的依赖关系。

状态表示： 输入状态 $s^{(t)}$ $s^{(t)}$ 包括：
- 图嵌入 ( $g$ )： 代表图结构（例如邻接矩阵特征）的固定大小向量。
- 当前参数： 当前的变分角度 $\theta^{(t)}$ 。
- 历史记录： 先前的更新 $\Delta\theta^{(t-1)}$ 、当前目标函数估计值 $\hat{f}_G^{(t)}$ 、迄今为止的最佳目标值以及归一化的步数。
标记化 (Tokenization)：
- 图标记 (Graph Token)： 一个编码全局图拓扑结构的特殊标记。
- 层标记 (Layer Tokens)： 每个 QAOA 层 $\ell \in \{1, \dots, p\}$ 对应一个标记，包含局部参数 ( $\gamma_\ell, \beta_\ell$ ) 和局部动量 ( $\Delta\gamma_{\ell}^{(t-1)}, \Delta\beta_{\ell}^{(t-1)}$ )。
- 全局标量指标（目标值、步数）被广播到所有层标记中。
自注意力动力学： Transformer 编码器处理标记序列（图标记 + $p$ 个层标记）并使用多头自注意力机制。这使得每个层的参数更新都能以全局图结构和其他层的状态为条件进行。
输出与更新规则：
- 共享预测头输出原始增量 $\Delta\theta^{(t)}$ 。
- 使用有界的非线性步长 ( $\alpha \odot \tanh(\cdot)$ ) 来稳定更新。
- 投影算子 $\Pi_\Omega$ 将参数裁剪到其有效定义域内（例如， $\gamma \in [-\pi, \pi]$ ， $\beta \in [-\pi/2, \pi/2]$ ）。

C. 训练目标

该模型在 MaxCut 实例分布 $\mathcal{D}$ 上进行元训练，以最小化轨迹塑造损失。该目标鼓励在优化轨迹中近似比 $\rho_G$ 实现单调改进，同时惩罚不稳定的更新和高方差测量机制。此外，还支持来自教师优化器的可选模仿预训练。

3. 主要贡献

内在优化形式化： 本文将 QAOA 的经典优化器重新定义为一个可学习的、受图条件的策略，将范式从基于实例的搜索转变为摊销学习。
Transformer 集成： 引入了一种特定的架构，通过（通过图标记）问题拓扑和（通过层标记和自注意力）序列优化历史来对参数更新进行约束。
数学框架： 提供了一个内在优化视角的正式定义，将 Transformer 的前向传播视为混合循环中的一个优化步骤。
全面评估： 该方法在不同问题规模、电路深度和超参数设置下，针对传统的无导数优化方法（SPSA, COBYLA, Nelder–Mead）和其他学习基准（MLP, LSTM）进行了严格的基准测试。

4. 实验结果

该框架在不同图规模（ $n=5$ 到 $13 $）和电路深度（$ p=1 $到$ 10$）的 MaxCut 基准测试中进行了评估。

性能优越性： 在所有测试的图规模（ $n=5, 8, 11$ ）和深度下，基于 Transformer 的优化器始终实现了最高的平均近似比，表现优于传统的无导数方法和更简单的神经优化器（MLP, LSTM）。
可迁移性与数据效率： 该方法展示了对未见实例的强泛化能力。性能在相对较小的训练集（约 50 个 6 量子比特问题的图）下即达到饱和，表明其学习的是可迁移的更新结构而非单纯的记忆。
可扩展性： 虽然性能随着问题规模的增加自然下降（由于更复杂的能量景观），但 Transformer 优化器相对于传统基准仍保持了明显的优势，后者的性能退化趋势更为陡峭。
深度敏感性： 该优化器随电路深度 ( $p$ ) 的变化表现出良好的扩展性，即使在参数空间扩大时也能保持稳健的性能，其训练、验证和测试曲线保持高度一致。
鲁棒性： 该方法对超参数选择（学习率、展开步数、初始化噪声）的敏感度较低，且不需要微调即可获得竞争力的结果。
消融实验： “零更新”控制实验证实，性能的提升是由学习到的更新策略驱动的，而非仅仅源于 QAOA 拟设本身的表达能力。

5. 意义与主张

本文声称，基于 Transformer 的内在优化提供了一种结构化且可迁移的机制，用以改进混合量子算法中的经典组件。通过将优化动力学直接嵌入循环中，该方法：

减轻了重复进行基于实例优化的计算负担。
利用了相关问题族之间的可重用结构。
在梯度估计昂贵或不稳定的噪声、有限采样环境下，提供了比手工设计优化器更稳健的替代方案。

作者将这项工作定位为强化 QAOA 实际部署的一个有前景的方向，并指出未来的工作将探索更大、更异构的图族以及真实的 QUBO 实例，以评估分布外 (out-of-distribution) 的迁移能力。他们谦逊地总结道，虽然该方法提高了效率和可迁移性，但仍需要进一步的理论分析，以充分阐明学习优化器优于传统优化器的条件。