⚛️ quantum physics

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

本文介绍了叠加梯度下降（Superpositional Gradient Descent, SGD），这是一种新型的量子-经典混合优化器，它利用量子叠加和电路扰动，在合成数据及大规模语言模型训练中，尽管目前存在硬件可扩展性限制，仍实现了比 AdamW 更快的收敛速度和更低的损失。

原作者： Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

发布于 2026-01-30

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤且雾气缭绕的山脉中寻找最低点。这正是训练智能计算机程序（如大语言模型）的感觉。计算机需要调整其内部的“旋钮”（参数）以获得最佳答案，这意味着要在误差的景观中找到最深的谷底。

通常，计算机使用一种叫做**梯度下降（Gradient Descent）**的方法。把这想象成一个徒步旅行者，他总是沿着他能看到的最陡峭的方向向下迈步。这种方法效果很好，但在一个充满小凹坑和洼地的复杂山脉中，徒步者经常会困在一个浅坑（“局部最小值”）里，并误以为已经到达了底部，尽管附近其实存在一个更深的谷底。

新的想法：叠加梯度下降（Superpositional Gradient Descent）

这篇论文的作者们——一群高中生——提出了一种帮助徒步者的全新方法：叠加梯度下降（SGD）。

他们没有让徒步者一次只走一条路径，而是给了他一种“量子超能力”。在量子世界中，粒子在被测量之前可以同时存在于许多地方。作者们通过给徒步者的步伐增加一种特殊的“摆动”或“脉冲”来模拟这一点。

类比：节奏摇晃器
想象徒步者正在下山，但每走几步，他就会摇晃一个装满弹珠的盒子。

摇晃： 这是“量子扰动”。它是一种数学波（使用正弦波，类似于声音或光），以一种有节奏的模式将徒步者稍微向左、向右、向上或向下推。
效果： 如果徒徒步者被困在一个小而浅的坑里，这种节奏性的摇晃就能给予他足够的能量，让他跳出坑洞并继续寻找山的“真正底部”。这就像一场轻微的地震，帮助你逃离陷阱，而不会把你彻底从山上震落。

他们是如何测试的

学生们构建了一个将标准数学与这些“量子摆动”相结合的计算机程序。他们不需要真正的量子计算机；他们使用标准软件（PyTorch 和 Qiskit）模拟了量子效应。

他们通过两种方式测试了这种新方法：

一个简单的谜题： 他们要求计算机对虚构的句子进行排序。新方法比标准方法更快地找到了解决方案，并得到了更准确的结果。
大脑升级： 他们尝试使用名为 GSM8K 的数据集（数学应用题）来教一种大型语言模型（一种可以写作和回答问题的 AI）一项新技能。

结果

论文声称，这种“量子摇晃”的方法在两个主要方面优于标准方法（称为 AdamW）：

速度： AI 达到高水平准确度的速度更快。在数学测试中，它在大约 4.6 个“轮次”的训练中就达到了 90% 的准确率，而标准方法则需要 7.4 个轮次。这节省了 37.8% 的时间。
质量： 最终结果更加准确。在句子排序测试中，新方法达到了 93.8% 的准确率，以微弱但明显的优势超过了标准方法。

难点

论文诚实地说明了缺点。因为计算机必须为每一步计算这些额外的“量子摆动”，所以每一步的计算时间大约增加了 35%。然而，由于 AI 在更少的步骤内找到了解决方案，完成这项工作的总时间仍然快了约 16%。

总结

简而言之，这篇论文表明，通过借鉴量子物理学中的概念（即同时处于多种状态的想法）并将其转化为数学上的“摇晃”，我们可以帮助 AI 模型逃离糟糕的状态并学习得更快。虽然目前每一步都需要更多的计算能力，但整体结果是一个更聪明、训练速度更快的 AI。作者指出，这是一个新的发现，将这种方法扩展到规模更大的模型将是未来的挑战。

技术摘要：叠加梯度下降 (Superpositional Gradient Descent)

问题陈述

训练大语言模型（LLMs），特别是基于 Transformer 架构的模型，高度依赖随机梯度下降（SGD）及其自适应变体（如 AdamW）。然而，这些经典的优化方法在处理深度神经网络固有的高维、非凸损失平面时面临显著挑战。它们经常难以逃离较差的局部极小值或鞍点，通常需要过多的迭代才能收敛。虽然量子计算提供了诸如叠加等原理，理论上可以实现更高效的解空间探索，但如何利用量子启发式方法来增强经典训练的机制仍有待深入研究。

方法论

作者提出了叠加梯度下降（Superpositional Gradient Descent, SGD），这是一种将量子叠加原理集成到经典梯度更新中的混合优化框架。该方法不需要物理量子硬件，而是通过 PyTorch 和 Qiskit 实现混合量子-经典电路的模拟。

核心数学公式

SGD 通过在标准的动量更新基础上注入一个量子启发式的扰动项 ( $Q$ ) 来修改标准参数更新规则：

$\theta_{t+1} = \theta_t - \alpha \left( \frac{m_t}{\sqrt{v_t} + \epsilon} + \lambda \cdot Q(\theta_t, \nabla_{\theta_t}L) \right)$

其中：

$\alpha$ 是学习率。
$m_t$ 和 $v_t$ 代表一阶和二阶矩（来自 Adam）。
$\lambda$ 是控制量子扰动强度的超参数。
$Q(\theta, \nabla_\theta L)$ 是定义为以下形式的扰动函数：
$Q(\theta, \nabla_\theta L)_i = \begin{cases} \sin(\pi \cdot \theta_i) \cdot (\nabla_\theta L)_i & \text{若 } i < n_{qubits} \\ 0 & \text{否则} \end{cases}$

这种基于正弦波的扰动模仿了量子波干涉，产生随当前参数值平滑变化的振荡更新。该机制被假设有助于优化器通过以波状方式暂时增强或削弱梯度信号，从而逃离浅层局部极小值。

架构集成

该框架还在 Transformer 模型中引入了**量子注意力（Quantum Attention）**机制。它通过一个量子电路贡献 $\Phi(Q, K, C)$ 来增强标准的缩放点积注意力：
$\text{Attention}(Q, K, V) = \text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} + \Phi(Q, K, C) \right) V$
量子电路 $C$ 利用 Hadamard 门、参数化旋转门（ $R_y, R_z$ ）以及 CNOT 纠缠操作来处理注意力评分，旨在增强表征能力。

实现细节

工具： PyTorch 和 Qiskit（使用 TorchConnector 进行无缝集成）。
电路配置： 包含参数化旋转门和 CNOT 纠缠的 4 个量子比特；电路深度为 2。
超参数： 文本任务的学习率为 $1\times10^{-3}$ ；LLM 微调的学习率为 $2\times10^{-5}$ ；量子权重 $\lambda$ 测试值为 0.1 和 0.5。

核心贡献

新型优化器： 引入了叠加梯度下降，一种通过电路扰动将梯度更新与量子叠加联系起来的方法。
数学框架： 形式化了一种混合更新规则，将经典动量与正弦波形式的量子启发噪声相结合。
混合架构： 在 Transformer 模型中实现了量子注意力机制，以增强表征能力。
实证验证： 在合成序列分类任务和大规模 LLM 微调任务上证明了该方法的有效性。

实验结果

作者在两个主要任务上评估了 SGD 与标准 Adam 和 AdamW 的表现：

合成文本分类：
- 收敛性： 当 $\lambda=0.5$ 时，SGD 在 4.6 个 epoch 内达到了 90% 的准确率，而标准 Adam 需要 7.4 个 epoch（减少了 37.8% 的训练时间）。
- 最终性能： SGD ( $\lambda=0.5$ ) 实现了 93.8% ± 0.7% 的最终准确率，比标准 Adam 高出 2.3 个百分点。
LLM 微调（基于 Llama-3.2-1B-Instruct 的 GSM8K 任务）：
- 损失降低： 与 AdamW 相比，两种 SGD 配置在单轮（one epoch）后均实现了更低的平均损失。
  - AdamW: 0.2188
  - SGD ( $\lambda=0.1$ ): 0.2098（降低了 4.11%）
  - SGD ( $\lambda=0.5$ ): 0.2097（降低了 4.16%）
- 稳定性： $\lambda=0.5$ 的变体展示了最理想的损失轨迹，表明其具有增强的训练稳定性。
计算效率：
- 虽然由于量子电路模拟的原因，SGD 每轮（epoch）大约需要 多出 35% 的时间，但其更快的收敛速度使得达到 90% 准确率的总时间减少了 16%。

重要性与主张

论文声称，叠加梯度下降提供了一条利用量子原理来控制和增强模型行为的实用路径，即使在缺乏大规模量子硬件的情况下也是如此。其核心见解是，量子启发式的扰动可以有效地同时探索多种参数配置，从而有助于逃离较差的局部极小值。

作者将这项工作定位为连接经典优化与量子计算的桥梁，并指出即使是这些混合技术也能为神经网络训练带来切实的收益。他们承认目前在可扩展性和硬件限制方面的局限性，但强调这些结果为量子计算与深度学习的交集提供了新的见解。未来的工作被确定为专注于扩大模型规模、探索更复杂的电路设计以及最终在真实量子处理器上的部署。