🤖 machine learning

The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models

本文表明，通过将标准的实值隐状态基底替换为复值且受量子启发的替代方案，可以显著加速状态空间模型和基于注意力机制的序列模型的训练收敛，尽管长期的性能优势仅在状态空间架构中持续存在。

原作者： Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能，特别是那些编写文本、翻译语言以及预测句子中下一个词的系统，依赖于一种特定的数学引擎。这些引擎通过让信息在一系列层级中传输来处理信息，就像信号通过一根长导线一样。几十年来，构建这些引擎的标准方式是使用实数，即我们在日常生活中熟悉的计数数字和十进制小数。在标准的设置中，引擎通过保持其内部信号强度来记忆过去的信息。然而，随着信息在时间维度上向后回溯，这些信号自然会趋于减弱，就像在长廊中逐渐消逝的低语。当信号变得过小时，机器实际上会忘记句子开头的发生的事情，这使得它难以从长序列数据中学习。这种衰减是当前设计的根本局限性，迫使研究人员使用海量的数据和时间来教机器如何记忆。

一组研究人员发现了一种绕过这种衰减问题的方法，即改变机器思考时所使用的数字系统本身。他们没有仅仅依赖实数，而是构建了一个使用复数的语言模型版本。实数只有一个数值，而复数携带两个截然不同的信息：大小和方向（或角度）。研究人员发现，通过将重要的信息存储在角度而非大小中，机器可以传输得更远而不会丢失记忆。即使信号的大小在通过网络时缩小，角度依然能保持完美且清晰不变。这使得机器能够保留句子开头的上下文，直到句子的结尾，而信号永远不会因衰减而陷入沉默。

研究人员通过构建两种不同类型的语言模型来测试这种新方法，一种基于标准设计，另一种基于较新的、更高效的设计。他们为每种模型都创建了一个“复数”版本，将实数替换为复数，然后用三种不同的文本集对其进行训练，范围从 100 MB 的小型集合到 15 GB 的海量数据。结果令人震惊。在较新的、基于状态空间的模型设计上，复数模型仅用大约三分之一的训练步数就达到了与标准模型相同的准确度水平。在较旧的、传统的架构设计上，它则用了大约一半的步数达到相同水平。这意味着新模型在消耗显著更少的数据和时间的情况下，学习到了相同数量的信息。

这项发现之所以特别稳健，是因为这种优势在出现之初就显现了出来，但两种设计的行为随着训练的进行而产生了分歧。研究人员观察到，复数模型从训练的前一百步开始就取得了领先。至关重要的是，他们发现这种加速的性质在两种架构之间存在差异。在较新的设计（状态空间模型）中，复数模型与标准模型之间的差距随着训练的进行而不断扩大，这表明这种优势是新设计的永久特征，而非过程开始时的短暂现象。然而，对于较旧的设计（注意力机制模型），这种优势在开始时最为显著，随后逐渐减弱，并随着训练的推进趋向于零。尽管存在这种衰减，但早期的提升仍然非常可观，足以将该特定架构的训练时间缩短一半。

研究人员非常谨慎地确保这种加速并非仅仅由增加计算能力或改变模型规模所导致。他们精确地匹配了两个版本的模型，使其具有完全相同的可调节参数，差异不到百分之一。他们还使用了完全相同的训练计划和计算机硬件。这种严格的控制证实，速度的差异完全来自于向复数的转变以及机器处理它们的方式。研究也排除了复数模型仅仅是由于初始条件较好而获得成功的可能性；在不同规模的文本和不同模型架构下表现出的持续优势，指向了机器学习方式的一种根本性改进。

这项工作的最有趣之处之一在于它改变了机器处理冲突信息的方式。在标准模型中，如果机器不确定一段序列代表的是年份还是价格，它必须通过缩小内部信号使其消失来主动抑制其中一种可能性。而在复数模型中，机器可以旋转信号的角度。如果两种可能性存在冲突，机器可以通过一种被称为“干涉”的过程旋转它们，使它们相互抵消，类似于降噪耳机通过产生与噪声完全相反的声波来消除噪声。这使得机器能够在不丢失正确想法强度的前提下，丢弃错误的想法，这是标准模型无法实现的能力。

研究人员指出，虽然复数模型学习得更快，但也存在一些实际的权衡。目前用于这些任务的计算机芯片是针对实数优化的，因此运行复数模型在每一步都需要更多的处理能力。对于较新的模型设计，这种额外的成本意味着，尽管它需要的训练步数更少，但训练模型的总时长与标准版本大致相同。然而，复数模型在达到相同质量时消耗的数据量要少得多，这对于数据稀缺的专门化任务来说是一个巨大的优势。对于较旧的模型设计，研究人员还没有开发出优化后的标准模型版本进行对比，因此目前尚无法确定复数版本在现实世界的时钟时间内是否更快，但其数据效率的提升是显而易见的。

这项工作表明，选择什么样的数字系统与选择什么样的模型架构同样重要。多年来，研究人员一直专注于改变机器路由信息的方式，但这项研究表明，改变机器思考的“语言”可以产生更大的收益。复数模型不仅仅是学得快了一点，它们从根本上改变了学习的效率，以极小比例的数据达到了高性能水平。研究人员总结道，虽然他们目前的版本是一种放宽了理论严格数学规则的实践性改编，但这足以证明复数方法在大规模应用中的有效性。他们已经发布了所有的代码和训练日志，邀请他人验证结果，并探索这种新的思考方式将如何改进下一代人工智能。

技术摘要：序列模型中的量子捷径

1. 问题陈述

传统的序列模型由其“骨干”（如注意力机制或循环机制）定义，这些骨干负责在不同位置间路由信息。然而，几乎所有当前的模型在基质（substrate）的设计选择上都具有相同的先验性：即用于表示隐藏状态的数系，以及从状态到预测的映射函数形式。主流的基质使用实值状态向量 ( $\mathbb{R}^d$ )，辅以仿射变换和 Softmax 输出。

本文指出，这种“实值-仿射-Softmax”基质存在两个独立于骨干结构的根本局限性：

秩瓶颈（The Rank Bottleneck）： 仿射映射后接 Softmax 会产生秩至多为 $d+1$ 的对数概率矩阵。如果数据的条件结构具有更高的秩，则无论如何计算状态，模型都是设定错误的。
梯度消失/遗忘权衡（The Vanishing Gradient/Forgetting Trade-off）： 实值线性递归在谱半径 $\rho < 1$ 时，会使传播的梯度随步数 $T$ 以 $\rho^T$ 的速度衰减。为了保持稳定性并允许遗忘，模型必须衰减状态，但这同时会侵蚀来自早期位置的信号。

作者提出，这些局限性源于基质本身。他们研究了借鉴量子理论数学（特别是相位动力学和 Born 定律）的复数值基质是否能够克服这些问题，并减少达到目标损失所需的优化步数。

2. 方法论

可部署的复数基质

本文引入了一种“可部署”版本的复数基质，放宽了此前阻碍直接部署的理想化量子启发模型（Nebli 等人 [10]）的两个特性：

放宽严格酉性（Relaxation of Exact Unitarity）： 作者没有使用禁止遗忘的严格保范数（酉）递归，而是使用了收缩且依赖输入的递归。状态演化定义为 $|\psi_{t+1}\rangle = a_t \odot |\psi_t\rangle + b_t$ $∣ ψ_{t + 1} ⟩ = a_{t} ⊙ ∣ ψ_{t} ⟩ + b_{t}$ ，其中转移系数 $a_{t,k}$ $a_{t, k}$ 是一个实值门控 $\alpha_{t,k} \in (0,1)$ $α_{t, k} \in (0, 1)$ 与单位模相位 $\lambda_{t,k}$ $λ_{t, k}$ 的乘积。
- 机制： 门控 $\alpha$ 处理遗忘（幅度收缩），而相位 $\lambda$ （通过对角 Cayley 变换生成）则在不产生失真的情况下传输信息。这实现了遗忘与信息传输的解耦。
放宽 Born 词表输出（Relaxation of the Born Vocabulary Readout）： 将理想化的 Born 定律（ $p_v = |\langle e_v | \psi \rangle|^2$ ）应用于整个词表在计算上过于昂贵（$O(NV)$）。作者仅将 Born 定理作为线性注意力的评分函数（二次型 $|\langle q | k \rangle|^2$ ），而在最终的词表输出中保留标准的绑定 Softmax 头。

实验设计

为了隔离基质的影响，作者在两种不同的骨干网络中实例化了该复数基质：

H-Mamba： Mamba 状态空间模型的复数实现。
H-Transformer： 使用 Born 定律评分的线性注意力 Transformer 的复数实现。

对照组：

参数匹配： 复数模型与实值模型的总参数量差异控制在 0.02% 以内。
协议： 对所有模型应用了统一的固定训练协议（AdamW、余弦调度、750 步预热），未进行针对性调优。
语料库： 三个字节级语料库，规模跨度达 150 倍：enwik8 (100 MB)、OpenWebText (3 GB) 和 FineWeb (15 GB)。
指标： 主要指标是达到特定验证损失（每字符比特数，bpc）所需的优化步数，而非仅仅是最终损失。

3. 核心贡献

定义了可部署的复数基质： 本文形式化了一种基质，它既保留了复数相位的干涉特性（通过单位模 Cayley 变换），又允许选择性遗忘（通过 Sigmoid 门控）和高效的词表输出（通过 Softmax）。
“量子捷径”： 经验证据表明，与相同规模的实值对应模型相比，该基质能将达到目标损失所需的优化步数分别减少约 **3 倍（对于状态空间模型）**和 2 倍（对于注意力模型）。
机制分析：
- 相位传输（Phase Transport）： 理论分析（引理 6.2）表明，无论收缩门控如何，相对相位在递归中传输时具有单位敏感度，而实值幅度则会衰减。
- 干涉（Interference）： 二次型 Born 评分允许对假设进行破坏性干涉（抵消），这是线性实值输出所不具备的能力。
- 分解： 作者认为，状态空间加速主要归功于改进的梯度调节（相位传输），而注意力加速则是干涉与调节共同作用的结果，尽管由于实值基线本身已具备良好的调节性，后者的贡献有所减弱。

4. 结果

优化效率

在所有三个语料库和三个损失目标（2.5, 2.2, 2.0 bpc）下：

H-Mamba 达到目标所需的步数约为实值 Mamba 的 1/3。
H-Transformer 达到目标所需的步数约为实值 Transformer 的 1/2。
这种优势在训练早期（前 200 步内）便已确立，并在下降的损失曲线中保持稳定。

预热后的行为

论文区分了早期训练效应与持续优势：

状态空间（Mamba）： 在学习率预热结束（例如，在 OpenWebText 上从 0.321 变为 0.534 bpc）后，性能差距反而扩大了，这表明该优势并非预热计划的产物，而是结构的益处。
注意力（Transformer）： 预热结束后，性能差距向零衰减，表明其优势主要是一种早期训练效应。

最终性能与数据限制

在大型网络语料库（OpenWebText, FineWeb）上，复数模型达到了比实值模型更低的最终验证损失。
在小型 enwik8 语料库（100 MB）上，复数模型比实值模型更早达到数据极限并开始过拟合，这是其高样本效率的体现。

计算成本

Token 数： 步数的减少直接转化为消耗 Token 数的减少（例如，H-Mamba 在 FineWeb 上达到 2.0 bpc 节省了约 0.57B 个 token）。
墙钟时间（Wall-Clock Time）： 对于注意力模型对，目前的融合算子开销（运行速度仅为实值对应模型的二分之一）抵消了步数优势，导致两者在墙钟时间上持平。对于状态空间模型对，由于尚缺乏优化的实值基线算子，公平比较有待进行，但步数优势暗示了若开发出相应算子，则存在节省时间的潜力。

5. 意义与主张

本文声称，基质（数系与输出形式）是与骨干同样重要的设计维度。其核心意义在于证明了：即使采用放宽且可部署的复数形式，替换实值基质也能显著减少序列模型训练达到目标损失所需的优化步数。

作者明确指出：

“量子捷径”是指优化步数的减少，而不一定是墙钟时间的减少（由于目前的算子效率问题）。
该优势在早期阶段是与骨干无关的，但仅对状态空间骨干具有持续性，这支持了其机制根植于递归能够无损传输相位的假设。
鉴于严格的参数匹配和相同的协议，结果并不归因于参数量差异或调优伪影。
本文并不声称解决了词表层级的秩瓶颈（因为 Softmax 头仍然存在），而是证明了复数基质能改善现有骨干网络的优化轨迹和样本效率。

研究结论认为，模型进行计算的领域（field）是一个基本的决策维度，而复数动力学为更高效的序列模型训练提供了一条可行路径。