QLAM: A Quantum Long-Attention Memory Approach to Long-Sequence Token Modeling

技术摘要：QLAM：一种用于长序列令牌建模的量子长注意力记忆方法

问题陈述
在序列数据中建模长程依赖关系仍然是机器学习领域的核心挑战。虽然循环神经网络（RNN）因梯度消失或梯度爆炸问题而损害了长期信息保留能力，但 Transformer 通过自注意力机制解决了这一问题，却引入了相对于序列长度的二次方计算复杂度，限制了其可扩展性。状态空间模型（SSM）通过循环更新演化潜在状态，提供了一种线性时间替代方案；然而，其记忆通常通过加法或线性过渡形成。这种经典的累加积累限制了捕捉复杂全局交互的能力，并可能导致随着序列增长而出现的的信息丢失，因为历史数据必须被压缩进一个固定维度的向量中。

方法论：量子长注意力记忆（QLAM）
作者提出了 QLAM，这是一种混合量子 - 经典记忆机制，利用量子叠加和幺正演化重构了记忆表示。与将记忆存储为逐令牌嵌入或键值对的经典方法不同，QLAM 将隐藏状态表示为复希尔伯特空间中的量子态 $|\psi_t\rangle$。

• 记忆表示：记忆状态是一个归一化向量 $|\psi_t\rangle \in \mathbb{C}^{2^n}$，其中 $n$ 是量子比特数。这使得记忆能够同时编码多个上下文信号的相干叠加。作者指出，与经典状态向量的 $O(d)$ 复杂度相比，这种表示提供了 $O(n) \sim O(\log_2 d)$ 的记忆复杂度。
• 记忆演化：状态通过参数化量子电路（PQC）随输入令牌 $x_t$ 的条件进行演化。更新规则定义为 $|\psi_t\rangle = U(x_t, \theta)|\psi_{t-1}\rangle$，其中 $U(x_t, \theta) = U_{var}(\theta)U_{enc}(x_t)$。关键在于，由于 $U$ 是幺正算子，该变换是范数保持的（$\||\psi_t\rangle\| = \||\psi_{t-1}\rangle\|$）。这确保了信息在长序列中的稳定传播，避免了经典动力系统中常见的指数级增长或衰减。
• 读出机制：为了检索与任务相关的信息，QLAM 采用依赖于查询的测量。QLAM 不是显式计算令牌之间的成对交互，而是将一个由查询 $q_t$ 参数化的可学习厄米算符 $O(q_t)$ 应用于量子态。注意力权重 $\alpha_{t,s}$ 源自期望值 $\langle \psi_t | O(q_t) | \psi_t \rangle$。这使得能够隐式捕捉全局依赖关系，并在不存储所有历史令牌表示的情况下提取特定信息。

主要贡献

1. 新颖的记忆抽象：本文介绍了 QLAM，作为最早利用量子叠加增强基于状态的序列建模的研究之一，有效地用基于量子叠加的表示取代了经典的累加记忆。
2. 混合框架：它提出了一种混合量子 - 经典架构，其中上下文信息直接在量子设备上存储和处理（本工作中为模拟），通过幺正变换演化并通过测量检索。
3. 注意力的泛化：该工作将注意力机制泛化到量子设置，其中检索是通过依赖于查询的测量执行的，而不是对存储的键和值进行显式的相似度计算。
4. 实证验证：作者进行了实证探索，以评估量子记忆在实际学习设置中的可行性，证明了混合量子记忆是重新思考序列建模的一个有前景的方向。

实验结果
作者在标准图像分类基准的序列变体上评估了 QLAM：sMNIST、sFashion-MNIST 和 sCIFAR-10。在这些任务中，图像被展平为令牌序列，以消除空间归纳偏置并迫使模型依赖序列推理。

• 性能：在所有三个数据集上，QLAM 的表现始终优于循环基线（RNN）、基于 Transformer 的模型和状态空间模型（SSM）。
  • 在 sMNIST 上，QLAM 达到了 92.6% 的准确率，超过了 Transformer（91.3%）和 SSM（91.2%）。
  • 在 sFashion-MNIST 上，QLAM 达到了 81.4%，优于 Transformer（80.2%）和 SSM（79.6%）。
  • 在更复杂的 sCIFAR-10 上，QLAM 达到了 53.6%，而 Transformer 为 53.0%，SSM 为 51.8%。
• 稳定性：结果显示，在 10 折评估中标准差较低，表明 QLAM 不仅提供了更高的准确率，还提供了更强的训练稳定性和对数据划分的鲁棒性，特别是在复杂数据集中。
• 效率：这些改进是在不增加模型复杂度的情况下实现的，表明收益源于记忆机制本身的有效性。

意义与主张
本文主张，QLAM 提供了状态空间公式的原则性扩展，其中量子叠加取代了经典的累加记忆。这种方法在保留 SSM 有利的线性时间计算扩展性的同时，实现了更丰富的全局表示。通过将记忆从根本上重新思考为一个主动演化的量子系统，而非被动存储，QLAM 为将量子计算整合到记忆机制的核心设计中开辟了一个新的研究方向。作者总结道，虽然研究结果验证了基于量子态记忆的潜力，但仍需进一步工作以深化理论理解、探索在真实量子硬件上的实现，并将该框架扩展到大规模语言和 multimodal 任务。