Modeling quantum neural network gradient with reinforcement learning

在量子计算这一新兴领域，科学家们正致力于构建能够解决远超当今超级计算机处理能力的难题的机器。这项努力的核心工具是量子神经网络，这是一种将亚原子粒子的奇异物理特性与人工智能的学习能力相结合的混合系统。这些网络旨在寻找数据中的模式，就像识别照片中人脸或进行语言翻译的软件一样。然而，训练这些量子系统却遭遇了一堵顽固的墙。随着研究人员在电路中增加更多的量子比特（qubits）以处理更难的问题时，用于教导机器的信号往往会消失殆尽。这种被称为“贫瘠高原”（barren plateau）的现象，使得网络变得无法感知如何改进，同时，计算必要更新所需的计算能力呈指数级增长，以至于在当前的硬件上根本无法运行。

为了突破这一障碍，一个研究团队开发出一种新方法，避开了传统的教学方式。该方法不再试图计算通过量子电路的学习路径中精确的数学斜率——这一过程随着系统的增长会变得异常困难且极度消耗内存——而是训练了一个独立的经典计算机程序来预测下一步。这个程序利用一种被称为强化学习的技术构建而成，扮演着一名经验丰富的教练角色。它观察量子网络的表现，记录其当前的误差和过去的动作，然后向网络的设置提出直接的更新建议。研究人员发现，这种方法不仅避免了信号消失的问题，而且运行速度比标准技术快了数千倍，且使用的内存也仅为后者的极小部分。

由来自越南和日本的研究人员领导的团队，在从仅有两个量子比特到二十个量子比特不等的各种模拟量子电路上测试了他们的新优化器，并将其命名为 RLQ-Grad。在量子计算的世界里，二十个量子比特是一个显著的规模，代表了一个足以与现实应用相关的系统，同时又足够小，可以在强大的经典计算机上进行模拟。结果令人瞩目。当研究人员将他们的方法与三种计算更新的标准方法（反向传播、参数移位和伴随微分）进行对比时，无论电路规模如何变化，RLQ-Grad 都能保持稳定且强劲的学习信号。相比之下，传统方法在量子比特数量增加时，其学习信号会下降数个数量级，从而导致训练停滞。

效率的提升同样巨大。在标准计算机处理器上，即使是处理最大的二十个量子比特电路，该新方法完成每个训练步骤的时间也不到十分之一秒。相比之下，传统的反向传播法完成同样任务需要近两百秒。在内存使用方面，差异更为显著：处理二十个量子比特的电路时，标准的反向传播法需要超过六千兆字节的内存，而新方法仅需不到两兆字节。这种对资源需求的降低意味着研究人员未来可能在更基础的硬件上训练这些复杂的模型，从而使量子机器学习研究的准入门槛更加大众化。

研究人员还检查了该系统在分类数据方面的实际学习效果。他们在包括手写数字图像和乳腺癌相关医学数据在内的四个不同数据集上进行了测试。在所有案例中，RLQ-Grad 优化器的表现都优于传统的基于梯度的算法。在较简单的数据库中，它将量子网络的准确率提高了高达百分之十。在更复杂的图像数据集上，当传统方法随着电路规模增大而开始挣扎时，新方法依然能持续提升性能，并达到了专门用于解决“贫瘠高原”问题的特定技术的水平。至关重要的是，它在实现这一目标的同时，并没有像那些专门技术那样需要庞大的计算开销。

这项工作的核心意义之一在于它排除了哪些可能性。研究人员明确测试了其他类型的优化算法——例如模仿自然选择的进化算法或“试错法”式的无梯度算法——是否能解决这个问题。他们发现，面对同样的二十个量子比特电路时，这些替代方案都会退化到随机猜测的水平，无法学到任何有用的信息。这表明，解决方案不仅仅在于避免计算梯度，而在于使用一种智能的、习得的策略来引导更新。研究还澄清，虽然这种方法解决了信号消失和高内存成本的问题，但它并不能神奇地解决量子学习中的所有问题：如果量子电路过小或问题过于简单，网络仍可能陷入糟糕的解中；此外，该方法目前尚不适用于受噪声和误差影响的真实物理量子硬件。

团队通过数学证明了其方法之所以奏效，是因为这个“教练”程序完全运行在独立于量子电路之外的经典计算机上。由于这个教练不需要对复杂的量子方程进行微分，因此不会受到困扰传统方法的指数级衰减的影响。研究人员通过展示随着量子比特数量的增加，学习信号的方差保持平稳且稳定，而其他方法的信号则迅速衰减，验证了这一点。这种结构上的优势使得该方法能够高效扩展，其增长仅随参数数量呈线性增长，而非随量子系统规模呈指数级增长。

尽管这项研究完全是在模拟环境下进行的，但其对量子计算未来的意义是深远的。通过将训练的计算成本降低数千倍，这种方法可以让科学家探索比以往认为的更为庞大且复杂的量子神经网络。它为一个正处于实践局限性困境中的领域提供了一条新的路径。研究人员指出，下一步将在真实的量子硬件上测试这种方法，并观察习得的策略是否可以迁移到不同类型的问题中，从而有望创造出一种用于训练未来量子机器的通用工具。目前来看，这项工作证明了通过改变我们教导机器的方式，我们可以跨越曾经阻碍其进步的陡峭悬崖。