⚛️ quantum physics

Quantum Variational Activation Functions Empower Kolmogorov-Arnold Networks

本文引入了量子变分激活函数（QVAFs），特别是单比特 DARUAN 机制，以构建 QKAN 架构，该架构将 Kolmogorov-Arnold 网络与量子启发式表达能力相统一，在经典模拟和 NISQ 硬件上均实现了卓越的参数效率、可扩展性和泛化能力。

原作者： Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

发布于 2026-07-07

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Jiun-Cheng Jiang, Morris Yu-Chao Huang, Tianlong Chen, Hsi-Sheng Goan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：赋予神经网络“量子超能力”

想象一下，你正在试图教计算机识别模式，比如识别照片中的猫或预测天气。为了实现这一目标，计算机使用神经网络，它们就像是由许多小工人（神经元）组成的巨大工厂，信息在工人之间传递。

通常，这些工人有一个简单的、固定的规则来处理信息（就像一个标准的灯开关：开或关）。最近，科学家发明了一种新型网络，称为 KAN（Kolmogorov-Arnold 网络）。在 KAN 中，每个工人都有一个可定制的规则（一个“可学习的激活函数”），他们可以根据工作需求进行微调。这使得 KAN 非常擅长理解复杂的形状和模式，但由于它们需要大量的内存，运行起来会变得沉重且昂贵。

本论文提出了一个新的转折点： 如果我们用微小的、模拟的量子电路来替换这些可定制的规则，会发生什么？

作者称之为 QKAN（量子启发式 KAN）。他们并不是在整个量子机器上运行程序（因为目前的量子计算速度慢且容易出错），而是利用量子物理学的数学原理来让这些工人变得更聪明、更高效。

主角：名为 “DARUAN” 的工人

论文介绍了一种特定类型的工人，称为 DARUAN（数据重上传激活，DatA Re-Uploading ActivatioN）。把 DARUAN 工人想象成一位演奏单弦乐器的音乐家（单个量子比特）。

运作方式： 这种工人不仅仅是看一次数据，而是将数据“重上传”到乐器中多次，每次都用特定的曲调（参数）轻微扭转琴弦。
神奇之处： 通过以特定的几何模式（例如每次将张力翻倍）来扭转琴弦，这单个工人就能创造出极其广泛的音域（频率）。
优势： 一个传统的工人为了演奏每一个新音符，都需要购买一件全新的乐器。而一个 DARUAN 工人只需通过改变调音方式，就能使用同一件乐器演奏出指数级增长的音域。这节省了大量的空间（参数）。

类比：管弦乐队 vs. 独奏者

旧网络 (MLPs)： 像是一个合唱团，每个人都唱着同样的简单音符。为了获得复杂的和谐感，你需要成千上万名歌手。
标准 KANs： 像是一个合唱团，每个歌手都拥有一件独特且复杂的乐器。听起来很棒，但整个管弦乐队规模庞大且维护成本高昂。
QKAN（本文）： 像是一个合唱团，其中的每位歌手都是一位拥有神奇乐器的大师级独奏者 (DARUAN)。一位独奏者就可以模仿一整个乐器组的声音。你只需要更少的歌手就能创造出同样（甚至更好）的音乐。

他们实际做了什么（研究结果）

作者不仅停留在理论层面；他们构建了这些网络，并在三个主要任务上进行了测试：

拟合噪声曲线（回归任务）：
- 任务： 在杂乱的点阵中画出一条平滑的线（例如预测带有噪声数据的股票趋势）。
- 结果： QKANs 比标准网络画出的线条更平滑、更准确，且平均减少了 24% 的参数（内存空间）。它们特别擅长从噪声中发现隐藏的模式。
图像识别（分类任务）：
- 任务： 识别手写数字 (MNIST) 或照片中的物体 (CIFAR)。
- 结果： QKANs 在使用显著更少参数的同时，达到了与标准网络相当甚至更高的准确率。
- “混合”技巧： 对于非常复杂的图像，他们引入了 HQKAN。想象一下在量子工人面前放一个“压缩透镜”。它将图像缩小到一个极小的、易于处理的尺寸，让量子工人施展魔法，然后再将其放大。这使得他们能够处理巨大的数据集，而不会导致网络因体积过大而无法装入内存。
文本生成（生成式建模）：
- 任务： 训练一个像人类一样写文本的模型（使用类似 GPT-2 的模型）。
- 结果： 通过将标准的文本处理层替换为 HQKAN 层，该模型学习得更快，生成的文本质量更高（较低的“困惑度”），同时仅使用了三分之一的参数和更少的内存。

“现实世界”检验：在真实的量子硬件上运行

论文中最酷的部分之一是，他们不仅仅是在普通计算机上进行模拟。他们将训练好的模型运行在了真实的物理量子计算机（IBM 的 “Aachen” 处理器）上。

测试： 他们要求真实的量子芯片充当网络中的“工人”。
结果： 由于目前的量子芯片还带有一定的“噪声”（就像一位乐器略微走调的音乐家），结果并非完美无缺。然而，对于简单的任务（如识别图像），量子芯片在大多数情况下仍能得到正确答案。这证明了即使在不完美的现实硬件上，其数学逻辑也是成立的。

为什么这很重要（根据论文观点）

效率： 你可以获得复杂量子数学的力量，而无需需要一台庞大且无误差的量子计算机。
可扩展性： 由于这些“量子工人”非常高效，它们可以在普通的计算机（如你的笔记本电脑或数据中心 GPU）上非常快速地进行模拟。
可解释性： 就像标准的 KAN 一样，QKANs 是透明的。你可以观察工人在演奏什么样的“音乐”，并理解它到底学到了什么样的数学规则（例如：“啊，这个工人学会了正弦函数”）。

总结

论文的核心观点是：“我们找到了一种方法，利用量子物理的数学原理，让神经网络的‘工人’变得更聪明、更精简。我们构建了一个名为 QKAN 的系统，它使用了这些‘量子启发式’的工人。它比现有方法表现更好，且占用更少的内存，我们甚至证明了它可以运行在真实的量子硬件上——尽管目前最好还是在强大的经典计算机上运行。”

它是连接量子计算的未来与当今人工智能实际需求之间的一座桥梁。

技术摘要：量子变分激活函数赋能 Kolmogorov-Arnold 网络

问题陈述
变分量子电路（VQC）是量子机器学习（QML）的核心，然而其应用主要集中在数据编码和特征映射上，而非作为神经网络中的可学习激活函数。相反，经典的 Kolmogorov-Arnold 网络（KAN）已经展示了可学习变分激活函数（VAF）的力量，通过在每个边缘处使用可训练函数取代固定非线性，从而提高了可解释性和准确性。然而，现有的 KAN 实现通常依赖于 B-样条（B-splines）或傅里叶级数，这可能导致计算成本高昂，或者在处理高频近似时需要大量的参数。此外，虽然多比特 VQC 具有理论上的表达能力，但在嘈杂的中规模量子（NISQ）时代面临着显著的实际障碍，包括双比特门的高错误率、训练过程中的梯度消失（Barren Plateau）问题，以及大规模系统下经典模拟的高昂成本。本文旨在解决如何将量子电路的表达能力与 KAN 的可扩展性和可解释性相结合，并设计一个专门适用于当前硬件和经典模拟器的框架。

方法论
作者提出了一个名为量子变分激活函数（QVAF）的通用框架，其中参数化量子电路充当可学习的激活函数。为了使该框架在当前的约束条件下具有实用性，他们引入了一种特定的单比特实例化方案，称为数据重上传激活（DARUAN）。

DARUAN 架构： 与标准 VQC 仅进行一次数据编码不同，DARUAN 采用了数据重上传策略。它由 $r$ 个块组成，每个块交替执行一个可训练幺正算符 $W^{(\ell)}(\theta_\ell)$ 和一个数据编码操作 $S(w_\ell x) = e^{-i w_\ell x H}$ 。至关重要的是，数据预处理权重 $w_\ell$ 是可训练的。输出是测量在单个比特上的 Pauli 可观测量（通常为 $\sigma_z$ ）的期望值。
QKAN 与 HQKAN： 作者将 DARUAN 嵌入到 KAN 拓扑结构中，构建了量子启发式 Kolmogorov-Arnold 网络（QKAN）。在 QKAN 中，每个边缘的激活都是一个独立的单比特 DARUAN 电路。为了解决 KAN 的可扩展性限制（即参数量随输入/输出维度呈二次方增长），作者引入了混合 QKAN（HQKAN）。HQKAN 通过使用经典的紧凑全连接压缩层和扩张层来封装一个精简的 QKAN 潜层核心，从而使其能够高效处理高维输入。
层扩展（Layer Extension）： 为了优化训练稳定性与容量，作者采用了“层扩展”策略。模型首先使用较少的重上传次数（ $r$ ）进行训练，然后逐步扩展到较大的 $r$ ，并将新参数初始化为单位阵。这使得模型能够先学习低频结构，再进一步精炼高频细节，而无需从头开始重新训练。
理论分析： 本文提供了理论证明，表明通过可训练的预处理权重，单比特 DARUAN 可达到的频率谱可以随重上传次数 $r$ 指数级增长（具体而言，若采用几何选择的权重 $w_\ell = 2^{\ell-1}$ ，则可获得 $2^r - 1$ 的填充带宽）。这提供了相比于经典基于傅里叶的 KAN 的参数级缩减，因为后者需要线性增加参数才能达到相同的带宽。

核心贡献

QVAF 框架： 将量子电路定义为可学习激活函数的通用定义，架起了量子机器学习与经典深度学习之间的桥梁。
DARUAN： 一种计算高效的单比特 QVAF 实例化方案，它是可经典模拟的，并且可以直接在当前的 NISQ 硬件上执行。
QKAN 与 HQKAN 架构： 新颖的网络设计，将 DARUAN 集成到 KAN 中，提供了更高的参数效率、表达能力和泛化能力。
理论保证： 证明了可训练的预处理权重能够实现可达频率支持的指数级增长，为 QKAN 相较于经典基于傅里叶方案的参数效率提供了理论基础。
知识蒸馏： 一种将训练好的 QKAN 参数迁移到经典 KAN（使用 B-样条）的方法，允许 QKAN 作为经典模型的预训练机制。

实验结果
作者在三个领域验证了其方法：

函数回归： 在 Feynman 数据集的噪声回归任务中，QKAN 的表现始终优于或等同于经典 KAN 和 MLP。值得注意的是，在参数量平均减少约 24% 的情况下，QKAN 达到了相当或更低的均方根误差（RMSE）。在 66 个符号表达式的广泛基准测试中，QKAN 在超过 80% 的方程上实现了最低 RMSE，同时使用的参数比经典 KAN 少 30%。
图像分类： 在 MNIST、CIFAR-10 和 CIFAR-100 上，QKAN 和 HQKAN 取得了具有竞争力的 Top-1 和 Top-5 准确率。特别是 HQKAN 展示了卓越的参数效率，在实现相当或更好准确率的同时，使用了显著更少的参数（例如，在 CIFAR-100 上，HQKAN 使用约 32k 参数，而 KAN 使用约 384k 参数）。
生成建模： 当集成到 GPT-2 中（作为 HQKAN）时，与 MLP 基准相比，这些模型实现了更低的困惑度（Perplexity）和更快的收敛速度，且仅使用了三分之一的参数和 30% 更少的训练内存。
硬件验证： 作者在 IBM Aachen 量子处理器上进行了推理验证。虽然高精度回归对采样噪声和硬件误差较为敏感，但分类任务（CIFAR-10/100）即使在低采样数（100 次采样）下也能保持稳健的表现（与精确求解器的准确度差距在 2-3% 以内），证明了单比特 DARUAN 在 NISQ 设备上进行推理的可行性。

意义与主张
本文声称 QKAN 代表了可解释的经典架构与量子电路衍生结构化激活之间的“桥梁”。其重要性体现在以下几点：

实用性： 通过利用单比特电路，该方法避免了多比特纠缠门带来的 Barren Plateau 问题和保真度瓶颈，使其在经典模拟器和当前量子硬件上进行推理时具有直接的可行性。
效率： 通过共享旋转参数实现的傅里叶系数的结构化耦合起到了隐式正则化的作用，使得 QKAN 能以比经典模型更少的参数实现高表达能力。
可扩展性： HQKAN 架构和层扩展策略解决了 KAN 本身的扩展挑战，使得将量子启发式模块应用于如大语言模型（LLM）等大规模模型成为可能。
验证： 这项工作是对 QVAF 概念的“当代验证”。虽然作者承认多比特纠缠 QVAF 可能会带来进一步的收益（例如降低深度），但他们强调，鉴于目前的硬件限制，当前的单比特设计是目前最稳健且最具扩展性的路径。训练好的模型可以直接在 NISQ 硬件上执行推理，从而在实现容错量子计算机之前，为特定的推理任务提供直接的量子优势途径。