📊 statistics

Wahkon: A Statistically Principled Deep RKHS Superposition Network

本文介绍了 Wahkon，一种深度再生核希尔伯特空间叠加网络，它将柯尔莫哥洛夫叠加原理与再生核希尔伯特空间正则化相结合，提供了一个具有统计原理的框架，该框架能提供有限样本保证、校准的不确定性以及极小极大最优收敛速率，同时在经验上优于现有的深度学习和基于核的方法。

原作者： Yongkai Chen, Wenxuan Zhong, Ping Ma

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yongkai Chen, Wenxuan Zhong, Ping Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教计算机基于海量数据来预测未来。关于如何实现这一点，主要有两种思想流派：

“深度学习”学派：它们就像巨大的、灵活的海绵。它们擅长记忆模式并进行预测（例如识别照片中的猫）。然而，它们通常是“黑盒”。我们并不真正知道它们为何做出某个决定，也无法告知它们对预测结果的置信度。它们擅长猜测，却不擅长解释。
“统计学”学派：它们就像僵化、受规则约束的数学家。它们非常谨慎。它们能确切地告诉你自己对预测结果有多大的把握，并能解释其逻辑。但是，当数据量巨大或极其复杂时，它们往往难以应对，会被变量的 sheer 数量搞得晕头转向。

Wahkon 是一项新发明，试图兼收并蓄，取两者之长。它就像构建一个超级机器人，既拥有海绵般的灵活性，又具备数学家般谨慎、可解释的逻辑。

以下是其工作原理，分解为简单的概念：

1. “一次一事”的魔力（柯尔莫哥洛夫原理）

这篇论文始于数学家柯尔莫哥洛夫（Kolmogorov）的一个著名思想。他证明，任何复杂的、多维的问题（例如基于温度、湿度、风力和气压来预测天气），实际上都可以被分解为一系列简单的、一维的问题。

把它想象成一道复杂的食谱。与其试图在一个巨大的碗里一次性混合所有食材，不如按顺序逐一准备：先切洋葱，然后烧水，再煎肉。柯尔莫哥洛夫说，你可以通过将简单的单变量步骤层层堆叠，以此构建任何复杂的函数。

2. “可学习”的激活函数

大多数标准人工智能网络（称为神经网络）在这些步骤中使用固定的规则。想象一条工厂流水线，无论工人们在建造什么，都被迫使用完全相同的锤子。这很高效，但不够聪明。

Wahkon 改变了规则。它不使用固定的锤子，而是让每个工人（或网络中的每个“连接”）根据数据学习属于自己的定制工具。

如果数据看起来像曲线，工具就学会变成曲线。
如果数据看起来像直线，工具就学会变成直线。

这使得网络具有更强的适应性。这就像给每个工人配备一个工具箱，让他们根据手头具体的工作挑选最完美的工具。

3. “安全网”（RKHS 正则化）

这里是棘手之处：如果你让每个工人都发明自己的工具，他们可能会变得过于疯狂。其中一个可能会发明一个剧烈抖动的工具，导致机器崩溃（这在人工智能中称为“过拟合”）。

Wahkon 使用一种称为RKHS 正则化的“安全网”。想象这是一位严格的监管者，他说：“你可以发明自己的工具，但它必须是平滑且合理的。不允许出现锯齿状或疯狂的剧烈抖动。”

这位监管者确保网络不仅仅是死记硬背训练数据，而是真正学习到了底层的模式。
它还赋予网络一个“置信度评分”。由于这种安全网背后的数学原理已被充分理解，Wahkon 可以告诉你：“我有 95% 的把握这个预测是正确的”，而标准人工智能通常无法做到这一点。

4. “深度表示定理”（捷径）

你可能会想：“如果每个工人都在学习独特且无限多种可能的工具，计算机如何实际计算这一点？那将需要永恒的时间！”

这篇论文证明了一个绝妙的捷径，称为深度表示定理。它表明，尽管工具可能是无限复杂的，但网络真正需要的最佳工具，实际上只是基于其已见数据的一组有限简单形状的组合。

类比：想象你试图画一幅完美的肖像。你可能觉得需要无数支铅笔。而定理说：“不，你只需要一套特定的 100 支铅笔，它们与你正在描绘的人的特征相匹配。”
这将一个不可能的数学问题转化为一个可解的问题，使计算机能够快速训练。

5. “贝叶斯”联系

该论文还表明，Wahkon 在数学上等同于分层高斯过程。

简单翻译：这意味着 Wahkon 不仅仅是在“猜测”最佳工具；它是以一种统计上完美的方式进行。它将学习过程视为一场概率游戏，从“最佳猜测”开始，随着看到更多数据而更新该猜测，并始终跟踪其不确定性。

他们发现了什么？

作者将 Wahkon 与三种其他流行方法进行了测试：

MLP（标准神经网络）：灵活的“海绵”。
NTK（神经切线核）：一种非常僵化、理论化的神经网络版本。
KAN（柯尔莫哥洛夫 - 阿诺德网络）：一种较新的方法，也使用可学习的工具，但缺乏“安全网”。

结果：

准确性：Wahkon consistently 比其它方法犯更少的错误，特别是在缺乏大量数据可供学习时。
效率：它学习得更快，并且需要更少的数据就能获得良好的结果。
现实世界测试：他们将其应用于一个生物学问题：基于基因数据预测细胞中的蛋白质水平。Wahkon 最为准确，表现优于其他方法。

总结

Wahkon 是一种新型人工智能，它将深度学习的能力（处理复杂数据）与经典统计学的可靠性（知道你的把握有多大以及原因）相结合。它通过将复杂问题分解为简单、可学习的步骤，并利用严格的数学“安全网”防止一切失控来实现这一目标。这是一个旨在使人工智能不仅聪明，而且值得信赖且可解释的框架。

技术摘要：Wahkon——一种基于统计原理的深度 RKHS 叠加网络

问题陈述
现代深度学习在预测方面表现出色，但往往缺乏有限样本的理论保证和校准的不确定性量化。相反，基于再生核希尔伯特空间（RKHS）的经典非参数方法提供了严格的平滑度控制、最优收敛速率以及贝叶斯解释（通过高斯过程），但由于固定的核结构，它们难以适应高维、异质数据。虽然神经切线核（NTK）理论将深度网络与核联系起来，但它通常依赖于特征未被学习的“懒惰训练”机制。挑战在于统一深度架构的自适应表示能力与 RKHS 正则化的统计严谨性和可解释性。

方法论
作者提出了Wahkon，这是一种深度 RKHS 叠加网络，将柯尔莫哥洛夫的叠加原理与瓦巴（Wahba）的平滑样条框架相结合。

架构：Wahkon 采用深度复合结构，网络通过 $L$ 层逼近多元回归函数 $\eta(x)$ 。与使用固定激活函数（如 ReLU）的标准多层感知机（MLP）不同，Wahkon 在网络每条边上学习单变量链接函数 $\phi^{(l)}_{jk}$ 。
RKHS 约束：每个学习到的链接函数被约束在公共 RKHS $\mathcal{H}_K$ 内。网络输出是这些单变量函数之和的复合：
$x^{(l)}_j = \sum_{k=1}^{D_{l-1}} \phi^{(l)}_{jk}(x^{(l-1)}_k)$
惩罚估计：模型通过最小化惩罚最小二乘目标进行训练。惩罚项对链接函数施加 RKHS 范数，由特定于层的正则化参数 $\lambda_l$ 控制：
$J(\eta_{\text{Wahkon}}) = \sum_{l=1}^L \lambda_l \sum_{j=1}^{D_l} \sum_{k=1}^{D_{l-1}} \|\phi^{(l)}_{jk}\|^2_{\mathcal{H}_K}$
深度表示定理：尽管每个链接的函数空间具有无限维性质，但作者证明了最小化解具有有限维表示。具体而言，每个链接函数可以表示为以前一层拟合输入为中心的核评估的线性组合。这将优化问题简化为有限个系数张量的集合。
轮廓目标：为了提高优化效率，作者推导了一种轮廓目标，其中最后一层的系数在给定下层系数的条件下被解析求解（作为标准核岭回归）。这使得基于梯度的更新能够专注于学习下层的特征表示。
贝叶斯解释：该惩罚估计量被证明是在分层高斯过程（GP）先验下的最大后验（MAP）估计，其中每一层的链接函数被分配独立的零均值高斯过程。

主要贡献

深度表示定理：本文建立了深度 RKHS 叠加网络的有限维表示定理。这将 KAN（柯尔莫哥洛夫 - 阿诺德网络）范式扩展到基于原理的 RKHS 设置，用严格的 RKHS 正则化取代了固定的 B 样条基和启发式惩罚，从而实现了有限样本收敛保证。
样条/GP 对偶性扩展：作者证明了惩罚后的 Wahkon 估计量与深度分层高斯过程先验下的 MAP 估计一致。这将平滑样条与高斯过程之间的经典对偶性扩展到深度复合结构，为该模型提供了贝叶斯基础。
极小化极大最优收敛速率：在温和的平滑度假设下，本文推导出了极小化极大最优收敛速率。分析明确刻画了网络深度、宽度与链接函数平滑度之间的权衡，表明架构的增长必须与 RKHS 正则化相平衡以控制统计复杂性。

实证结果

合成基准测试：Wahkon 在四个涵盖非线性、径向、加法和嵌套复合结构的基准函数上进行了评估。与 MLP、神经切线核（NTK）和标准柯尔莫哥洛夫 - 阿诺德网络（KAN）相比，它始终实现了更低的测试均方根误差（RMSE）。
- MLP 尽管参数数量相似，但表现不佳，这表明在 RKHS 内学习单变量链接比固定激活函数具有更高的样本效率。
- KAN 在较大样本量下表现出改进的性能，但由于缺乏显式的 RKHS 正则化，其在有限样本行为上表现滞后。
- NTK 在小样本上表现具有竞争力，但较早进入平台期。
现实世界应用：在单细胞 CITE-seq 研究（从 RNA 数据预测表面蛋白丰度）中，Wahkon 在 25 个蛋白靶标上均优于 MLP、KAN 和 NTK。它在预测区分初始 T 细胞和记忆 T 细胞的 CD45 亚型方面表现出特别成功，且在随机数据划分中表现出更低的变异性。
先验行为：分层高斯过程先验的模拟显示，更深层表现出非高斯行为，具有类似“尖峰 - 平板”（spike-and-slab）的分布，表明许多链接被自动收缩，同时保留了部分链接保持活跃的能力。

意义与主张
本文声称，Wahkon 成功地将柯尔莫哥洛夫的叠加原理与 RKHS 正则化相结合，创建了一个既具有表达力又受统计控制的深度模型。通过将固定激活函数替换为学习到的、正则化的单变量链接，Wahkon 提供了一个框架，能够带来：

准确性：在合成和生物基准测试上均表现出卓越的预测性能。
可解释性：使用单变量链接函数允许检查单个特征变换。
统计严谨性：该模型提供有限样本保证、显式的复杂性控制以及通过 MAP 等价性实现的基于原理的贝叶斯解释。

作者将 Wahkon 定位为构建不仅准确而且可靠、可解释的深度模型的模板，弥合了现代表示学习与经典统计推断之间的差距。他们承认计算成本是一个局限性，建议将近似核和低秩结构作为未来的方向，并指出可扩展的后验推断仍然是一个未解决的问题。