🤖 AI

Sprecher Networks: A Parameter-Efficient Kolmogorov-Arnold Architecture

原作者： Christian Hägg, Kathlén Kohn, Giovanni Luca Marchetti, Boris Shapiro

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Christian Hägg, Kathlén Kohn, Giovanni Luca Marchetti, Boris Shapiro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机识别模式，比如在照片中识别出一只猫，或者预测天气。通常，我们通过构建一个巨大的“工厂”连接来实现这一点。在一个标准的计算机大脑（称为神经网络）中，每一间房里的每个工人都会与下一间房里的每个工人进行交谈。如果你在一间房里有 1,000 名工人，在下一间房里也有 1,000 名工人，你就需要一百万根细小的电线将它们连接起来。这使得这个工厂变得巨大、昂贵且难以安装在狭小的空间内（比如手机或智能手表）。

Sprecher 网络 (SNs) 是一种新型的计算机大脑设计，它改变了这些工厂的构建方式。它们没有使用一百万根电线，而是使用了一个基于 1965 年数学证明的巧妙且紧凑的蓝图。

以下是它的工作原理，使用简单的类比：

1. “共享食谱” vs. “定制菜单”

旧方法（标准网络）： 想象一家餐厅，每张桌子都得到一份完全定制的菜单。如果你有 100 张桌子，你就需要 100 个不同的厨师来编写 100 份不同的食材清单。这需要大量的纸张（内存）和墨水（参数）。
Sprecher 方式： 想象一家只有一本主食谱书的餐厅。每张桌子得到的都是相同的食材清单，但它们的呈现顺序略有不同，或者每道菜都加入了一点微小的、特定的变化。
- 在 SNs 中，网络不再为每一个连接学习一个独特的函数，而是为整个层学习两个共享的“食谱”（样条函数/splines）。
- 一个食谱是“单调”的（它总是上升的，就像一个坡道）。
- 另一个是“通用”的（它可以像过山车一样上升和下降）。
- 网络只需为每个输出稍微调整食材（就像给第一道菜加一撮盐，给第二道菜加两撮盐），并使用一组统一的权重进行混合。

2. “流水线”的高效性

由于它们共享这些食谱，SNs 极其高效。

数学原理： 如果你将一个标准网络的规模增加一倍，电线的数量（以及所需的内存）会变为原来的四倍。如果你将一个 Sprecher 网络的大小增加一倍，内存仅会增加一倍。
结果： 你可以构建一个“宽”网络（拥有数千名工人的网络），使其能够适配在极小的空间内。作者通过在一台 1990 年代的掌上游戏机（仅有 4 MB RAM！）上运行 Sprecher 网络证明了这一点。它成功地实时识别了手写数字，而这项任务在同样的设备上运行标准网络会导致系统崩溃。

3. “深层堆叠”的创新

最初的 1965 年数学证明显示，你只需要这一层“共享食谱”工厂就能解决复杂问题。但现代 AI 热衷于深层工厂（将许多层堆叠在一起）。

作者问道：“我们能否将这些高效的模块堆叠在一起，构成一个深层的、强大的大脑？”
答案是： 可以。他们构建了一个“Sprecher 模块”并将它们堆叠起来。他们发现，即使在这种严格的食谱共享机制下，网络仍然可以学习深层的、复杂的模式，包括解决物理方程（如热量如何扩散）和图像分类（如 Fashion-MNIST）。

4. “侧边谈话”功能 (横向混合)

这里有一个小问题：因为每一层的每个输出都在使用完全相同的食谱，它们有时会开始看起来过于相似，就像一个合唱团里每个人都在唱完全相同的音符。

解决方法： 作者添加了一个名为**“横向混合”（Lateral Mixing）**的“侧边谈话”功能。
类比： 想象工厂里的工人在完成任务之前，被允许与他们的直接邻居低声耳语。这种微小的沟通有助于他们区分自己的工作，而不需要增加一百万根新电线。它打破了对称性，并帮助网络学习得更快、更好，尤其是当它必须同时输出许多不同的东西时（例如预测 10 个不同的数字）。

5. “节省内存”的小技巧

通常，当计算机计算一个层时，它会在内存中创建一个巨大的临时电子表格来保存所有的中间结果。对于宽网络来说，这个电子表格非常庞大，会导致计算机崩溃。

SN 的技巧： 作者设计了一种方法，可以逐个地（顺序地）计算结果，而不是一次性全部计算。
类比： 与其一次性在桌子上摆放 1,000 个盘子来填充，不如填满一个盘子，吃掉它（或传下去），然后再填下一个。你每次只需要一个盘子的空间。这使得网络可以在内存极少的设备上运行。

总结声明

它是什么： 一种基于 1965 年数学定理的新型神经网络。
核心优势： 它极其节省内存。与标准网络 (MLPs) 或较新的 KAN 网络相比，它使用的参数（内存）更少。
证明：
- 它可以运行在 4 MB 的嵌入式设备（一个微型芯片）上。
- 它可以处理非常宽的层（16,000+ 名工人），而不会耗尽内存，其他网络在此时会崩溃。
- 它在图像分类（Fashion-MNIST）和物理问题（泊松方程）方面表现良好。
- 在具有特定数据结构的任务上，它通常比规模相似的网络学得更好。
局限性： 它有时需要更多的训练时间（更多的练习轮次）才能达到与标准网络相同的准确度，并且关于它在深层堆叠中为何能如此高效工作的数学原理仍在研究之中。

简而言之，Sprecher 网络是一种构建超高效、紧凑型计算机大脑的方法，它受到 20 世纪 60 年代聪明数学技巧的启发，并通过一些“侧边耳语”功能进行了现代化改造，使其变得更加聪明，并能装进你的口袋。

技术摘要：Sprecher 网络 (SNs)

问题陈述

本文探讨了深度学习架构中参数效率、内存可扩展性与表示能力之间的权衡。虽然多层感知机 (MLP) 依赖于稠密权重矩阵（ $O(N^2)$ 参数），而 Kolmogorov-Arnold 网络 (KAN) 在每条边上都放置可学习的样条函数（ $O(N^2 G)$ 参数），但两者在极宽或极深的网络中都面临着可扩展性的瓶颈。近期的“受 Sprecher 启发”的架构（如 GS-KAN、Saکان）试图利用 David Sprecher 在 1965 年提出的 Kolmogorov-Arnold 表示定理的构造性证明，但往往仍保留了稠密权重矩阵，未能实现层宽度的真正线性缩放。此外，标准的 KAN 和稠密 MLP 实现由于在前向传播中存在二次方内存增长，阻碍了在内存受限的边缘设备上的部署。

作者提出了这样一个问题：能否将 Sprecher 浅层公式中高度结构化的、具有参数共享特征的组件，重新工程化为一个可行的、高效的深度架构，从而保持参数和内存的线性缩放？

方法论

作者引入了 Sprecher 网络 (SNs)，这是一类直接源自 Sprecher 1965 年 Kolmogorov-Arnold 表示形式的可训练架构。

核心架构

一个 SN 由堆叠的 Sprecher 块组成。与 KAN 中每条边都有唯一的、可学习的样条函数不同，Sprecher 块采用了一种“偏移单变量函数之和”的结构，并具有极高的参数共享特性：

共享样条 (Shared Splines)： 每个块仅使用两个共享的可学习样条：一个单调内层样条 $\phi$ （按坐标应用）和一个通用的外层样条 $\Phi$ （在求和后应用）。
向量混合 (Vector Mixing)： 该块不使用权重矩阵，而是使用一个单一的可学习混合向量 $\lambda \in \mathbb{R}^{d_{in}}$ ，该向量在所有 $d_{out}$ 个输出维度上共享。
结构化偏移 (Structured Shifts)： 该架构显式地结合了输入偏移 $\eta q$ （其中 $q$ 是输出索引）和加性通道偏移 $\alpha q$ ，镜像了 Sprecher 最初的公式。
横向混合 (Lateral Mixing)： 为了解决由共享权重导致的优化平台期问题，作者提出了一种可选的横向混合算子，允许在相邻输出通道之间进行块内通信，且仅需 $O(d_{out})$ 的额外参数。
残差连接 (Residual Connections)： 作者提出了维度自适应的循环残差连接（池化/广播），其规模随宽度线性缩放，避免了标准线性投影中 $O(d_{in} \times d_{out})$ 的成本。

内存高效计算

一个关键的方法论贡献是 顺序前向评估策略。标准的向量化实现会生成一个 $B \times d_{in} \times d_{out}$ 的偏移输入张量。SNs 则针对每个输出索引 $q$ 顺序计算输出，将前向传播的峰值中间内存从 $O(B \cdot d_{in} \cdot d_{out})$ 降低到 $O(B \cdot \max(d_{in}, d_{out}))$ 。这使得在内存受限的设备上训练极宽的层成为可能。

理论基础

普适性 (Universality)： 本文证明了单层 SN（当 $d_{out} = 2n+1$ 时）是 $[0, 1]^n$ 上连续函数的通用近似器，直接继承了 Sprecher 定理的这一属性。
逼近率 (Approximation Rates)： 对于深度网络 ( $L > 1$ )，作者提供了误差界限，表明分段线性样条近似的收敛速率为 $O(G^{-2})$ ，其中 $G$ 是节点数。分析表明，横向混合和残差连接会影响常数项，但不会影响渐近速率。
参数缩放 (Parameter Scaling)： SNs 实现了参数复杂度 $O(LN + LG) $（其中$ L $为深度，$ N $为宽度，$ G$ 为样条复杂度），相比之下，MLP 为 $O(LN^2)$ ，KAN 为 $O(LN^2 G)$ 。

核心贡献

架构设计： 提出了 Sprecher 网络，它通过共享样条和向量权重，将 Sprecher 1965 年的浅层构造扩展到了深度组合框架中。
可扩展性： 展示了参数和内存随层宽度的线性缩放，能够在因内存溢出 (OOM) 错误而导致 MLP 和 KAN 失效的硬件上，训练宽度高达 16,384 的模型。
内存优化： 一种顺序评估算法，将前向传播的内存占用从二次方降低到相对于层宽度的线性，便于在资源受限的边缘设备上部署。
实证验证： 全面的基准测试显示，在处理涉及共享变换和头部偏移的任务时，SNs 在参数匹配的 KAN 和 MLP 面前表现优于后者。
边缘部署： 在仅有 4 MB RAM 的 67 MHz ARM9 处理器上成功实现了实时数字分类，所使用的模型仅包含约 2,600 个参数。

结果

论文在多个领域展示了实证证据：

可扩展性压力测试： 在一台拥有 8GB RAM 的机器上，SNs 成功在宽度为 16,384（49,228 个参数）的情况下进行训练，而 MLPs、KANs、GS-KAN 和 SaKAN 在远低于此的宽度下（例如 KAN 在宽度 8,192 时失败；GS-KAN 在 4,096 时失败）均因内存限制而失败。
回归基准测试： 在 8 个不同的合成任务中进行“基础型”（无残差、无归一化）对比时，SNs 始终比参数匹配的 KANs 获得更低的测试 RMSE，提升比例在 1.12 $\times$ 到 1.64 $\times$ 之间。SNs 在不同随机种子下的方差更低，表明其优化过程更稳定。
Fashion-MNIST： SNs 取得了具有竞争力的分类准确率（对于一个 25 层网络为 85.90%），与 MLP 基准相比，证明了配备循环残差和 BatchNorm 的深度堆叠 Sprecher 块可以稳定训练。
Poisson PINN： 在求解 Poisson 方程的物理信息神经网络任务中，与具有相似参数数量的 KANs 相比，SNs 实现了更低的 PDE 残差和边界 MSE。
嵌入式推理： 一个拥有 2,613 个参数的 SN 成功在具有 4 MB RAM 的嵌入式设备上对手写数字进行了分类，而同等的 MLP 则需要约 89,000 个参数。

意义与主张

本文声称，Sprecher 网络在函数近似网络的格局中提供了一个独特的替代方案，因为它直接实现了严谨的数学构造定理（Sprecher 1965 年的结果）到深度学习框架中的转化。

理论与实践的桥梁： 这项工作证明了 Sprecher 定理的结构约束（共享样条、向量权重、偏移）不仅是理论上的奇思妙想，而且可以作为一种有益的归纳偏置，特别适用于涉及跨维度共享变换的任务。
效率： 其主要意义在于 SNs 的双重效率：它们大幅减少了参数数量和内存需求，使其非常适合极宽、浅层的模型以及内存受限的边缘推理。
横向混合 (Lateral Mixing)： 论文指出，横向混合是实现成功的经验性增强，它打破了共享权重结构中固有的对称性，使得在深度和宽阔配置下的优化成为可能，尽管其在 Sprecher 框架内的理论依据仍是一个开放性问题。
谦逊态度： 作者明确指出，虽然单层 SN 被保证为通用近似器，但深度组合 SN（ $L > 1$ ）的普适性目前仍是一个猜想。他们承认，对于某些任务，SN 可能比 MLP 需要更多的训练迭代，并且对于这种特定归纳偏置的最优应用领域仍在探索之中。

总之，论文认为 Sprecher 网络代表了一个有前景的方向，旨在开发能够平衡严谨数学基础与实际效率的架构，特别是在内存和参数预算成为主要约束的场景下。