🌀 nonlinear sciences

Physical Analogue Kolmogorov-Arnold Networks based on Reconfigurable Nonlinear-Processing Units

本文提出了一种可扩展的、硬件原生的物理模拟柯尔莫哥洛夫-阿诺德网络（aKAN）架构，该架构利用可重构非线性处理单元（RNPU），在保持边缘推理函数逼近准确性的同时，与数字多层感知器相比，显著降低了能耗、延迟和面积。

原作者： Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机识别模式，比如区分猫和狗，或者预测天气。几十年来，这种做法的标准方式一直是使用“多层感知器”（MLP）。你可以把 MLP 想象成一个巨大的工厂流水线。首先，一大组工人（线性层）进行简单的数学运算——进行加法和乘法。然后，一个独立的、僵化的监督者（固定的激活函数）观察结果并做出决定：“好吧，这是一个‘是’还是‘否’。”问题在于，这条流水线规模巨大、耗能极高，而且无论面对什么工作，监督者每次都做着完全相同的事情。

你分享的论文介绍了一种更聪明、更高效构建这些计算机的方法，即物理模拟 Kolmogorov-Arnold 网络（aKANs）。以下是其工作原理的简单解释：

1. “智能涂料”取代流水线

传统的做法是先进行数学运算，然后再做出决策；而这种新方法则是通过材料本身，让数学运算与决策同时发生。

他们使用了被称为**可重构非线性处理单元（RNPU）**的微型硅芯片。

类比： 想象一个标准的灯光开关，它要么是“开”，要么是“关”。现在，想象一个“智能调光器”，它不仅能根据你按压按钮的力量以及旋转另一个旋钮的方式来改变亮度，还能改变颜色。
现实情况： RNPU 是一个微观的硅器件。你输入电压（即“按压按钮”），就可以通过调整控制电压（即“旋钮”）来调节它的行为。该设备会在硅片内部物理性地将电信号转化为复杂的曲线形状。它不是在“计算”曲线，它本身“就是”那条曲线。

2. “变色龙”般的边缘

在传统网络中，“边缘”（神经元之间的连接）仅仅是传输数字。而在这种新系统中，边缘是变色龙。

作者将这些“智能调光器”（RNPU）连接在一起，组成一个边缘处理器（Edge Processor）。
通过对这些单元进行混合与匹配，他们可以创造出几乎任何所需的数学函数形状。如果任务需要一条波浪线，硅片就会弯曲成波浪；如果需要一个尖峰，硅片就会弯曲成尖峰。
这就像是一位雕塑家，可以瞬间将黏土塑造成任何需要的形状，而不是一个只能生产预制砖块的工厂。

3. 为什么这意义重大（能源与空间的节省）

论文将这种新系统与旧有的“流水线式”计算机进行了对比测试。

结果： 为了完成同样的工作（如预测曲线或分类数据），新系统使用的能量减少了 100 倍，占用的芯片空间也减少了 10 倍。
比喻： 如果说旧款计算机是一辆为了运送单个包裹而消耗大量燃油的大卡车，那么这个新系统就是一辆轻便的电动自行车，在完成同样任务的同时，消耗的燃料和占据的路面空间都极小。

4. 他们是如何测试的

研究人员不仅在计算机上进行了模拟，还用真实的硅器件构建了它。

他们使用软件进行训练，以确定硅芯片上“旋钮”（控制电压）的最佳设置。
然后，他们在真实硬件上进行了测试。他们利用它来拟合复杂的曲线（如正弦波和贝塞尔函数），以及进行数据分类（例如判断螺旋图案是向左转还是向右转）。
关键发现： 尽管这些硅芯片彼此之间存在细微差异（就像每个人的手掌略有不同一样），但该系统表现出了很强的鲁棒性。它仍然能够学习和适应，证明了这种“物理计算”方法是可靠的。

5. “剪枝”技巧

他们展示的一个聪明特性是剪枝（Pruning）。

想象一下，你有一支 100 人的雕塑家团队，但你其实只需要 5 个人就能完成一座雕像。该系统可以自动识别哪些雕塑家没怎么干活，并将他们“关闭”。
这使得最终的设备变得更小、更高效，在不损失解决问题能力的前提下，去除了不必要的部件。

总结

论文声称，通过不再依赖僵化的数字数学，而是利用硅的自然物理特性来承担繁重的计算任务，我们可以构建出这样的神经网络：

微型化： 比目前的芯片小得多。
高效： 仅消耗极少部分的电池电量。
灵活性： 网络中的“边缘”可以改变形状以适应特定的问题，而不是受限于“一刀切”的方法。

这为将强大的 AI 直接放入小型、电池供电的设备（如传感器或可穿戴设备）中打开了大门，而无需依赖庞大的数据中心来进行思考。

技术摘要：基于可重构非线性处理单元的物理模拟 Kolmogorov-Arnold 网络

问题陈述
现代深度学习高度依赖多层感知器（MLP），其执行线性矩阵-向量乘法并辅以固定的非线性激活函数。虽然线性运算在当前的数字和混合信号硬件（如 GPU、忆阻器交叉阵列）中可以得到高效加速，但非线性激活函数仍是硬件原生实现的瓶颈。此外，深度学习的计算成本正在以不可持续的速度上升，且 MLP 的“黑盒”性质限制了其可解释性。Kolmogorov-Arnold 网络（KAN）提供了一种理论上的替代方案，通过将计算负担从固定的节点激活转移到网络边上可学习的非线性函数来实现。然而，如何在不借助数字近似（如查找表）或复杂的电路级仿真的情况下，在硬件中高效实现这些可学习的非线性函数，仍然是一个开放性的挑战。

方法论
作者提出了一种物理模拟 KAN 架构（aKAN），通过使用**可重构非线性处理单元（RNPU）**直接在物质中实现可学习的边函数。

RNPU 器件： 核心原语是一种多端纳米级硅器件（具有八个电极的硼掺杂硅片）。通过对其电极施加特定的控制电压，器件的稳态输入-输出传输特性可以被连续调节，以逼近各种非线性函数。
边缘处理器（EP）： 为了提高表达能力和精度，多个 RNPU 在并行方式下组合在一个边缘处理器（EP）中。EP 通过对单个 RNPU 的缩放输出进行求和，从而形成一个复杂的、学习到的一元边函数。
架构： aKAN 由通过可编程开关矩阵互连的可重构 EP 阵列组成。输入变量被线性编码为电压，通过 EP（作为非线性映射）进行处理，并为后续层进行重缩放。该系统包括混合信号接口（DAC、ADC、跨阻放大器）以管理控制电压和读出电流。
训练与验证： 作者采用了一种混合工作流。他们首先使用代理模型（根据实验 RNPU 特性校准的数据驱动 MLP）在软件中训练网络，以确定最优控制电压和线性组合系数。随后，将这些参数转移到物理硬件中进行实验验证。由于当前测量约束（单器件设置），多 RNPU 网络通过时间复用进行评估，即由单个物理器件顺序模拟训练好的各个 RNPU。

核心贡献

硬件原生非线性： 本文展示了一种可扩展的物理计算原语，其中非线性边函数是通过可调的器件物理特性而非数字仿真来本质实现的。
可重构边缘处理器： 引入了 EP（聚合多个 RNPU），这使得能够逼近单个器件无法独立实现的复杂函数（例如贝塞尔函数）。
系统级分析： 作者对 aKAN 与数字定点 MLP 进行了全面的系统级比较，包括能量、硅面积和延迟的估算，并考虑了混合信号外围电路的开销。
剪枝与鲁棒性： 研究表明，aKAN 可以进行结构化剪枝（通过对 EP 增益进行 L1 正则化）以减少硬件利用率，同时保持性能。研究还表明该架构对器件间差异具有鲁棒性，即不同物理 RNPU 的异构组合不会降低逼近精度。

结果

函数逼近： 利用经过实验校准的模型和硬件测量，aKAN 成功逼近了复杂函数（正弦波、贝塞尔函数 $J_0(20x)$ ），其均方误差（MSE）达到 $\sim 10^{-2}$ 或更低。性能随每个 EP 中的 RNPU 数量增加而提升。
回归与分类： 在回归任务中，aKAN 的性能与软件 MLP 基准（带有 ReLU 或 tanh 激活）相当，且通常需要更少的训练参数。在二分类任务（Moons, Spirals, MAGIC, COD-RNA, Skin Segmentation）中，aKAN 达到了具有竞争力的准确率，有时比 ReLU-MLP 的参数量减少约 $\sim 5\times$ 。
硬件效率： 对于代表性工作负载（ $e^{\sin(\pi x_1) + x_2^2}$ $e^{s i n (π x_{1}) + x_{2}^{2}}$ ）的系统级估算表明：
- 能量： 每次推理约为 200 pJ，在达到相似误差水平时，相比于数字定点 MLP 实现了 >100 $\times$ 的降低。
- 面积： 估计的硅面积比数字基准降低了 >10 $\times$ 。
- 延迟： 端到端推理延迟约为 0.6 $\mu$ s。
- 注：作者明确指出，目前的能量消耗主要由混合信号外围电路（DAC、ADC、TIA）主导，而非 RNPU 核心本身。

意义
本文确立了 RNPU 作为可扩展、硬件原生非线性计算原语的地位。它指出模拟 KAN 架构是实现高能效、低延迟和低占用的神经网络硬件（特别是针对边缘推理）的一条现实路径。通过将设计范式从加速线性代法转向在物理基质中嵌入具有表达能力的非线性映射，这项工作为紧凑、低功耗的推理提供了一条途径，使非线性计算成为原生且可编程的。作者强调，尽管目前的系统受限于外围电路开销，但未来器件、电路与架构的协同设计可以进一步释放“智能物质”用于神经计算的潜力。