KANELÉ: Kolmogorov-Arnold Networks for Efficient LUT-based Evaluation

本文提出了 KANELÉ 框架，通过利用 Kolmogorov-Arnold 网络（KAN）的样条特性并结合量化与剪枝技术，实现了在 FPGA 上基于查找表（LUT）的高效部署，从而在显著降低资源消耗和延迟的同时，实现了高达 2700 倍的速度提升及在符号与物理任务中的优异性能。

要点

这篇论文介绍了一个名为 KANELÉ 的新框架，它的核心目标是让一种叫做 KAN（柯尔莫哥洛夫 - 阿诺德网络） 的先进人工智能模型，能在 FPGA（一种可编程的硬件芯片，常用于需要极速反应和低功耗的场景，如自动驾驶、机器人）上跑得飞快且省电。

为了让你轻松理解，我们可以把这项技术想象成**“从笨重的计算器到乐高积木的进化”**。

1. 背景：为什么我们需要 KAN？

传统的 AI 模型（叫 MLP）像是一个巨大的、死板的计算器。

• 工作方式：它把输入数据扔进去，经过一层层复杂的数学运算（乘法和加法），最后得出结果。
• 缺点：在硬件上实现时，这种“乘法”非常消耗资源，就像你要用笨重的石头去砌墙，既慢又费力气。

而 KAN 是新一代的 AI 模型，它的灵感来自一个古老的数学定理。

• 工作方式：它不依赖复杂的乘法，而是把大问题拆解成很多个简单的一维小问题，然后把这些小问题的答案加起来。
• 比喻：想象你要做一道复杂的菜（预测结果）。传统 AI 是试图一次性把所有调料混合搅拌（复杂的矩阵乘法）；而 KAN 是先把每种调料单独尝一下味道（一维函数），然后决定加多少，最后把它们倒进同一个碗里混合（加法）。

2. 核心难题：KAN 在硬件上很难跑

虽然 KAN 理论上很聪明，但之前的尝试发现，在 FPGA 芯片上运行它非常慢且昂贵。

• 原因：KAN 里的“尝味道”步骤（数学上叫样条函数）需要实时计算，这就像让厨师在客人点菜时现场切菜、称重、计算，太慢了。
• 旧结论：以前的研究甚至说，在 FPGA 上跑 KAN 是不切实际的。

3. KANELÉ 的解决方案：把“计算”变成“查表”

KANELÉ 团队想出了一个绝妙的办法：既然算得慢，那我们就把答案提前算好，存起来！

比喻：从“现场做菜”到“预制菜菜单”

• 以前的做法（现场计算）：厨师（芯片）每次都要根据输入（食材）现场计算怎么切、怎么炒。这很慢。
• KANELÉ 的做法（查表/LUT）：
  1. 训练阶段：我们在电脑里先把所有可能的“食材组合”对应的“味道”都算出来，写进一本**厚厚的菜单（查找表，LUT）**里。
  2. 部署阶段：当芯片工作时，它不需要计算了，只需要看菜单。
     • 输入是“土豆”？ -> 查表 -> 得到“咸味”。
     • 输入是“牛肉”？ -> 查表 -> 得到“鲜味”。
     • 最后把“咸”和“鲜”加在一起，就是最终味道。

在 FPGA 芯片上，这种“查表”操作是瞬间完成的，而且极其省电。KANELÉ 把 KAN 模型里的每一个函数都变成了这种“查表”操作。

4. 三大创新点（KANELÉ 为什么厉害？）

A. 像“剪枝”一样修剪模型（Pruning）

• 传统 LUT 网络的痛点：以前的查表网络像是一串连环锁。如果你剪掉其中一环（删掉一个表），整个链条就断了，模型就废了。
• KANELÉ 的优势：因为 KAN 是加法结构（把各个小味道加起来），如果你发现某个“调料”（比如某种样条函数）对味道没什么贡献，你可以直接把它扔掉，剩下的调料加在一起依然能做出好菜。
• 效果：这让模型变得非常精简，只保留最有用的部分，就像把一棵大树修剪成盆景，既美观又省空间。

B. 极速与省电（Performance）

• 速度：因为不需要复杂的乘法，只需要查表和加法，KANELÉ 的速度比之前的 KAN 实现快了 2700 倍！
• 资源：它几乎不需要占用芯片上昂贵的“乘法器”或“大内存”，只用了最基础的“查找表”资源。资源消耗减少了 4000 倍以上。
• 比喻：以前跑 KAN 像是开着一辆满载货物的重型卡车（消耗巨大），现在 KANELÉ 把它变成了一辆电动滑板车，轻便、极速，还能在狭窄的街道（低功耗设备）上穿梭。

C. 万能工具箱（Versatility）

• 作者不仅用它做分类任务（比如识别图片），还用它做实时控制（比如控制机器人奔跑）。
• 案例：在让机器人“半机械猎豹”奔跑的任务中，KANELÉ 用只有 1/5 参数的模型，就比传统的庞大模型跑得更快、更稳，而且反应时间极短（纳秒级），非常适合需要瞬间反应的机器人或自动驾驶。

5. 总结：这意味什么？

这篇论文就像是为 AI 硬件设计带来了一场**“化繁为简”的革命**。

• 以前：大家认为 KAN 这种聪明的数学模型太“娇气”，只能在强大的电脑服务器上跑，进不了手机或芯片。
• 现在：KANELÉ 证明了，只要把 KAN 的“计算逻辑”翻译成 FPGA 最擅长的“查表语言”，它就能变得既快又省。

一句话总结：
KANELÉ 就像是一个超级翻译官，它把复杂的数学公式翻译成了芯片能瞬间理解的“查表指令”，让原本笨重缓慢的 AI 模型，变成了在 FPGA 芯片上轻如鸿毛、快如闪电的实时智能引擎。这对于未来的机器人、自动驾驶和边缘计算设备来说，是一个巨大的飞跃。

技术摘要

KANELÉ：基于查找表的高效 Kolmogorov-Arnold 网络 FPGA 推理技术总结

1. 研究背景与问题 (Problem)

背景：
在 FPGA 上实现低延迟、资源高效的神经网络推理对于实时应用至关重要。传统的查找表（LUT）神经网络（如 NeuralLUT、TreeLUT 等）通过将算术运算替换为预计算的 LUT 查找，在 FPGA 上取得了显著的性能提升。然而，现有的 LUT 架构大多局限于监督学习和特定任务，且通常基于多层感知机（MLP）的变体。

核心问题：
Kolmogorov-Arnold 网络（KANs）作为一种新兴架构，利用可学习的单变量样条函数替代 MLP 中的固定激活函数和矩阵乘法，在数学表达性和可解释性上具有优势（基于 Kolmogorov-Arnold 表示定理）。然而，KAN 在 FPGA 上的实际部署面临巨大挑战：

1. 硬件实现困难： 之前的研究（如 Tran et al. [41]）认为 KAN 在 FPGA 上不可行，因为样条函数评估昂贵且资源消耗巨大（大量使用 BRAM 和 DSP 块）。
2. 缺乏系统化的设计流程： 缺乏针对 FPGA 优化的 KAN 训练、量化、剪枝及硬件映射的完整工具流。
3. 效率瓶颈： 现有的 KAN 硬件实现延迟高、资源占用大，无法与传统的 LUT 神经网络竞争。

2. 方法论 (Methodology)

作者提出了 KANELÉ 框架，这是一个专为 FPGA 部署设计的软硬件协同设计流程，旨在将 KAN 高效地映射到 FPGA 的查找表（LUT）原语上。

2.1 核心架构设计

• 基于 LUT 的 KAN 表示： 利用 KAN 的“激活函数中心化”特性。KAN 中的每个可学习激活函数 $\phi(x)$ 被定义为固定域上的 B-样条（B-spline）线性组合。由于输入域是固定的，这些函数可以直接被量化并转换为查找表（LUT）。
• 加法结构： KAN 的节点执行加法操作，这与 FPGA 的加法器树天然契合。每个 LUT 独立贡献于求和，使得剪枝变得自然且易于硬件实现。

2.2 量化感知训练与剪枝 (QAT & Pruning)

• 量化感知训练 (QAT)： 使用 AMD Brevitas 库进行训练。在输入和每层输出处插入量化器，使模型适应 FPGA 的有限精度（如 2-8 位）。训练过程中使用直通估计器（STE）来近似量化梯度。
• 基于范数的剪枝： 利用 KAN 的加法独立性，计算每个连接（边）的样条分量在输入域上的 $L_2$ 范数。
  • 如果范数低于动态阈值，则将该连接（即对应的 LUT）完全移除。
  • 这种剪枝方式不会破坏模型结构，因为移除一个加数项不会像移除 MLP 中的节点那样导致后续层索引断裂。

2.3 自动化软硬件协同设计流程

KANELÉ 提供了一套自动化工具流，从 PyTorch 训练好的模型直接生成 FPGA 比特流：

1. 训练与优化： 在 PyTorch 中完成 QAT 和剪枝。
2. 逻辑 LUT 转换： 将存活连接映射为逻辑查找表（Logical-LUTs），生成真值表（JSON 格式）。
3. RTL 生成： 自动生成 VHDL 代码，包括 KAN 核心、LUT 实例化模块、平衡的加法器树（用于减少关键路径延迟）以及流水线寄存器。
4. 综合与布局布线： 使用 Vivado 进行综合，目标芯片包括 Xilinx UltraScale+ 系列。

2.4 流水线策略

• 加法器树流水线： 在每个神经元内部，使用多级流水线加法器树来累加多个 LUT 的输出，避免长组合逻辑路径，从而支持高时钟频率（>800 MHz）。
• 层间流水线： 在层与层之间插入寄存器，隔离 LUT 评估、求和和激活过程，进一步平衡延迟。

3. 主要贡献 (Key Contributions)

1. 首个 FPGA 专用的 KAN 架构 (KANELÉ)：

   • 提出了完全基于 LUT 的 KAN 实现，彻底消除了对 BRAM 和 DSP 块的依赖。
   • 相比之前的 KAN FPGA 设计，延迟降低了高达 2700 倍，资源使用量减少了 4000 倍 以上。

2. 高性能实现与剪枝机制：

   • 利用 KAN 的加法独立性，实现了自然且高效的硬件剪枝，解决了传统 LUT 神经网络难以剪枝的痛点。
   • 在大多数基准测试中维持了 800 MHz 以上 的时钟频率，并在 Area×Delay 指标上达到了最先进水平。

3. 开源自动化框架：

   • 发布了端到端的工具流，可在几秒钟内将 KAN 模型编译为优化的 FPGA 实现，支持生物学、物理、视觉、信号处理等多个领域的可复现研究。

4. 实时控制系统扩展：

   • 将 KANELÉ 扩展到强化学习控制领域（HalfCheetah 基准）。
   • 证明了量化后的 KAN 策略（参数比 MLP 少约 5 倍）能获得更高的奖励，且延迟极低，适用于资源受限的实时控制。

4. 实验结果 (Results)

4.1 基准测试对比

• LUT 神经网络基准 (JSC CERNBox, JSC OpenML, MNIST)：

  • 在 JSC CERNBox 上，KANELÉ 达到了 75.1% 的准确率，与 NeuralLUT 持平，但使用的 LUT 数量减少了 18 倍，资源消耗降低了两个数量级。
  • 在 JSC OpenML 上，KANELÉ 仅用 1232 个 LUT 就达到了 76.0% 的准确率，是其他模型中资源使用最少的。
  • 在 MNIST 上，虽然准确率（96.3%）略低于某些专用架构（如 DWN 的 97.8%），但其资源效率极高，LUT 使用量比 PolyLUT 少 20 倍以上。
  • 结论： KANELÉ 在复杂任务（特别是涉及符号或物理公式的任务）上表现最佳，Area×Delay 产品最优。

• 与 prior KAN-FPGA 工作对比：

  • 在 Moons, Wine, Dry Bean 数据集上，KANELÉ 相比 Tran et al. [41] 的工作，LUT 使用量减少了 4000 倍 以上（例如 Dry Bean 从 167 万 LUT 降至 402 LUT），延迟从 18,960 ns 降至 7.1 ns。

• MLPerf Tiny (ToyADMOS)：

  • 在异常检测任务中，相比 hls4ml，KANELÉ 减少了 41.7% 的 LUT 和 71.4% 的 FF，吞吐量提高了 330 倍，单次推理能耗降低了 9840 倍。

4.2 强化学习控制 (HalfCheetah)

• 在 HalfCheetah 环境中，8 位量化的 KAN 策略（仅 1020 个参数）取得了 2762.2 的平均回报，优于 5 倍参数量的量化 MLP（1558.8）和全精度 KAN。
• 硬件部署显示，KAN 实现了 4.5 ns 的超低延迟，而同等精度的 MLP 甚至无法在目标 FPGA 上完成综合（资源溢出）。

5. 意义与影响 (Significance)

1. 范式转变： 本文证明了 KAN 并非不适合硬件，相反，其基于样条和加法的结构天然契合 FPGA 的 LUT 架构。KANELÉ 将 KAN 从“计算密集型”转变为“逻辑配置型”，彻底改变了 KAN 在硬件加速领域的认知。
2. 资源效率的突破： 通过消除对 DSP 和 BRAM 的依赖，KANELÉ 使得在资源极度受限的嵌入式 FPGA 上部署复杂的非线性函数近似成为可能。
3. 实时控制的新选择： 在机器人、等离子体稳定、自适应光学等需要微秒级延迟和极低功耗的领域，KANELÉ 提供了一种比传统 MLP 更高效、更紧凑的解决方案。
4. 可解释性与硬件的融合： KAN 的可解释性（基于样条）与 FPGA 的高效性相结合，为构建既透明又高效的边缘 AI 系统开辟了新路径。

综上所述，KANELÉ 不仅解决了 KAN 在 FPGA 上部署的长期难题，还展示了其在资源受限、高实时性场景下的巨大潜力，是神经网络架构与硬件协同设计领域的重要进展。