Online Continual Learning on Intel Loihi 2 via a Co-designed Spiking Neural Network

本文介绍了CLP-SNN，这是一种在Intel Loihi 2上实现的协同设计脉冲神经网络，它通过打破传统的精度与效率权衡，实现了在线持续学习，其精度与基于重放的方法相当，同时相较于边缘GPU基线，能耗降低高达6,600倍，延迟降低113倍。

要点

想象一下，你正在教一台机器人在杂乱的房子里识别物体。在现实世界中，机器人并非只看一次猫就停止；它看到一只猫，然后是一只狗，接着是一把新类型的椅子，然后又看到一只猫，所有这些都发生在连续的流中。

大多数当前的人工智能系统就像为期末考试而学习的学生：他们死记硬背所有内容，然后被告知：“好吧，现在忘掉你学过的关于猫和狗的一切，只从椅子重新开始。”如果你试图在不重读旧笔记的情况下教他们新东西，他们往往会完全忘记旧内容。这被称为“灾难性遗忘”。

为了解决这个问题，工程师通常会让人工智能通过反复展示旧图片来进行“复习”。但这既缓慢又消耗大量电池电量，这对于依赖微型电池运行的机器人或健康监测仪等小型设备来说是个问题。

核心理念：类脑芯片
本文介绍了一种模仿生物大脑工作方式的新的人工智能训练方法，它在一种名为Intel Loihi 2的特殊计算机芯片上运行。与以大规模、缓慢批次处理数据的标准计算机不同，该芯片像神经系统一样工作：只有当新事件（即“事件”）发生时，它才会“苏醒”并开展工作。

作者创建了一个名为CLP-SNN（持续学习原型 - 脉冲神经网络）的系统。以下是其工作原理，使用简单的类比来说明：

1. “心理档案柜”（原型）

想象一下，人工智能并非试图记住每一张猫的照片，而是在其“脑海”中为每个类别保留几个“理想示例”或原型。

• 旧方法：当新图片出现时，人工智能会将其与它见过的每一张图片进行比较。这既缓慢，又需要庞大的资料库。
• CLP-SNN 方法：人工智能保留一个不断演变的猫的“心理草图”。当新图片到来时，它会问：“这看起来像我的猫草图吗？”如果是，它就稍微更新一下草图。如果不是，它就意识到：“这是新东西！”并为其创建一个新的草图。

2. “自我修正的笔”（学习规则）

通常，当你更新草图时，你必须擦掉整页并重画，以保持比例正确。这就像是一个需要大量能量和时间的全局“重归一化”步骤。

• 创新之处：作者发明了一种特殊的数学技巧（一种“自归一化规则”）。这就像拥有一支在你绘画时能自动调整墨水流量的笔。你无需停下来重画整页；随着你添加新细节，这支笔会自然地保持草图的平衡。这使得人工智能能够即时学习，就在行动发生的地方，而无需中央主管来检查工作。

3. “神经发生”（生长新神经元）

如果机器人看到了一个它从未见过的全新物体，比如“悬浮滑板”，会发生什么？

• 解决方案：该系统拥有一个“新奇度检测器”。如果其当前的档案柜中没有任何东西与新物体匹配，它就会触发神经发生。这就像机器人说：“我没有这个文件夹！让我们现在就为它建立一个新的文件夹和新的草图。”它按需扩展容量，就像人脑在学习新技能时生长出新的连接一样。

4. “静默图书馆”（稀疏性）

在普通计算机中，即使什么也没发生，灯也亮着，工人们也忙个不停。而在这个新系统（脉冲神经网络）中，工人们只有在“脉冲”（信号）发生时才会苏醒。

• 类比：想象一个图书馆，灯是关着的，图书管理员都在睡觉。一旦有人请求一本书（即一个脉冲），特定的图书管理员就会醒来，取走那本书，然后继续睡觉。由于该系统如此安静，且仅在需要时工作，因此它几乎不消耗能量。

结果：巨大的胜利

该团队在机器人视觉任务（从视频中识别物体）上测试了该系统。他们将 Loihi 2 芯片上的新系统与最佳标准计算机（如许多机器人中使用的 NVIDIA Jetson Orin Nano）进行了比较。

• 速度：Loihi 2 系统的速度快了 113 倍（0.33 毫秒对比 37 毫秒）。这就像蜗牛与赛车之间的区别。
• 能耗：Loihi 2 系统的能耗降低了 6,600 倍（0.05 毫焦耳对比 333 毫焦耳）。这就像比较点亮单个 LED 灯一秒所消耗的能量与运行一分钟微波炉所消耗的能量。
• 准确性：尽管速度如此之快且效率如此之高，但它学习得与那些缓慢且耗电的系统一样好，并且没有忘记之前学到的内容。

为什么这很重要

这篇论文表明，通过将类脑算法（CLP-SNN）与类脑硬件（Loihi 2）相结合，我们终于可以在小型、电池供电的设备上构建能够实时持续学习的人工智能。它打破了你必须在选择“聪明”（准确）和“高效”（快速/低功耗）之间二选一的旧规则。

作者已将软件代码公开，以便其他人能在此基础上构建，尽管实际的芯片硬件目前仅对与英特尔合作的研究人员可用。这项工作证明，“在线持续学习”——即边学边记、永不遗忘——不仅仅是梦想，而是未来边缘人工智能的切实现实。

技术摘要

技术摘要：通过协同设计的脉冲神经网络在 Intel Loihi 2 上实现在线持续学习

问题陈述

部署在边缘设备上的人工智能系统面临一个关键挑战：在线持续学习（OCL）的需求。服务机器人或健康监测仪等边缘系统必须在严格功耗和延迟约束下，实时适应非平稳数据流和未知类别，同时避免灾难性遗忘。

传统方法在此场景下因以下原因失效：

• 静态模型：预训练神经网络假设训练与部署分布相同的封闭世界，导致在开放世界环境中性能下降。
• 重训练限制：周期性重训练对于边缘平台而言速度过慢且功耗过高。
• 上下文学习：尽管前景广阔，大型语言和视觉模型需要云级资源和数 GB 内存，使其在能耗受限的边缘设备上不切实际。
• 当前 OCL 的不足：现有的 OCL 算法通常依赖大型回放缓冲区（违反内存约束）、密集梯度更新（违反局部性）或与神经形态硬件不兼容的全局归一化操作。

生物大脑通过元可塑性、神经发生、局部学习规则和异步事件驱动通信解决了这些问题。然而，将这些原则转化为工程实践一直难以实现，特别是在 Intel Loihi 2 等实际神经形态硬件上部署鲁棒的 OCL 算法方面。

方法论：CLP-SNN

作者提出了CLP-SNN，这是一种脉冲神经网络（SNN）架构，旨在 Intel Loihi 2 神经形态处理器上原生实现**持续学习原型（CLP）**算法。该系统经过协同设计，以利用硬件的事件驱动、稀疏和局部学习能力。

核心架构

CLP-SNN 由四个相互作用的神经元群体组成，以自定义微码编程的脉冲模型实现：

1. 输入神经元：无状态的分级脉冲中继器，用于传输特征向量。
2. 原型神经元：在其突触权重中存储类别原型。它们通过侧向抑制利用“赢者通吃”（WTA）机制进行竞争。
3. 新奇检测器：监控延迟窗口内原型脉冲的缺失，以触发新神经元的分配。
4. 调节器：充当神经状态机，路由反馈信号（奖励/惩罚）并触发神经发生。

关键算法创新

为了使 CLP 与 Loihi 2 兼容，作者引入了两项关键改进：

1. 自归一化三因子局部学习规则：
   原始 CLP 算法要求在每次更新后对权重向量进行显式的 $L_2$ 重归一化，这是一种违反神经形态芯片局部性原则的全局操作。作者在小学习率假设下，利用泰勒展开推导出了自归一化规则。

   • 更新规则为：$\Delta w = \alpha r (x - w y)$，其中 $x$ 是输入，$w$ 是权重，$y$ 是突触后激活（点积），$\alpha$ 是学习率，$r$ 是三因子调节信号。
   • 项 $-wy$ 充当局部乘法衰减，隐式地限制权重增长，消除了全局范数计算的需求。这使得完全片上学习成为可能，无需 CPU 干预。

2. 事件驱动神经状态机：
   系统将完整的 CLP 控制流（赢者选择、新奇检测、调节器反馈、学习门控、元可塑性和神经发生）实现为基于脉冲的状态机。

   • 首脉冲时间（TTFS）编码：具有更高余弦相似度的原型更早发放脉冲，从而实现异步赢者选择，无需显式的 argmax 操作。
   • 神经发生：当检测到新颖输入（无原型发放脉冲）时，按需分配新的原型神经元。
   • 元可塑性：根据推理正确性调整原型的 learning rate ($\alpha$)，以稳定成熟记忆并防止干扰。

主要贡献

1. 首个 Loihi 2 OCL 实现：这是第一项在 Loihi 2 上原生设计和部署在线持续学习的研究，并与传统边缘硬件进行了基准测试。
2. 硬件原生算法重构：自归一化学习规则的推导弥合了 CLP 算法与神经形态硬件约束之间的差距，移除了全局 $L_2$ 重归一化步骤。
3. 基于脉冲的控制流：在 Loihi 2 上将完整的 CLP 逻辑（包括新奇检测和神经发生）实现为自定义微码编程的状态机，实现了时空稀疏更新。
4. 跨平台基准测试：在 OpenLORIS 机器人视觉数据集上对 NVIDIA Jetson Orin Nano 进行了全面评估，分析了准确率、延迟和能效。

结果

实验在 OpenLORIS 数据集（40 个物体类别）上进行，采用严格的批量大小为 1 的 OCL 设置。

性能指标

• 准确率：CLP-SNN 在少样本实验中达到或超过了基于回放和非回放的基线（如 CLP、NCM、Replay、SLDA）的准确率。在 25 样本学习中，CLP-SNN 实现了**90.0%**的准确率，与 CLP 算法（93.0%）相当，优于 NCM（84.5%）和 Replay（91.6%）。
• 延迟：Loihi 2 上的 CLP-SNN 每次学习更新的延迟为0.33 毫秒，比最强的边缘 GPU 基线（Jetson Orin Nano 上的 SLDA，37.3 毫秒）低113 倍。
• 能耗：CLP-SNN 每次更新消耗0.05 毫焦耳，相比 SLDA 基线（333 毫焦耳）能耗降低了6,600 倍。

效率分解

作者将效率提升分解为两个因素：

1. 算法效率：由于原型更新计算更轻量，CLP 算法本身比标准 OCL 方法（如 SLDA）更高效。在同一 GPU 上，CLP 比 SLDA 快约 14.5 倍，能效高约 22.6 倍。
2. 神经形态协同设计：Loihi 2 的实现相比在 GPU 上运行的 CLP 算法，提供了额外约 7.8 倍的延迟改进和约 295 倍的能效提升。这归功于事件驱动学习和稀疏分级脉冲通信。

稀疏性分析

表征研究表明，学习的时间稀疏性（间歇性执行学习规则，例如每 20 个时间步执行一次）是主要的效率杠杆，与每时间步学习相比，将动态功耗降低了 3.5 倍，延迟降低了 20 倍。输入稀疏性也促使推理延迟降低了 28%。

意义与主张

该论文声称，协同设计的类脑算法与神经形态硬件可以打破边缘 AI 中传统的准确率 - 效率权衡。

• 边缘 OCL 的可行性：这项工作证明了在资源受限的边缘设备上实现无需重放的实时、高效持续学习是可行的，而这一能力此前一直难以企及。
• 超越帕累托前沿：CLP-SNN 打破了在常规硬件上观察到的帕累托前沿，以显著低于任何基线的延迟和能耗实现了高准确率。
• 可扩展性与可持续性：能效的大幅提升（高达 6,600 倍）表明了一条通往可持续 AI 系统的道路，能够减少边缘部署的碳足迹。
• 硬件 - 算法协同：结果强调，神经形态处理器不仅仅是更快的加速器，它们还实现了根本上不同、更高效的范式（局部的、事件驱动的、稀疏的），而这些范式在冯·诺依曼架构上无法高效复制。

作者指出了局限性，例如目前依赖固定特征提取器，以及在硬件上使用了简化的原型分配策略（使用的原型数量比完全自适应模拟多 2–3 倍）。然而，他们断言，对于完全自适应的实现，核心的能耗和延迟优势仍然有效。