CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras
本文介绍了部署在英特尔 Loihi 2 神经形态硬件上的端到端持续学习系统 CLANE，该系统利用事件相机以高能效和低延迟识别并学习新的人类动作，在 THU E-ACT-50 数据集上实现了 70.4% 的准确率，同时显著优于传统的边缘 GPU 基线。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人识别人类手势，比如挥手、鼓掌或指点。通常，你会通过向它展示数千段视频来教学，而每次想添加一个新手势时，都需要重新训练整个系统。这就像每学会一个新单词，就重写整本字典来学习一门新语言。这种方法既缓慢、又耗能，还需要庞大的计算机“大脑”。
本文介绍了一种名为CLANE的新方法，用于教机器人，它速度更快、能耗极低，且直接在设备本身上运行。其工作原理可拆解为以下简单概念：
1. 眼睛：“事件相机”
普通相机就像老式胶片相机：即使没有任何物体在移动，它们仍每隔几分之一秒就拍摄一张完整画面。这会产生大量无用数据（例如一张静止墙壁的照片）。
CLANE 使用的是事件相机。你可以把它们想象成“运动感知之眼”。它们只在有变化时才会“看见”。如果一只手在挥手，相机只记录手部移动的那些像素。这就像在一个满是人的房间里，只有当人们有新话要说时才会开口，而不是大家不停地闲聊。由此产生的数据流稀疏而高效。
2. 大脑：“脉冲神经网络”
大多数人工智能“大脑”（深度学习）就像重型计算器，持续不断地进行数值运算。CLANE 使用的是脉冲神经网络（SNN）。
将 SNN 想象成一个神经系统。它的“神经元”并非持续计算，而是安静地等待，直到接收到特定信号（即“脉冲”）。当足够多的信号到达时，它们才会“发放”。由于事件相机仅在物体移动时发送信号，因此“大脑”只在必要时才会“苏醒”。这节省了巨大的能量。
3. 学习方式：“持续学习”
人工智能面临的最大挑战是灾难性遗忘。如果你教一个标准人工智能一个新技巧，它往往会因为覆盖旧记忆而忘记之前的技巧。
CLANE 采用持续学习。想象一位图书管理员，当新书到来时，他并不会扔掉旧书，而是为图书馆新增一个区域。CLANE 逐个在线学习新动作，而不会忘记它已经掌握的先前 38 个动作。它无需回看旧视频（即不需要“回放缓冲区”），从而进一步节省了内存。
4. 硬件："Loihi 2"
所有这些都在一种名为Intel Loihi 2的特殊芯片上运行。
- 标准计算机（GPU）：就像一条繁忙的高速公路，即使道路空旷，每辆车（数据）仍行驶在宽阔的道路上。它们功能强大，但消耗大量燃料（能量）。
- Loihi 2：就像由无数微小本地小径组成的网络。它只点亮有人行走的那条路径。由于它在数据“居住地”（芯片上）直接处理数据，无需将数据来回发送至巨大的存储库，因此其效率极高。
“魔法”附加组件
为了使这套系统能够处理随时间发生的动作，研究人员在 Loihi 2 芯片上添加了两个新工具：
- 时间聚合：这就像一个“计时员”，将几秒内来自移动手部的所有微小脉冲收集起来，并汇总成单一的“手势描述”。
- 归一化：这是一个“比例调节器”。该芯片必须发明一种它原本未设计用于执行的数学运算（除法），通过巧妙的捷径确保数据在学习前完美适配。
结果：“竞赛”
研究人员将 CLANE 与运行在强大边缘计算机（Nvidia Jetson Orin Nano）上的标准人工智能进行了测试。
- 准确率：CLANE 的准确率略低（约 70% 对比 73%），但仍然非常出色。
- 速度：CLANE 快了16 倍。
- 能耗：CLANE 的能耗降低了100 多倍。
核心结论
CLANE 证明，你可以构建一个机器人，它能在设备端实时学习新动作，且仅需当前技术所需电池功率的一小部分。这就像从一辆耗油巨大的卡车升级为一辆高度节能的电动自行车，它仍能承载重物，并专为增强现实（AR）和机器人技术所处的“始终在线”世界而设计。
注意：该论文严格将这些主张限定于该特定数据集上的动作识别。它并未声称该技术已准备好用于医疗用途、自动驾驶汽车或超出本实验范围的其他具体应用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。