🤖 machine learning

Chameleon: A Multiplier-Free Temporal Convolutional Network Accelerator for End-to-End Few-Shot and Continual Learning from Sequential Data

Chameleon 是一款 40-nm CMOS 加速器，通过利用统一架构和双模、无乘法器计算阵列，以极小的面积开销和超低功耗，在序列数据上实现了突破性的端到端少样本学习和持续学习。

原作者： Douwe den Blanken, Charlotte Frenkel

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Douwe den Blanken, Charlotte Frenkel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

学习的边缘：为什么你的设备需要“长大”

想象一下，你的智能手机或智能音箱是一个聪明但固执的学生。目前，它非常擅长回答在离开工厂前就在教室（云端）里学过的题目。但如果你让它识别一个你刚刚发明的词，或者一个因为你感冒而听起来略有不同的声音，它就会陷入僵局。它无法在工作中学习。为了解决这个问题，我们通常必须将你的数据传回云端的巨型服务器，重新训练模型，然后再传回。这既缓慢，又消耗电池，还会引发隐私担忧，因为你正在把个人秘密交给第三方。

“边缘人工智能”（Edge AI）的梦想是赋予这些设备在它们居住的地方实时学习的能力，而无需依赖云端。这就像是在你的客厅里教宠物一个新把戏，而不是把它送到城另一头的学校。挑战在于，这些设备体积微小、依靠电池运行，且内存极少。它们无法携带一座巨大的图书馆（模型），也无法进行学习所需的繁重数学运算。它们需要一种能够仅通过极少数示例（比如看到一次或两次新关键词）就能学习并永久记住的方法，同时还要像蜂鸟吸蜜一样节省电力。这正是开发“变色龙”（Charmed）芯片的研究人员试图解决的难题。

变色龙：微型设备的变形大脑

认识一下“变色龙”。它不是一种蜥蜴，而是一款旨在成为人工智能终极“变形者”的微芯片。在电子世界中，大多数芯片就像专门的工具：锤子擅长钉钉子，但不擅长拧螺丝。通常，你需要一个芯片负责“思考”（推理），而另一个完全不同、更大且耗电量更高的装置负责“学习”。本文的作者希望构建一种能够无缝兼顾两者的芯片，就像一把在增加新刀片时重量也不会增加的瑞士军刀。

“一站式”架构
团队面临的最大障碍是，学习通常需要大量的额外硬件。想象一下，试图在一棵小树屋里加建一座图书馆；屋顶会塌陷的。变色龙通过意识到学习和思考实际上是非常相似的过程，从而解决了这个问题。他们构建了一个统一的系统，使芯片使用完全相同的“肌肉”（硬件电路）来学习新任务和执行旧任务。

变色龙并没有需要一个单独、笨重的学习引擎，而是将学习视为思考过程中的一个普通步骤。他们通过一种巧妙的数学技巧实现了这一点，将“学习”步骤转化为芯片已经掌握的简单计算。结果如何？学习能力的加入仅增加了芯片体积的 0.5%。这就像是在你的背包里加了一个秘密隔层，虽然能装下整个学校图书馆，却不会让书包变得更重或更大。

长程记忆（TCN）
现实世界的数据（如你的声音或心跳）是随时间变化的。它是一个故事，而不是一张快照。大多数 AI 芯片都不擅长记忆长篇故事；当它们读到结尾时，往往已经忘了开头。为了解决这个问题，变ло龙使用了被称为“时间卷积网络”（TCN）的技术。

可以将 TCN 想象成一个带着超级放大镜的侦探。其他芯片可能只能观察过去几秒钟的音频（就像一句短句），而变色龙可以回溯查看长达 16,000 步的历史。这是一个巨大的飞跃。之前的芯片只能看到一个很小的窗口，迫使工程师先对音频进行压缩，这就像把一部小说挤压成一条推文，从而丢失了所有细节。变色龙的 TCN 可以直接阅读整部小说而不进行挤压，使其能够理解原始音频中的复杂模式。

无乘法魔法
变色龙最有趣的部分在于它是如何进行数学运算的。通常，AI 芯片就像不断进行数字乘法的计算器，这需要大量的能量和空间。变色龙决定完全停止乘法。相反，它使用“位移”（bit shifting），这就像是将小数点向左或向右移动。

想象你有一组电灯开关。与其计算要开启多少光亮（乘法），不如直接将开关滑动到一个新位置（位移）。这使得芯片可以在没有“乘法器”（计算机中最耗能的部分）的情况下运行。这种设计让变色龙可以在两种模式之间切换：

超低功耗模式： 它仅消耗 3.1 µW（微瓦）的功率，这微小到理论上可以用微型太阳能电池或震动驱动。在这种模式下，它非常适合全天候监听像“嘿 Siri”这样的关键词，而不会耗尽电池。
高速模式： 当它需要快速学习新任务时，它可以切换到高速档，运行速度比目前该领域最优秀的芯片快 4.3 倍。

芯片实际表现如何
研究人员不仅制造了芯片，还在现实世界中进行了测试。他们使用标准的 40 纳米制造工艺（现代芯片的常见尺寸）制造了变色龙。

从零学习： 他们在名为 Omniglot 的数据集上进行了测试，该数据集包含来自不同字母表的数千个手写字符。变色龙在仅看 一次或五次示例（shot）后，就能学会识别新字符。它在 1-shot 学习中达到了 96.8% 的准确率，在 5-shot 学习中达到了 98.8% 的准确率。这是此类完全脱离云端辅助的芯片所创下的新纪录。
永不遗忘： 他们还测试了“持续学习”，即芯片随着时间的推移逐一学习 250 个不同的类别。在学习完所有 250 个类别后，它仍然能以 82.2% 的准确率记住它们。这证明了该芯片不仅能学习新事物，还能保持旧有的记忆完整。
聆听原始音频： 最后，他们在 Google Speech Commands 数据集上进行了测试。在“超低功耗”模式下，它能以 3.1 µW 的功耗正确识别 12 种不同的语音命令（如“是”、“否”、“上”、“下”），准确率为 93.3%。更令人印象深刻的是，它在处理原始、未经处理的音频（无需单独的特征提取器）时，仍能达到 86.4% 的准确率，证明了其处理长且复杂的声波的能力。

它不是什么
需要注意的是，变色龙并不是一种可以瞬间学会任何东西且无需任何努力的魔杖。它仍然需要一个预训练模型作为起点；它并非从绝对的虚无中学习。它也不会取代云端处理所有事务；对于大规模、复杂的任务，云端仍然是王者。然而，对于在电力有限的微型设备上学习新小型任务这一特定工作，变色龙展示了一条新的路径。

作者是在他们制造的物理芯片上测量了这些结果，而不仅仅是在计算机模拟中。他们表明，通过结合统一的学习架构、长程记忆系统（TCN）和无乘法设计，拥有一个能够即时学习、拥有长久记忆并在极低功耗下运行的设备是完全可能的。这是迈向未来的一步——在那个未来，你的设备不仅了解你，而且能与你共同成长。

技术摘要：Chameleon —— 一种无乘法器的时序卷积网络加速器

问题陈述

深度学习模型在资源受限的边缘设备上的部署受到无法进行部署后适应能力的阻碍。目前的边缘 AI 设备依赖于预训练模型，无法处理新兴特征或数据分布偏移，从而导致长期鲁棒性降低。虽然云端托管重训练提供了一种解决方案，但它引入了延迟、隐私担忧和连接依赖问题。相反，片上训练面临着重大挑战：

效率与性能的权衡： 支持误差反向传播的加速器往往会牺牲推理效率，而简化的学习算法则难以达到准确率目标。
序列数据局限性： 现有的少样本学习（FSL）和持续学习（CL）加速器主要针对静态图像数据。它们缺乏处理序列数据（例如 16–48 kHz 的原始音频）的能力，也无法处理跨越多个数量级的时序依赖关系，而不使用增加面积开销的高昂特征提取（如 MFCC）。
可扩展性： 当前的片上 FSL 设计通常需要外部存储器来存放模型参数，依赖于片外浮点嵌入，或者在为推理流水线添加学习能力时产生显著的面积和功耗惩罚（例如 25% 的面积开销、2 倍的峰值功耗增加）。

方法论

作者提出了 Chameleon，这是一种旨在实现可扩展、端到端片上 FSL 和 CL 的系统级芯片（SoC），且不会降低推理性能。该架构集成了三个核心技术创新：

1. 统一的学习与推理架构

Chameleon 将原型网络（Prototypical Networks, PNs）重新构架为等效的全连接（FC）层，以统一学习与推理。

机制： 系统不执行梯度下降，而是通过对支持嵌入（support embeddings）取平均值来计算类别原型。查询（query）与这些原型之间的距离计算被数学化地重构为 FC 层操作（ $D^2_j \propto b_j + W_j \cdot x$ ）。
实现： 这使得学习过程可以复用现有的推理数据通路、存储库和处理单元（PEs）。一个专门的“学习控制器”和“原型参数提取器”负责管理将原型转换为权重和偏置的过程。
持续学习： 通过将新的原型（权重/偏置）存储在与推理相同的存储结构中来添加新类别，从而以极小的开销实现持续学习（CL）。

2. 高效的长上下文时序卷积网络（TCNs）

为了处理像原始音频这样的序列数据，Chameleon 采用 TCNs 作为高效的嵌入器，因为与 RNN 和 Transformer 相比，TCNs 具有更优越的参数效率和内存扩展性。

贪婪扩张感知执行（Greedy Dilation-Aware Execution）： 为了解决空洞卷积（dilated convolutions）带来的内存复杂度问题，作者引入了一个专门的网络地址生成器。该单元以贪婪方式处理 TCN 图，跳过由扩张引起的零值激活。这使激活内存的扩展从相对于感受野的线性增长降低到了对数增长（ $O(\log_2 n)$ ）。
残差处理： 一个双端口寄存器堆管理残差连接，允许在几乎没有延迟的情况下同时进行读写，消除了先前研究中复杂的多缓冲方案的需求。
流式处理： 该架构支持长序列（高达 16,000 个时间步）的流式推理，无需预加载整个序列，从而实现了对原始音频的直接处理。

3. 双模态无乘法器计算阵列

PE 阵列利用独特的量化方案来消除乘法器，从而减少面积和功耗。

Log2 量化： 权重被量化为 4 位有符号 log2 值。这在 PEs 内部用位移操作取代了乘法运算。
双模态操作： 16×16 的 PE 阵列是可重构的。
- 4×4 模式： 针对低泄漏、实时推理（例如关键词检索/Keyword Spotting）进行了优化。未使用的 MSB 存储库被功率门控，剩余的 LSB 存储库被虚拟堆叠以支持权重存储。
- 16×16 模式： 针对高吞吐量学习和大尺寸 DNN 嵌入器进行了优化。
无乘法器学习： 原型参数提取逻辑也被适配到 log2 域，使得整个 FSL/CL 流水线可以在没有乘法器的情况下运行。

关键结果

Chameleon 芯片采用 TSMC 40-nm CMOS 工艺制造（总面积 1.25 mm²，核心面积 0.83 mm²）。

少样本学习与持续学习（Omniglot 数据集）

准确率： Chameleon 刷新了端到端片上 FSL 的纪录：
- 5-way 1-shot：96.8%
- 5-way 5-shot：98.8%
- 20-way 1-shot：89.1%
- 20-way 5-shot：96.1%
持续学习： 它展示了第一个可扩展的端到端片上 CL，能够学习 250 个类别（每类 10 个 shot），最终准确率为 82.2%，平均准确率为 89.0%。
效率： 学习一个新类别仅产生 0.5% 的面积开销 和 0.02% 的额外延迟（相对于推理逻辑）。每个 shot 的能量消耗约为 6.84 µJ。

关键词检索（Google Speech Commands V2）

基于 MFCC 的推理： 在 4×4 模式下，Chameleon 实现了 93.3% 的准确率，实时功耗为 3.1 µW。
原始音频推理： 在 16×16 模式下，它可以直接处理 16 kHz 原始音频（无需 MFCC 预处理），准确率为 86.4%，功耗为 59.4 µW。这比之前的端到端 KWS 加速器拥有大 160 倍的感受野。
吞吐量： 16×16 模式实现的峰值吞吐量为 76.8 GOPS，比最先进的（SotA）KWS 加速器高出 4.3 倍。

与最先进技术的比较

FSL： Chameleon 的准确率比现有的硅基 FSL 加速器（如 FSL-HDnn, SAPIENS）高出多达 16 个百分点，同时使用的网络规模小了 7.6–126 倍，且完全适配片上。它避免了竞争对手所使用的超维计算（HDC）编码带来的 120% 功耗开销。
CL： 不同于以往仅限于 ~25–32 个类别或需要片外嵌入的先前工作，Chameleon 完全在片上支持 250 个类别，且内存开销极小（每类 26 字节）。
KWS： 它达到了 SotA 基于 MFCC 的加速器的准确率（93.3%），但功耗低 2 倍，且峰值 GOPS 比特定基准测试高出 600 倍。

重要性与主张

论文声称 Chameleon 是第一个能够在顺序数据上实现端到端片上 FSL 和 CL 的可扩展 SoC，且不会损害推理的准确性或效率。其重要性在于：

统一架构： 成功地将学习集成到推理流水线中，且开销极小（0.5% 面积），证明了边缘设备可以在无需单独、高能耗学习模块的情况下实现持续适应。
序列数据处理： 展示了第一个在成熟序列基准测试（作为序列数据的 Omniglot 以及 GSCv2 原始音频）上具有竞争力的片上 FSL/CL，克服了以往侧重于静态图像数据的历史局限。
极边缘效率： 为实时推理实现了超低功耗（3.1 µW），同时保持了高吞吐量（76.8 GOPS），这得益于其无乘法器、双模态的 PE 阵列。
可扩展性： 为极边缘设备上的终身学习建立了基准，能够在严格的功耗和面积预算内，支持数百个类别和长时序上下文（16k 步）。