MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor

想象一个你的设备无需拍照就能“看见”你的世界。这就是 TinyML 的领域——这是一个致力于将智能、学习算法挤进那些极其微小且极度耗能的设备中的科学分支。通常情况下，为了让计算机学习新事物（比如识别一种新的手势），它需要连接到云端一个庞大且强大的服务器。这就像是你每想学一个新词都要给一位超级智能的图书管理员寄一封信；这既费时、费能，又需要持续的网络连接。但如果你的设备能就在原地、仅利用极小的内存和电力就能自主学习呢？这就是**设备端学习（on-device learning）**的挑战。其目标是创造出能够适应新环境或学习新技巧的传感器，而无需插在互联网上或被沉重的计算任务耗尽电量。核心理念是让传感器的“大脑”变得如此高效，以至于它可以瞬间更新自己的知识，并通过从不向外发送数据来保护隐私。

MAUPITI 正是一个实现了这一目标的聪明小巧的智能传感器。你可以把 MAUPITI 想象成一个由 16 x 16 热感像素（红外阵列）和一个超高效微控制器组成的、注重隐私的小型安全卫士。它不是拍摄可能泄露你身份的高分辨率照片，它看到的只是人类及其动作的温暖、模糊的轮廓。研究人员解决的大问题是：如何在传感器制造完成后，教它识别新的姿势或手势，而不需要将数据发送到云端，也不需要消耗其微小的内存。

论文介绍了一种称为**基于原型学习（prototype-based learning）的方法。想象一下，你正在试图教机器人识别不同种类的水果。与其向它展示成千上万张苹果和橙子的图片并强迫它记住每一个细节（这类似于大型 AI 使用的沉重“反向传播”方法），你只需给它展示一个完美的“原型”苹果和一个完美的“原型”橙子。当一个新的水果出现时，机器人只需询问：“这个看起来更像我的苹果原型，还是更像我的橙子原型？”这就是最近类均值（Nearest Class Mean, NCM）**方法。MAUPITI 传感器使用一个小型、预训练好的“编码器”（一个将热感形状转化为简单数字的翻译器），然后为每种姿势或手势存储这些简单的“原型”。

奇迹就在这里：当传感器需要学习一个新姿势时，它不需要重新训练它的整个大脑。它只需计算出新姿势的平均形状，并将其作为一个新的原型进行存储。论文表明，这种方法在 MAUPITI 硬件上的表现非常出色。在针对两个不同数据集（一个用于识别五种人体姿势，如站立或举手；另一个用于识别九种手势，如握拳或“夏威夷握拳礼”）的测试中，该传感器的准确率几乎与传统的、重型的方法不相上下。

研究人员发现这种方法效率极高。该传感器的总内存仅有 32 kB（16 kB 用于指令，16 kB 用于数据），与智能手机相比微乎其微。然而，通过使用这个原型系统，它只需极少的示例（哪怕只有一个也可以，但四个效果最好）就能学习新类别，并且更新内存所需的时间不到做出决策总时间的 0.29%。这意味着传感器可以实时学习新手势，几乎没有延迟。

至关重要的是，论文排除了“必须将数据发送到云端”或“使用复杂的、耗费内存的‘回放缓冲区’（即设备保存旧照片以便日后重新学习）”才能有效学习的观点。他们证明了你可以完全跳过“反向传播”（这是标准且耗能的 AI 训练方式）这种繁重的过程。相反，通过简单地更新新形状的“平均值”，传感器可以保持快速、私密且具有适应性。这项研究证实，这种“智能传感器”可以独立处理持续学习，使其成为未来保护隐私、能在你的口袋里或墙上不断进化的设备的强大工具。