🤖 AI

TinySSL: Distilled Self-Supervised Pretraining for Sub-Megabyte MCU Models

本文介绍了 CA-DSSL，这是一种由教师引导的自监督学习框架，它克服了特定的扩展障碍，使得参数量低于 50 万的微控制器模型能够进行有效预训练，在无需标签的情况下，于 CIFAR-100 上实现了最先进的线性探测准确率，并在 Pascal VOC 上取得了显著的检测性能提升。

原作者： Bibin Wilson

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bibin Wilson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个微小的、电池供电的智能传感器——就像一种用于监视森林中野生动物或检查工厂机器故障的设备。这个设备极其小巧且功能有限。它拥有极少的内存（就像一个小记事本），其处理器的速度远低于你的智能手机。

多年来，教导计算机“看”的最佳方法依赖于庞大、强大的超级计算机和海量数据集。但这些方法对于这些微小设备来说过于沉重。如果你试图在这个微小设备上运行标准的“自学习”计算机视觉方法，它会彻底失败。这就像试图通过给一个幼儿一本他们无法阅读的巨大、复杂的烹饪书来教他们成为主厨；他们只会放弃。

本文介绍了TinySSL，一种教导这些微小设备如何“看”的新方法，它使用了一种名为CA-DSSL的技术。以下是其工作原理，使用简单的类比说明：

问题：“沉重的背包”

教导人工智能的标准方法（如 SimCLR 或 BYOL）依赖于学生模型携带一个包含额外参数（数学权重）的“背包”来辅助学习。

问题所在： 对于只有 40 万个“脑细胞”（参数）的微小设备来说，这些标准背包太重了。事实上，背包本身往往比学生的“大脑”还要大！
结果： 设备被这个背包压得喘不过气，以至于停止学习任何有用的东西。它崩溃成一种只会随机猜测的状态。

解决方案：“主厨”与“学徒”

作者提出了一种新系统，在这个系统中，微小设备（学徒）不必独自解决所有问题。相反，它向一位主厨（一个名为 DINO ViT 的庞大、强大的人工智能模型，它已经是专家）学习。

主厨（教师）： 这是一个巨型人工智能模型，已经学会了完美地观察世界。它位于云端的强大计算机上。它不需要存在于微小设备上；它仅在训练阶段提供帮助。
学徒（学生）： 这是最终将运行在微控制器上的微小模型（39.6 万个参数）。
课程： 主厨向学徒展示一张图片，并说：“这就是猫的样子。”学徒尝试模仿这种理解。由于主厨非常聪明，学徒的学习速度和效率远高于独自学习。

使其生效的三个特殊技巧

为了在如此小的设备上实现这一目标，作者添加了三个特定的“技巧”：

量身定制的帽子（容量感知头部）：
标准方法强迫微小的学生戴上一顶巨大的帽子（一个大型投影头），这太重了。作者设计了一顶完美贴合微小学生头部的“帽子”。它轻便且合身，因此学生不会被压垮。
学习细节，而不仅仅是大局（多尺度蒸馏）：
通常，主厨只教学徒“大局”（例如，“那是一只猫”）。但对于在杂乱的房间中寻找特定物体的任务，你需要知道事物在哪里。作者教导学徒在不同缩放级别上模仿主厨对细节和空间布局的理解。这有助于微小设备擅长识别物体，而不仅仅是分类它们。
温和的训练计划（渐进式课程）：
如果你把一个初学者扔进风暴中，他们会溺水。标准方法通常立即将微小设备扔进“强”数据增强（扭曲、模糊或裁剪的图像）中。
- 修正方案： 作者制定了一个三步计划。
  - 第一阶段： 向学生展示清晰、简单的图像。
  - 第二阶段： 添加一点扭曲。
  - 第三阶段： 引入充满扭曲的完整风暴。
    这允许学生在面对困难内容之前建立坚实的基础，防止其崩溃。

结果：虽小却强

团队在标准微小设备（MobileNetV2）上使用包含 100 种图像类型的数据集（CIFAR-100）对此进行了测试。

旧方法： 标准方法完全失败，表现不优于随机猜测（准确率约为 4-5%）。
新方法（TinySSL）： 微小设备达到了62.7% 的准确率。
对比： 这几乎与使用人工标签训练的设备一样好（这是“黄金标准”，但需要人类为每张照片进行标注）。它也显著优于其他“自学习”方法。

为何这很重要

最重要的部分发生在训练之后。

一旦微小设备完成训练，“主厨”就被丢弃了。
设备仅保留微小的、轻量级的模型（大小约为 378 KB）。
它在设备上运行，零额外成本。它不需要互联网或云连接即可工作。

总之： 本文展示了如何通过让微小、低功耗的计算机跟随一位巨型专家，使用量身定制的学习工具和温和的训练计划来教导其“看”东西。它将一个曾经盲目的设备转变为一个能够高精度识别物体的设备，同时仍能容纳在微芯片的微小内存中。

技术摘要：TinySSL (CA-DSSL)

问题陈述

本文解决了微控制器（MCU）级模型在自监督学习（SSL）方面的关键空白，此类模型通常参数量少于 50 万，内存占用低于 1MB。虽然 SSL 已彻底改变了大规模模型（如 ResNet-50、ViT-B）的表征学习，但标准方法在 MCU 规模下会灾难性失效。作者识别出微小骨干网络存在的三种具体失效模式：

投影头主导：标准 SSL 投影头（如 2048 维 MLP）的参数量往往超过整个学生骨干网络，导致优化过程聚焦于投影头而非特征提取器。
表征瓶颈：微小骨干网络（例如 MobileNetV2-0.35×，最终阶段约 112 个通道）缺乏编码标准对比或非对比目标所需的细粒度不变性的能力。
增强敏感性：对大型模型有益的强大数据增强，会在训练早期压倒微小网络，导致表征崩溃。

因此，像 BYOL 和 DINO 这样的标准 SSL 方法在 MCU 上会崩溃至接近随机性能，而像 SimCLR 这样的对比方法则表现显著不佳。

方法：CA-DSSL

作者提出了容量感知蒸馏自监督学习（CA-DSSL），这是一种专为亚兆字节模型设计的教师引导框架。其核心洞察是利用一个大型、冻结的教师网络将学到的表征压缩至微小学生网络，从而绕过学生网络独立发现不变性的需求。

架构与组件

学生骨干网络：MobileNetV2-0.35× 模型（39.6 万参数）。
教师网络：冻结的 DINO ViT-S/16（2200 万参数），仅在预训练期间使用，部署时丢弃。
容量比例投影：CA-DSSL 不使用庞大的 MLP 头，而是使用单个线性层（ $W_p$ ）将特征投影到 256 维，仅增加约 32.8 万参数（与骨干网络成比例）。第二个线性层（ $W_a$ ）将学生投影与教师的 CLS 标记维度（384）对齐。
多尺度特征蒸馏（MSFD）：为了保留对下游检测至关重要的空间信息，该方法在三个骨干阶段蒸馏特征，通过 $L_2$ 归一化的均方误差对齐学生和教师的空间标记。
渐进式增强课程：为防止早期崩溃，增强强度在 100 个 epoch 中分三个阶段（温和 $\to$ 中等 $\to$ 完整）逐渐增加。

损失函数

总损失由三项组成（默认权重 $\lambda_{ms}=0.5, \lambda_{reg}=0$ ）：
$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$

$L_{cls}$ ：将教师的 CLS 标记蒸馏到学生的全局投影（余弦相似度）。
$L_{ms}$ ：多尺度特征蒸馏（归一化空间特征之间的 MSE）。
$L_{reg}$ ：可选的自对比正则化（InfoNCE）。作者发现该术语在小数据集（CIFAR-100）上由于队列噪声而有害，但建议在更大的语料库上可能有帮助。

主要贡献

MCU 规模 SSL 的系统性研究：本文确立了标准 SSL 方法（BYOL、DINO）在<50 万参数规模下会完全崩溃，而对比方法（SimCLR）虽能学习但表现不佳，因此需要定性不同的方法。
CA-DSSL 框架：一种新颖的组合，包括教师引导蒸馏、多尺度特征对齐以及专为容量受限模型设计的渐进式增强课程。
参数效率：CA-DSSL 实现了最先进的结果，其训练时的投影头比 SEED 基线小 10 倍（42.6 万对比 315 万参数），同时达到或超过其准确率。
部署可行性：该方法通过将总训练图保持在 MCU 内存预算内，实现了设备端微调和联邦学习，且预训练流程不带来任何推理开销。

实验结果

实验主要在 CIFAR-100（5 万张图像）上进行，并迁移至 Flowers102、Food101、Core50 和 Pascal VOC。

分类（线性探针）：在 39.6 万参数的 MobileNetV2-0.35× 骨干网络上，CA-DSSL 实现了 62.7% $\pm$ 0.5% 的准确率。这比 SimCLR-Tiny 高出 18 个百分点（pp），以更少的参数匹配了 SEED 基线（61.7%），并达到了监督上限的 94.0%。相比之下，BYOL-Tiny 和 DINO-Tiny 崩溃至约 5% 的准确率。
检测迁移：在 Pascal VOC 上，CA-DSSL 实现了 7.69% mAP@50，比随机初始化提高了 2.3 倍，比 SEED 基线高出 3.0 个百分点。虽然 SimCLR-Tiny 达到了相同的 mAP（7.78%），但 CA-DSSL 以少 10 倍的头部参数实现了这一结果。
迁移学习：CA-DSSL 骨干网络在 Flowers102 和 Food101 上泛化良好，优于标准 SSL 基线，并且在 Food101 上超越了监督预训练。
扩展局限性：ImageNet-100 上的初步实验表明，CA-DSSL 的容量比例头部不如 SEED 的较大头部扩展性好。在 ImageNet-100 上，SEED 比 CA-DSSL 高出 20 个百分点，表明 CA-DSSL 针对小数据场景进行了优化。

意义与主张

本文将 CA-DSSL 定位为 TinyML 的必要演进，使边缘设备能够在无云连接或无标签数据的情况下实现高质量的计算机视觉。

实际影响：部署后的骨干网络仅占用 378 KB（INT8），并在各种 MCU（STM32H7、ESP32-S3、MAX78000）上运行，SSL 流程不带来任何推理开销。
设计权衡：作者明确将 CA-DSSL 框架为小数据场景的解决方案，其中训练内存受限。他们承认，对于大规模预训练（如 ImageNet-1K），更大的投影头（如 SEED）更优越，但 CA-DSSL 为了部署相关的参数效率而牺牲了可扩展性。
稳定性：与依赖学生生成自身目标的自监督方法相比，使用外部教师提供了显著更稳定的训练（跨种子的方差更低）。

该工作得出结论：MCU 规模的 SSL 不仅仅是小型模型 SSL 的定量外推，而是需要根本不同的设计选择，特别是教师引导的蒸馏和容量感知的架构。