🤖 machine learning

STARS: Spike Tail-Aware Relational Synthesis for ANN-to-SNN Data-Free Knowledge Distillation

本文提出了 STARS，这是一种即插即用且无需数据的知识蒸馏方法，它通过在标准批归一化匹配的基础上增强关系一致性对齐和尾部感知正则化，以更好地捕捉脉冲神经网络的阈值跨越动态，从而提升从人工神经网络到脉冲神经网络的转换效果。

原作者： Shuhan Ye, Yi Yu, Qixin Zhang, Hui Lu, Jiaming He, Qinggang Zhang, Li Shen, Xudong Jiang

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuhan Ye, Yi Yu, Qixin Zhang, Hui Lu, Jiaming He, Qinggang Zhang, Li Shen, Xudong Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文"STARS"的解释。

宏观视角：在没有教科书的情况下教导一名新学生

想象你有一位博学且经验丰富的老师（人工神经网络或ANN），他完美掌握了一门学科。你希望教导一名高效的新学生（脉冲神经网络或SNN）完成同样的工作。SNN 的特殊之处在于它像生物大脑一样工作，通过发送微小的电“脉冲”来处理信息，这使得它既快速又节能。

通常，你会通过展示原始教科书（训练数据）并让老师解释答案来教导学生。但在现实世界中，由于隐私法规，这本教科书往往丢失、被盗或被锁起来。你再也无法看到原始数据了。

这时，无数据知识蒸馏就派上用场了。与其使用真实的教科书，不如请老师帮助你发明虚假的练习题（合成数据），让它们看起来、感觉起来都像真实的。然后，学生从这些虚假问题中学习。

问题：老师和学生说着不同的语言

该论文指出了我们在制造这些虚假问题时当前方法的一个主要缺陷。

老师的视角：老师是一个标准的计算机大脑。它关注数字的平均值和分布范围。如果你给它一批虚假图像，它会检查：“平均亮度和颜色变化是否与我记忆中真实教科书的一致？”如果一致，它就会说：“干得好。”
学生的视角：SNN 学生则不同。它不关心平均值。只有当数字跨越特定的阈值（就像电灯开关被打开）时，它才会发出一个“脉冲”（做出决定）。它关心的是极端值——那些罕见的高数值，它们实际上会触发反应。

类比：
想象老师是一位只检查汤的平均咸度是否合适的厨师。而学生则是一位只注意到汤是否太咸而无法下咽的食客。
当前的方法制造的假汤，其味道对厨师来说“平均”得足以获得批准。但由于厨师没有检查“太咸”的部分，这碗假汤可能在某些方面平淡无味或味道怪异，从而让食客感到困惑。学生因此产生了错误的理解，因为那些“辛辣”的部分（数据的尾部）与老师从现实世界中实际学到的内容不匹配。

解决方案：STARS（脉冲尾部感知关系合成）

作者提出了一种名为STARS的新方法来解决这种不匹配问题。他们在制造虚假数据的过程中增加了两条新规则，确保学生能获得更好的教育。

1. 关系一致性对齐（RCA）——“保持群体动态”

问题：当前的方法确保单个虚假图像看起来正确，但它们不关心图像之间如何相互关联。
解决：STARS 确保如果图像 A 在老师看来与图像 B 非常相似，那么在学生看来它们也应该相似。
类比：想象一个教室。老师知道“苹果”和“橙子”都是水果，而“汽车”则不同。当前的方法可能会制造出一个看起来不错的假苹果和一个假汽车，但它们可能会意外地让假苹果看起来比真苹果更像假汽车。STARS 修复了数据的社交圈，确保虚假学生（图像）保持与真实学生相同的友谊和竞争关系。

2. 尾部感知正则化（TAR）——“关注极端值”

问题：如前所述，SNN 学生只关心数据的“尾部”——那些跨越触发阈值的罕见高数值。标准方法忽略了这些尾部。
解决：STARS 专门检查数据分布的“尾部”。它会问：“有多少虚假数值高到足以让学生实际发出脉冲？”它迫使虚假数据拥有正确数量的“极端”值，以匹配老师的经验。
类比：回到汤的例子。老师现在不仅检查平均盐度，还专门计算有多少勺汤咸到会让食客吐出来。STARS 确保假汤拥有与真汤完全相同数量的“辛辣”勺数，这样学生就能学会对极端情况做出正确的反应。

结果：更优秀的学生

作者在标准图像数据集（如 CIFAR 和 Tiny-ImageNet）上测试了这种方法。他们利用现有的制造虚假数据的方法，简单地“接入”了 STARS。

结果：使用 STARS 训练的学生表现显著优于使用旧方法训练的学生。在某些情况下，他们甚至赶上了那些能够访问真实教科书的学生。
提升：在某些测试中，准确率提高了高达6.7%。这在人工智能领域是一个巨大的飞跃。

总结

STARS 是一种工具，它帮助在不需要原始私有数据的情况下训练高效、类脑的 AI 模型。它通过确保“虚假练习题”不仅在平均意义上看起来像真实的，而且在它们之间的关系以及触发学生大脑所需的正确极端值方面保持一致，从而解决了当前 AI 训练中的一个盲点。这就像升级了老师的教学计划，确保他们不仅教导“平均”学生，还为他们准备实际会遇到的“极端”情况。

技术摘要：用于 ANN 到 SNN 无数据知识蒸馏的 STARS

1. 问题陈述

脉冲神经网络（SNN）提供高效能和低延迟的推理，使其成为边缘智能的理想选择。然而，与人工神经网络（ANN）相比，直接训练的 SNN 往往面临优化不稳定和准确率次优的问题。因此，ANN 到 SNN 的知识蒸馏（KD）已成为将强大 ANN 教师网络的知识迁移至 SNN 学生网络的主要策略。

在实际部署场景（例如边缘设备）中，由于隐私、版权或存储限制，原始训练数据不可用，这引发了一个关键挑战。这 necessitates 无数据知识蒸馏（DFKD），即从预训练教师网络合成替代数据以促进迁移。

现有的 DFKD 方法主要依赖匹配教师网络的批归一化（BN）统计量（均值和方差）来合成数据。虽然这些方法在 ANN 到 ANN 的蒸馏中有效，但作者认为，直接将它们应用于 ANN 到 SNN 的蒸馏并非最优。核心问题在于动力学的不对称性：

ANN 处理连续激活，其一阶和二阶统计量（均值/方差）足以表征输出分布。
SNN 通过受漏积分发放（LIF）动力学支配的离散脉冲运行，其输出取决于阈值穿越事件。

本文提出，仅匹配 BN 统计量（均值和方差）会导致激活分布的尾部行为约束不足。两个分布可以拥有相同的均值和方差，但在发放阈值之上的概率质量却不同，从而导致 SNN 学生产生显著不同的脉冲响应。这种"BN 矩模糊性”导致合成的数据对 ANN 教师有效，但对 SNN 学生而言却是模糊或误导性的。

2. 方法论：STARS

为了解决这种不匹配，作者提出了STARS（脉冲尾部感知关系合成），这是一个即插即用框架，它在标准的 BN 引导合成基础上增加了两个互补目标，旨在专门针对 SNN 动力学约束合成过程。

核心分析

作者推导得出，SNN 神经元的预期发放率由预激活值超过一组随时间变化的有效阈值（ $\theta_t$ ）的超越概率决定，而不仅仅由一阶和二阶矩决定。
$R_T(P) = \frac{1}{T} \sum_{t=1}^{T} (1 - F_P(\theta_t))$
其中 $F_P$ 是激活分布的累积分布函数（CDF）。该分析证明，匹配 BN 统计量并不能唯一确定 SNN 的响应，因为具有相同矩的分布可能在阈值之上拥有不同的尾部质量。

STARS 框架

STARS 应用于预激活特征（ANN 中的 ReLU 之前和 SNN 中的 LIF 之前），以避免脉冲重置后的不可微性。它引入了两个正则化项：

关系一致性对齐（RCA）：
- 目标： 保持教师和学生之间全局语义结构及跨样本关系的一致性。
- 机制： RCA 对齐 ANN 教师与 SNN 学生之间全局预激活特征的成对余弦相似度矩阵。它确保特征空间中样本的相对排列保持一致，防止合成数据继承会扭曲学生特征组织的 ANN 导向偏差。
- 损失： 最小化教师关系矩阵与学生关系矩阵非对角线元素之间的平方差。
尾部感知正则化（TAR）：
- 目标： 直接约束 BN 匹配所忽略的与阈值相关的尾部行为。
- 机制： TAR 定义了一组以教师为锚点的阈值（例如，源自教师特征分布的分位数）。它计算教师和学生特征在这些阈值之上的软超越概率（使用 sigmoid 函数）。
- 损失： 最小化教师与学生软超越概率之间的差异。这明确强制合成数据匹配分布中对于触发 SNN 脉冲至关重要的“尾部”概率质量。

总体目标

最终的合成目标将标准的 DFKD 损失（分类置信度、BN 匹配、图像正则化）与新的 STARS 项相结合：
$\mathcal{L}_{total} = \mathcal{L}_{DFKD} + \lambda_{rca} \mathcal{L}_{RCA} + \lambda_{tar} \mathcal{L}_{TAR}$
合成批次被优化以满足教师先验，同时确保 SNN 学生的关系一致性和尾部感知能力。

3. 主要贡献

本文声称以下贡献：

ANN 到 SNN DFKD 的首次分析： 这是首个系统研究从 ANN 到 SNN 的无数据蒸馏中不匹配现象的工作，分析了 BN 矩模糊性如何导致 SNN 响应次优。
STARS 框架： 提出了一种即插即用方法（STARS），整合了关系一致性对齐（RCA）和尾部感知正则化（TAR），以解决标准 BN 引导合成对 SNN 而言约束不足的问题。
实证验证： 证明了 STARS 在多个 DFKD 基线（DeepInversion, CMI, NAYER）以及多样化数据集（CIFAR-10, CIFAR-100, Tiny-ImageNet）和模型架构（VGG, ResNet）上均能持续提升性能。

4. 实验结果

作者在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上评估了 STARS，使用了各种 ANN-SNN 配对（例如 ResNet-19 $\to$ S-ResNet-19）。

性能提升： STARS 始终优于基线 DFKD 方法。
- 在CIFAR-10上，提升幅度高达4.6%（例如，NAYER + STARS 达到 95.73%，而单独 NAYER 为 92.02%）。
- 在CIFAR-100上，提升幅度高达6.7%（例如，NAYER + STARS 达到 78.42%，而单独 NAYER 为 73.95%）。
- 在Tiny-ImageNet上，改进具有一致性（例如，CMI 提升 +3.33%，NAYER 提升 +2.97%），证明了对更大、更复杂数据集的泛化能力。
与有数据 KD 的比较： 值得注意的是，CIFAR-10（95.73%）和 CIFAR-100（78.42%）上的 NAYER + STARS 超越了多个有数据 KD 基线，并几乎缩小了与 ANN 教师性能的差距，表明在此背景下，结构化合成约束可以有效地替代真实训练数据。
消融研究：
- RCA 和 TAR 单独使用时均产生积极影响，但它们的组合产生了最佳结果，证实它们解决了合成不匹配中互补的方面。
- 增加 TAR 中尾部量化（阈值）的数量单调地提高了性能，验证了捕捉更丰富尾部信息的重要性。
可视化： t-SNE 可视化显示，与基线相比，STARS 生成的 SNN 学生特征具有更紧密的类内聚类和更清晰的类间分离。

5. 意义与主张

本文结论认为，ANN 导向的合成先验与 SNN 动力学之间的不匹配是无数据蒸馏中的一个根本性挑战。STARS 的意义在于证明了用关系和尾部感知约束补充 BN 匹配是一种有效且可泛化的策略。

作者声称：

由于脉冲神经元的阈值穿越特性，仅靠 BN 统计量不足以确定 SNN 响应。
通过显式正则化尾部概率和关系结构，STARS 生成的合成数据既“对教师有效”（满足教师的先验），又“对学生有信息量”（与 SNN 发放动力学对齐）。
该方法具有即插即用特性，无需更改底层 DFKD 框架或教师/学生架构，使其易于被现有流程采用。

这项工作被视为迈向在无法保留或传输原始训练数据的隐私敏感和资源受限环境中实现高效 SNN 部署的一步。