🤖 machine learning

Uncertainty-Aware Token Importance Estimation in Spiking Transformers

本文提出 Uncert，一种无需训练的框架，它通过基于多个脉冲步中狄利克雷分布的类别证据所推导出的时间不确定性模式来估计令牌重要性，从而提升脉冲 Transformer 中的令牌剪枝效率。

原作者： Wenxuan Liu, Zecheng Hao, Tong Bu, Yuran Wang, Zhaofei Yu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenxuan Liu, Zecheng Hao, Tong Bu, Yuran Wang, Zhaofei Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试拼凑一幅拼图，但你并非一次性审视整幅画面，而是凝视几秒钟，然后移开视线，接着再重新看回去。每一次注视，你的大脑都会收集更多关于这幅画面是什么的线索。

这就是脉冲 Transformer（一种受人类大脑启发的人工智能）的工作原理。它们并非在瞬间处理整张图像，而是在一系列微小的时间步长中“脉冲”或“发放”，逐步建立起对场景的清晰理解。

然而，这里存在一个问题：就像你可能在等待有趣部分出现时，盯着拼图中空白的一面墙壁一样，人工智能在试图识别“有趣”部分（例如一只猫）时，会浪费大量能量去处理图像中“无聊”的部分（例如一片纯蓝的天空）。

问题：噪声过多，焦点不足

当前的方法试图通过观察信号在单一时刻的“响度”或“亮度”来判断图像的哪些部分重要。这就像试图仅凭听一秒钟的声音来评判一首歌曲。如果某个音符很响，它们就认为它很重要；如果它很轻，它们就忽略它。

但在脉冲 Transformer 中，图像某部分的“重要性”不仅仅取决于它此刻有多“响”，还取决于人工智能的置信度如何随时间变化。

解决方案：Uncert（“置信度追踪器”）

这篇论文的作者，来自北京大学的刘汶轩及其团队，创造了一种名为Uncert的新工具。可以将 Uncert 想象为一个置信度追踪器，它随时间观察人工智能的“大脑”。

Uncert 不再问：“这个信号此刻有多响？”，而是问：“随着时间推移，人工智能对图像的这部分有多困惑？”

以下是他们使用简单类比进行的拆解：

“困惑”的 Token 才是重要的那个：
想象你身处一个拥挤的房间。
- Token A（背景）： 你看到一面普通的墙。你的大脑立刻知道：“那是一面墙。”你的置信度很高，不确定性很低。它从未改变。
- Token B（猫）： 你看到一个模糊的形状。起初，你以为是猫。接着你以为是狗。然后你又意识到那还是猫。你的大脑在波动，收集证据，你的“不确定性”忽高忽低。
- 洞察： 论文认为，Token B（那个波动的）实际上更重要。 它包含了人工智能解决拼图所需的复杂信息。Token A（静态的墙）只是冗余的噪声。
“不确定性分数”：
Uncert 根据以下两点为图像的每一个微小部分（称为"Token"）计算一个分数：
- 平均困惑度： 人工智能平均对该部分有多不确定？
- 过山车效应： 人工智能的置信度上下波动了多少？
如果一个 Token 具有较高的平均困惑度，或者其置信度变化像过山车一样剧烈，Uncert 就会给它一个高重要性分数。如果一个 Token 无聊且一致（像那面墙），它得到的分数就很低。
“剪枝”（削减冗余）：
一旦 Uncert 对所有 Token 进行了评分，人工智能就可以进入“效率模式”。它保留高分 Token（那些令人困惑、有趣的部分），并丢弃低分 Token（那些无聊、冗余的部分）。

论文将这一过程称为Token 剪枝。这就像厨师品尝汤后，决定倒掉那些不增加任何风味的清水，只留下浓郁、美味的汤汁。

他们的发现

研究人员在两类数据上测试了这种方法：

静态图像： 普通照片（如 CIFAR-10）。
神经形态数据： 事件相机，仅记录变化（例如，仅在物体移动时才拍摄照片的相机）。

结果：

无需额外训练： Uncert 是“即插即用”的。你无需重新教导人工智能如何学习；只需在它决定保留什么时，添加这条新规则即可。
更高的效率： 通过剔除那些“无聊”的 Token，人工智能消耗更少的能量，运行速度更快。
更高的准确率： 令人惊讶的是，通过去除噪声，人工智能有时在识别事物方面表现得更好，因为它不再被无关的背景细节分散注意力。
剪枝与合并的对比： 他们尝试了两种减少 Token 的方法：
- 剪枝： 扔掉那些无聊的 Token。（效果极佳！）
- 合并： 将无聊的 Token 与有趣的 Token 合并。（效果不如前者；与其尝试混合噪声，不如直接删除噪声。）

核心结论

这篇论文表明，在类脑计算机中，不确定性是一个信号，而非缺陷。 那些让人工智能犹豫不决、置信度波动的图像部分，实际上是最有价值的部分。通过追踪这些“时间不确定性模式”，我们可以构建出更快、更便宜、更智能的人工智能，而无需从头重新训练它。

技术摘要：脉冲 Transformer 中的不确定性感知令牌重要性估计

问题陈述
脉冲 Transformer 通过将脉冲神经网络（SNN）的能效优势与自注意力的全局建模能力相结合，在神经形态视觉领域展现出巨大潜力。然而，一个关键的瓶颈依然存在：SNN 固有的多步令牌处理机制往往引入了大量的冗余和推理成本。尽管现有的令牌缩减方法（例如令牌剪枝或合并）旨在提高效率，但它们主要依赖响应驱动的线索，如激活幅度、脉冲统计或特征相似性。

作者认为，这些标准对于脉冲 Transformer 而言是不够的，因为它们未能明确刻画令牌级别的类别证据如何随时间演变。与在单一时刻确定令牌表示的静态 Transformer 不同，脉冲表示是在多个仿真步骤中逐步形成的。因此，仅凭单步响应无法充分推断令牌的重要性；它需要一个时间视角，以捕捉脉冲动力学过程中证据和不确定性的演变。

方法论：Uncert
为此，作者提出了Uncert，这是一个基于时间不确定性模式来估计令牌重要性的免训练、即插即用框架。该方法论包含四个主要组成部分：

脉冲令牌层次结构：该框架利用分层脉冲 Transformer 骨干网络（例如 QKFormer 或 MaxFormer）。令牌表示在 $T$ 个时间步内演变，为每个空间令牌形成一条时间轨迹。
令牌不确定性准则：Uncert 不使用原始激活值，而是利用**狄利克雷分布（Dirichlet distribution）**对令牌级别的类别证据进行建模。
- 令牌 $i$ 在时间 $t$ 的分类器 logits 通过 Softplus 激活函数转换为非负的证据值。
- 这些证据值定义了狄利克雷分布的参数（ $\alpha$ ）。
- 令牌不确定性（ $U$ ）由总证据（ $S$ ）推导得出，公式为 $U = C/S$ ，其中 $C$ 是类别数量。这为每个令牌生成了一个时间不确定性轨迹 $\{U^t_i\}_{t=1}^T$ 。
脉冲 - 时间不确定性建模：该框架使用两个统计量来总结每个令牌的时间不确定性轨迹：
- 均值（ $\mu$ ）：代表令牌的整体模糊程度。
- 标准差（ $\sigma$ ）：捕捉令牌不确定性的时间波动或稳定性。
- 最终的重要性得分计算为 $S_i = \mu_i + \lambda \sigma_i$ ，其中 $\lambda$ 是平衡系数（经验值设为 0.9）。作者观察到，具有较高不确定性或较强波动的令牌通常对应于模型正在解决模糊性的信息丰富区域，而低不确定性令牌通常代表冗余的背景。
令牌选择：计算出的得分通过两种策略指导推理时的令牌缩减：
- 令牌剪枝：选择得分最高的前 $K$ 个令牌予以保留，在自注意力计算之前丢弃其余令牌。
- 令牌合并：将低重要性令牌聚合到邻近的高得分锚点上。

主要贡献

令牌重要性的时间视角：本文重新审视了脉冲 Transformer 中的令牌重要性估计，证明了令牌表现出异质的不确定性轨迹（稳定的、波动的或持续模糊的），而非统一的动力学。
Uncert 框架：提出了一种免训练、即插即用的方法，该方法利用狄利克雷分布对令牌证据进行建模，并从时间聚合的不确定性统计量（均值和波动）中推导重要性得分。
实证验证：在静态（CIFAR-10、CIFAR-100）和神经形态（DVS-CIFAR-10、DVS-Gesture）基准测试上的广泛实验验证了该方法的有效性。

实验结果

精度 - 效率权衡：Uncert 在精度和效率之间实现了有利的权衡。在 CIFAR-100 和 DVS-CIFAR-10 上，仅保留 80–90% 的令牌通常能产生与完整基线相当甚至略优的精度。
剪枝与合并：令牌剪枝成为不确定性准则最有效的应用。例如，在 CIFAR-100 上，当保留比例为 80% 时，Uncert（剪枝）达到了 81.06% 的精度，优于基线（80.98%）和随机选择（80.40%）。相比之下，令牌合并表现出的增益较少一致，并且在激进压缩下往往表现不如基线。
组件分析：消融研究证实，结合平均不确定性和时间波动比单独使用任一指标能产生更优越的性能。这突显了令牌的整体模糊程度和时间稳定性对于区分信息信号至关重要。
效率提升：当保留比率降低至 0.40 时，块级操作（SOP）减少了约 14.86%，证明了可测量的计算节省。

意义与主张
本文主张，Uncert 通过将焦点从瞬时响应强度转移到时间不确定性模式，为脉冲 Transformer 中的令牌动力学提供了新的视角。作者认为，不确定性不仅仅是稳定性的度量，更是识别需要进一步解决的判别性内容的有用信号。

这项工作的意义在于它能够在不需要额外训练或可学习预测器的情况下提高推理效率。通过利用脉冲表示的内在时间演变，Uncert 提供了一种原则性的、免训练的机制来减少冗余。作者得出结论，时间不确定性统计量为令牌选择（特别是剪枝）提供了稳健且有效的线索，从而为静态和基于事件的视觉任务实现了更高效的脉冲 Transformer。

问题：噪声过多，焦点不足

解决方案：Uncert（“置信度追踪器”）

他们的发现

核心结论

技术摘要：脉冲 Transformer 中的不确定性感知令牌重要性估计

类似论文