💻 computer science

Towards Explainability of SLMs by investigating Token Level Activation

本文提出了一种轻量级且与模型无关的激活流网络（AFN）框架，该框架通过分析第 8 层隐藏状态的激活强度来量化 BERT 中词元级别的的重要性，结果表明具有语义意义的词元表现出显著高于结构词元的激活幅度，从而为以注意力为中心的方法提供了一种可解释的替代方案。

原作者： Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明但行踪神秘的机器人图书管理员，名叫BERT。这位管理员几乎读过所有写下的文字，能够回答问题或理解句子中的情感。但有一个陷阱：没人知道它究竟是如何思考的。它就像一个“黑箱”——你输入一个句子，就会得到一个答案，但内部的齿轮却隐藏不见。

很长一段时间里，研究人员试图通过观察这位管理员的“注意力”来窥探其内部。他们心想：“如果管理员正盯着某个词，那这个词一定很重要！”但他们发现了一个把戏：管理员常常全神贯注地盯着无聊的东西，比如逗号、句号，或者像"the"和"is"这样的词，却忽略了真正精彩的词汇，如"beautiful"（美丽）、"disaster"（灾难）或"Canada"（加拿大）。这就像看着一个安全摄像头，它只把镜头对准门把手，却忽略了正穿过门的人。

新想法：测量“能量”而非“目光”

这篇论文的作者决定尝试一种不同的方法。他们不再问“管理员在看哪里？”，而是问“管理员思考每个词时消耗了多少能量？”

他们聚焦于管理员大脑中的一个特定区域，称为第 8 层。不妨将管理员的大脑想象成一栋 12 层的建筑：

1–5 层：底层。在这里，管理员只注意基本事物，比如大写字母，或者一个词是名词还是动词。
10–12 层：顶层公寓。这里是最终答案被决定的地方。
第 8 层（甜蜜点）：这是“整合区”。在这里，管理员停止关注语法，开始真正理解故事的含义。

研究人员开发了一种名为激活流网络（AFN）的工具。他们不再观察管理员的眼睛，而是测量每个词在通过第 8 层时流动的“电量”（数学上称为L2 范数）。

他们的发现：“高电压”词汇

当他们测量这种能量时，发现了一个清晰的模式：

“高电压”词汇：像"prime"（总理）、"minister"（部长）、"Canada"（加拿大）、"beautiful"（美丽）或"enjoying"（享受）这样内容丰富的词汇，像明亮的霓虹灯一样亮起。它们拥有最高的能量。
“低电压”词汇：像"the"、"of"这样的结构词，或像"?"这样的标点符号，则显得暗淡。它们存在，但并未承载意义的主要重量。

类比：想象一支搬家团队正在打包房屋。“高电压”词汇是沉重的沙发和钢琴——移动它们需要最大的力气。“低电压”词汇是空箱子或胶带；它们对工作是必要的，但既不占太多空间，也不消耗太多能量。研究人员发现，第 8 层正是进行重体力劳动的地方。

“涟漪效应”实验

为了证明这一点，研究人员玩了一场“找不同”的游戏。他们向管理员提供了两个非常相似的句子：

"Enjoying a beautiful day at the park!"（在公园享受美好的一天！）
"Enjoying a beautiful walk at the beach!"（在海滩享受美好的散步！）

他们观察当把"day"换成"walk"、把"park"换成"beach"时，“能量”是如何变化的。

显而易见：发生变化的词（"day"和"park"）的能量出现了巨大跃升。
令人惊讶：即使那些没有变化的词（如"beautiful"或"at"），也出现了显著的能量偏移！

类比：这就像往池塘里扔一块石头。当你改变一个词（石头）时，涟漪（能量偏移）会扩散开来，改变周围的水域，甚至包括那些没有直接被击中的部分。这表明第 8 层是深度互联的；改变故事的一部分，会迫使整个句子重新思考其含义。

“桶”测试

最后，他们尝试用一个简单的规则将“重要”词汇与“背景”词汇区分开来。他们画了一条线（阈值），将所有高能量的词放入高桶，其余的放入低桶。

他们发现：

高桶里只有大约 25% 的词汇（那些重要的词）。
但是，这少数词汇却承担了**76%**的总意义变化。

类比：这就像一场音乐会，25% 的乐手（独奏者）演奏着大家记住的旋律，而另外 75% 的乐手则在演奏背景节奏。如果你让独奏者静音，歌曲就失去了灵魂。如果你让背景乐手静音，你仍然能听到歌曲，尽管感觉有点空洞。

主要启示

这篇论文不仅仅是在说"BERT 很聪明”。它为我们提供了一种新的方式来观察它如何思考。通过测量过程中间（第 8 层）词汇的“能量”，他们将“黑箱”变成了“玻璃箱”。

他们表明，BERT 并非仅仅盯着标点符号；它实际上将精神能量集中在承载真实意义的词汇上。这帮助我们理解，当模型处理一个句子时，它正在对“内容”词汇进行大量的重体力劳动以理解世界，而“结构”词汇只是负责将框架固定在一起。

技术摘要：通过调查令牌级激活迈向小语言模型的可解释性

问题陈述
尽管基于 Transformer 的模型（如 BERT）对自然语言理解（NLU）产生了革命性影响，但其内部机制在很大程度上仍不透明。传统的依赖注意力权重的可解释性方法往往无法提供真正的语义解释，经常突出结构上重要但语义上较弱的令牌（例如标点符号、功能词），而非有意义的内容。此外，现有的可解释性方法往往缺乏模型无关性，需要昂贵的梯度计算，或者无法隔离特定的中间处理动态，特别是在被认为整合句法和语义信息的中间层（第 6 至 9 层）。迫切需要一种轻量级、高效的方法，基于内部激活强度而非注意力相关性，来量化和排序单个令牌的表征重要性。

方法论
作者提出了一种新颖的、与模型无关的框架，称为激活流网络（AFN），该框架专注于 bert-base-uncased 模型的第 8 层。方法论通过以下阶段进行：

令牌级激活强度量化：
该框架不分析注意力头，而是提取第 8 层中每个令牌的隐藏状态向量（ $h_i$ ）。令牌的表征强度（ $S_i$ ）定义为其 768 维隐藏状态向量的L2 范数（欧几里得范数）：
$S_i = \|h_i\|_2$
该标量值作为令牌激活幅度和表征优先级的直接度量。
基于阈值的激活桶 formulation：
为了区分主导的语义激活和结构性背景噪声，作者使用给定句子激活分布的**上四分位数（第 75 百分位）**定义经验激活边界（ $\tau$ ）：
$\tau = Q_{0.75}(S)$
令牌被划分为两组：
- 高激活： $S_i > \tau$ （语义显著令牌）。
- 低激活： $S_i \leq \tau$ （结构支持令牌）。
  该框架计算贡献比率（ $R_H$ ），以确定高激活令牌是否主导表征变化。
比较激活变化分析：
为了探测对上下文和任务指令的敏感性，作者引入了令牌级激活变化（ $\Delta_i$ ），计算为两个相似句子中或不同提示条件下对应令牌的隐藏状态向量之差的 L2 范数：
$\Delta_i = \|h_{A,i} - h_{B,i}\|_2$
该指标量化了由上下文扰动（例如将"day"改为"walk"）或目标导向提示（例如“总结”与“翻译”）引起的向量空间中的几何位移。

主要贡献

第 8 层作为语义整合区： 研究确定第 8 层是一个关键的过渡点，在此结构信息让位于语义整合，平衡句法和语义处理。
激活幅度优于注意力： 这项工作表明，隐藏状态范数（L2）比注意力权重提供了更可靠的语义重要性信号，后者经常因关注标点符号而产生误导。
轻量级可解释性： AFN 框架提供了一种计算高效、非侵入性的替代方案，用于基于梯度的归因方法，仅需单次前向传播即可提取隐藏状态。
语义变化的量化： 引入激活变化指标使得量化特定单词变化或任务指令如何改变模型内部表征轨迹成为可能。

结果
对 732 个带有情感的句子语料库的实验分析以及具体案例研究得出了以下观察结果：

语义主导性： 承载内容的单词（例如"prime"、"minister"、"Canada"、"beautiful"）在第 8 层中始终表现出最高的激活强度，其排名显著高于冠词或标点符号等结构令牌。
层比较： 第 8 层与第 9 层的比较证实，第 8 层对富含内容的令牌更敏感，而第 9 层对这些相同令牌显示出相对较低的激活，表明在更深层中关注点从语义内容转向句法结构。
激活分桶： 上四分位数阈值成功地将令牌分开，高激活令牌（内容词）始终占据顶级排名。在扰动实验中，高激活令牌贡献了约**76%**的总语义激活变化，而仅占令牌总数的约 25%。
上下文涟漪效应： 当上下文发生变化时（例如"day at the park"与"walk at the beach"），未改变的结构令牌（例如"at"、"the"）显示出显著的激活变化，表明第 8 层动态地重新编码整个短语以维持语义一致性。
提示敏感性： 当输入前缀不同的任务指令（“总结”与“翻译”）时，在 [CLS] 令牌和其他令牌中观察到激活变化，表明高层提示引导了中间表征空间。

意义与主张
该论文声称，通过揭示激活幅度集中在语义信息丰富的令牌周围，将 BERT 从“黑盒”转变为更透明的“玻璃盒”。作者断言，他们的框架提供了一种计算高效且可解释的替代方案，以取代以注意力为中心的分析。通过隔离第 8 层并利用 L2 范数，该研究提供了一种直接的方法，用于识别在语义处理过程中哪些令牌具有最大的表征强度。这项工作表明，理解这些激活流可以帮助研究人员更好地理解 BERT 如何平衡结构和语义信息，以及任务指令如何影响模型的内部轨迹，而无需复杂的梯度计算或特定于模型的探测分类器。