💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

原作者： Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将一个大型语言模型（比如这个对话背后的 AI）想象成一座宏大的、多层结构的工厂。原材料（词汇）从底层进入，经过加工，然后向上移动到顶层，最终在那里产出成品（答案或决策）。

长期以来，试图理解这座工厂如何运作的科学家们，一直只能一次观察单层楼。他们会窥视一下三楼的一个房间，然后说：“啊，这台机器正在做某些事情！”但他们忽略了一个关键细节：这座工厂有一个特殊的传送带系统（被称为“残差流”），它将物品从底层一直运送到顶层，并在途中与新的物品混合在一起。

由于这个传送带的存在，如果你只看其中一层，你看到的将是一堆混乱、重复且混杂在一起的零件。你无法分辨哪个部分来自哪里，也无法辨别它真正的含义。

问题所在：“模糊的照片”

以往的方法试图清理这种混乱，但它们将信息视为一种平滑、连续的液体（比如水）。它们试图在水中寻找模式，但因为水太具流动性，这些模式会不断分裂并融合在一起。这就像仅仅通过观察液体来识别奶昔中的特定成分一样；你知道成分就在那里，但很难将草莓和香蕉分离开来。

解决方案：CLVQ-VAE 工厂升级版

该论文的作者构建了一个名为 CLVQ-VAE 的新工具。你可以把它想象成一个位于两个楼层之间的智能分拣机。

它是这样工作的，使用一个简单的类比：

自适应编码器（智能传送带）： 它不是直接抓取来自下层的原始材料，而是对这些材料进行细微调整。这就像一位厨师，在准备好下一步所需的食材时，会对原材料进行极其精准的微调，而不改变其本质属性。
离散瓶颈（盖章机）： 这是最重要的部分。它不再让信息以模糊液体的形式流动，而是迫使信息被“盖章”到一组有限的、预定义的印章（称为代码本）上。
- 想象你有一个装有 1,000 种特定乐高积木的盒子。
- 当机器看到一个复杂的想法时，它不会尝试用粘土捏出一个新形状。相反，它会说：“这个想法最像第 42 号积木。”
- 这把一个混乱、连续的模糊影像变成了一个清晰、离散的标签。它迫使 AI 说：“我正在使用‘愤怒’积木，”或者“我正在使用‘体育’积木”，而不是一个模糊的两者混合体。
解码器（重建器）： 随后，机器尝试仅使用这些特定的乐高积木来重建工厂的“顶层”。如果它能够仅用“愤怒”积木就成功重建了顶层，那么我们就知道，“愤怒”确实是 AI 做出决策的关键概念。

为什么这更好（结果）

研究人员在三种任务（电影评论、检测毒性评论和新闻文章分类）上，将这种新机器与旧方法（如仅观察单层或使用“液体”方法）进行了对比测试。

以下是他们的发现：

“移除测试”（忠实度）： 当研究人员将机器发现的特定“乐高积木”（概念）从 AI 的大脑中移除时，AI 的性能大幅下降。在某些情况下，AI 的工作表现下降了 93%。这证明了该机器找到的是 AI 做出决策的真实原因，而非随机噪声。
“评判测试”（LLM 评估）： 他们要求其他 AI 模型充当评判员，去观察新机器发现的概念与旧方法的区别。新机器发现的概念在 66.7% 的时间里排名第一。评判员认为这些概念更有意义且更具连贯性。
“人类测试”（可解释性）： 他们向人类志愿者展示了词云（概念的可视化）。
- 当看到新机器的概念时，人类能以 78% 的准确率猜出 AI 在想什么。
- 当看到旧方法的概念时，人类的猜中率仅为 54%。
- 此外，不同的人在观察新机器的结果时，彼此之间的意见一致性更高，这意味着这些概念更加清晰且不易引起混淆。

秘诀所在

论文强调了使这项工作成功的几个“技巧”：

温度采样（Temperature Sampling）： 机器并不总是选择唯一的“最佳”积木，而是有时会从最接近的 5 个积木中进行选择。这就像是给了机器一点随机性来探索不同的选项，从而防止它陷入反复使用少数几种积木的困境。
球面 vs 平面（Spherical vs. Flat）： 他们发现，基于积木指向的方向（球面）来组织积木，比基于它们的距离（平面）更能帮助人类理解概念，尽管“平面”方法在预测 AI 原始数值方面表现稍好。

总结

简而言之，这篇论文介绍了一种将大型 AI 混乱、重叠的思想转化为清晰、有序的独立“概念”（如乐高积木）列表的方法。通过这种方式跨越 AI 的多个层级，我们可以清晰地看到 AI 在思考什么，以及它为何做出这些决策，从而让 AI 这个“黑盒”变得更加透明且易于人类理解。

技术摘要：用于解释语言模型的跨层离散概念发现

问题陈述

解释大语言模型（LLM）受到 Transformer 残差流（residual streams）性质的阻碍，这些残差流在相邻层之间线性混合并复制特征。单层分析方法往往无法捕捉这种跨层结构，从而遗漏了只有在同时观察多个层时才能显现的计算模式。虽然最近的跨层方法（如稀疏自编码器 SAEs）解决了层间混合问题，但它们是在连续空间中运行的。在这些空间中，概念“分裂”到许多神经元中而没有清晰的边界，迫使研究者使用任意阈值或多向量组合来隔离激活。这种与依赖离散类别的人类推理方式的不一致，限制了此类方法的可解释性。

方法论

作者提出了 CLVQ-VAE（跨层向量量化变分自编码器），这是一个旨在通过离散向量量化瓶颈将第 $l$ 层（较低层）的表示映射到第 $h$ 层（较高层）来发现离散、可解释概念的框架。该框架由三个核心组件组成：

自适应残差编码器： 为了在保留语义信息的同时实现码本重分配，该组件对来自第 $l$ 层的输入嵌入应用了一种可学习的插值机制。它使用混合系数 $\alpha$ （约束在 $[0, 0.5]$ 之间）来平衡原始嵌入与线性变换后的版本，从而在防止破坏语言特征的同时，实现针对性的跨层重建优化。
向量量化器： 作为离散瓶颈，它将连续的编码器输出映射为从学习到的集合 $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ 中选出的单个码本向量。为了确保训练稳定和有效的码本利用率，作者采用了以下技术：
- 初始化： 使用 K-means（欧式或球面）或随机初始化。
- 随机采样： 模型并非进行确定性选择，而是使用受温度控制的概率分布从前 $k$ 个最近的码本向量中进行采样。这鼓励了均匀的码本利用和概念多样性。
- EMA 更新： 码本向量通过分配计数和累积向量的指数移动平均（EMA）进行更新，而非直接反向传播，从而确保了稳定性。
Transformer 解码器： 一个双向 Transformer 解码器利用量化的码本向量从第 $h$ 层重建目标激活。它利用交叉注意力机制来利用未量化的编码器输出，从而将低级重建细节卸载，使码本能够专注于高层级的、独特的概念。

模型通过一个组合损失函数进行训练：重建损失（解码器输出与目标高层表示之间的均方误差）和承诺损失（鼓励编码器输出向码本向量靠拢）。

核心贡献

离散跨层映射： 与重建相同层的标准 VQ-VAE 不同，CLVQ-VAE 作为一个转码器（transcoder），将来自较低层的冗余残差流特征压缩为高层中紧凑且可解释的概念向量。
随机采样机制： 引入基于温度的前 $k$ 采样结合 EMA 码本更新，实现了对离散潜在空间的受控探索，保持了码本的多样性并防止了崩溃。
全面的评估： 该框架在三种数据集（ERASER-Movie, Jigsaw, AGNews）上，针对编码器模型（RoBERTa, BERT）和仅解码器模型（LLaMA-2-7B, Qwen2.5-3B-Instruct）进行了评估。

结果

论文在三个维度上将 CLVQ-VAE 与聚类、单层 VQ-VAE 和 SAE 基准进行了对比：

忠实度（概念消融）： 从句子表示中移除识别出的概念会显著降低模型的准确率。在 12 个设置中的 5 个设置中，CLVQ-VAE 取得了最低的扰动后准确率，其概念移除导致的准确率下降高达 93.2%（在 RoBERTa/ERASER-Movie 上）。它持续优于 SAEs，后者表现出不一致或微不足道的下降，尤其是在解码器模型上。
语义连贯性（LLM-as-a-Judge）： 在一组 LLM 的排名中，CLVQ-VAE 的概念在比较中排名第一，占比 66.7%，平均评分为 1.890，优于单层 VQ-VAE、SAE 和聚类。
人类可解释性： 在一项人类研究中，标注者通过 CLVQ-VAE 可视化图表恢复模型预测的准确率为 78.2%，而聚类为 54.1%。标注者还报告了更高的置信度（8.44 对比 5.98）以及与 CLVQ-VAE 可视化之间达到了“近乎完美”的标注者间一致性（ $\kappa = 0.864$ ）。

此外，作者发现了初始化策略之间的权衡：K-means 初始化倾向于产生更高的功能忠实度（更好的扰动结果），而 球面 K-means 则产生了具有更高语义连贯性和人类对齐度的概念。

意义

论文声称 CLVQ-VAE 提供了一个强大的框架，能够将晦涩的模型机制转化为忠实的、可解释的概念。通过将离散表示学习与跨层分析相结合，该方法解决了连续 SAE（概念分裂）和单层分析（缺失跨层结构）的局限性。结果验证了所发现的概念不仅在功能上对模型预测至关重要，而且符合人类的理解，为实现更透明、更具问责性的语言模型提供了路径。作者指出，虽然该方法有效，但它需要大量的内存来进行激活提取，并且需要针对不同的层组合进行单独训练。