💬 NLP

Detection vs. Execution: Single-Bucket Probes Miss Half the Mamba-2 State Sink

本文表明，在 Mamba-2 中，由单桶探测器（single-bucket probes）识别出的表示特征往往将针对状态汇聚（state sink）现象的不同检测电路与执行电路混淆在一起，从而揭示了只有特定的头部子集（BOS 特化专家）在因果上驱动了关键的长上下文检索性能，而其他具有相似表示的头部则不然。

原作者： Yuhang Jiang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuhang Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：看清“影子”与“演员”

想象一下，你正试图弄清楚一支庞大且复杂的管弦乐队是如何演奏某一首特定曲目的。你有一个麦克风（即探针/probe），它可以检测出是否有特定的乐器正在大声演奏。

在 AI 研究领域，科学家们通常假设，如果他们的麦克风捕捉到了某个特定乐器的响亮声音，那么该乐器就是那个实际在演奏旋律的乐器。

这篇论文指出，在一种名为 Mamba-2 的新型 AI 模型中，这个假设是错误的。麦克风检测到的是一个巨大的活动“影子”，但真正承担重任的“演员”其实是隐藏在这个影子中的一小群人。如果你只盯着响亮的声音看，你就会错过真正的机制。

背景设定：“状态汇点”（State Sink）

要理解这个问题，我们需要了解 AI 正在做什么。

类比： 想象一条长长的队伍，人们正在传递一桶水。每当有新的人加入队伍时（句子中的一个新词），队伍最前方的人（“句子开始”或 BOS token）就必须抓紧水桶，以免水洒出来。
科学原理： 在 AI 模型中，这种“抓紧”的行为被称为状态汇点（State Sink）。模型会将大量的能量集中在最初的几个 token（如句子的开头或新的一行）上，以保持其记忆的稳定性。

发现：两组人，一个信号

研究人员观察了 Mamba-2 模型，发现这个“状态汇点”不仅仅是一大群工人，它实际上由两个截然不同的群体组成，这两个群体在简单的检测器看来完全一样，但承担的任务却大不相同。

1. “BOS 专家”（执行层）

身份： 一小群工人（仅占总数的约 5%）。
职责： 他们是实干家。他们才是真正拿着水桶并让水流持续流动的人。如果你移除他们，整个队伍就会崩溃，AI 会忘掉一切。
论文观点： 这些是“执行”电路。他们才是真正进行计算的人。

2. “双头”（检测层）

身份： 一个更大的群体（约占总数的 30%）。
职责： 他们是观察者。他们站在实干家旁边，看着同样的东西，并且也表现得同样兴奋。对于一个简单的麦克风（“单桶探针”）来说，他们看起来和实干家一模一样。他们的信号几乎完全相同。
转折点： 如果你移除这些观察者，AI 依然能正常工作！他们并没有承担重任。他们只是在“检测”重要事情正在发生。
论文观点： 这些是“检测”电路。他们拥有正确的“特征”（看起来在工作），但没有正确的“功能”（他们并没有在实际干活）。

错误所在：“单桶”陷阱

论文将混淆这两组人的错误称为**“单桶探针”（Single-Bucket Probe）**错误。

类比： 想象你试图通过询问“谁手里拿着刀”来寻找厨房里最好的厨师。
- 你发现了一小群主厨（BOS 专家），他们正在实际烹饪美食。
- 你还发现了一大群副厨（双头），他们手里也拿着刀，但只是在切菜做装饰。
- 如果你使用一个简单的测试，仅仅说“任何拿着刀的人都是主厨”，那么你会误以为副厨才是正在烹饪主菜的人。
- 结果： 你以为找到了整个厨房团队，但你却忽略了真正的烹饪是由一支精锐的小队完成的事实。

在 Mamba-2 中，“刀”就是数学信号。简单的探针看到这两组人都拿着刀，但只有那小部分人是在实际烹饪。

为什么会发生这种情况？（架构原因）

为什么 Mamba-2 会有这样一个“影子”群体，而旧模型却没有？

Mamba-1（旧模型）： 想象一个每个厨师都有自己私人操作台的厨房。如果一个厨师想要关注句子的开头，他可以独自完成，而不会干扰到别人。此时，“实干家”和“观察者”是同一拨人。
Mamba-2（新模型）： 想象一个厨师被迫共享一个狭小操作台的厨房。因为必须共享空间，他们必须同时处理多项任务。
- 模型强制要求一组“头”进行“多路复用”（即同时做两份工作）。
- 一份工作是检测句子的开始（观察者）。
- 另一份工作是执行重置（实干家）。
- 因为他们共享相同的空间，所以即使职责不同，在简单的探针看来也完全一致。

证据：“大海捞针”测试

为了证明这小部分人（专家）才是真正的英雄，而那大部分人（双头）只是旁观者，研究人员进行了一项“大海捞针”测试。

测试： 他们把一个特定的句子（“针”）藏在一本巨著（“大海”）深处，并要求 AI 找到它。
结果：
- 当他们移除**极小群体（专家）**时：AI 完全失败了。它根本找不到那根针。准确率从 100% 跌至 0%。
- 当他们移除**大群体（双头）**时：AI 依然能完美地找到那根针。
- 结论： 大群体只是在观察；而极小群体才是真正记住那根针的人。

论文观点总结

检测 $\neq$ 执行： 仅仅因为 AI 的一部分被激活（被检测到），并不意味着它正在进行计算（执行）。
分裂： 在 Mamba-2 中，“状态汇点”分裂成了小的执行层（5% 的 heads）和大的检测层（30% 的 heads）。
陷阱： 简单的探针（单桶探针）只能看到大的检测层，从而忽略了微小的执行层。
解决方法： 要理解 Mamba-2 如何运作，你不能只看谁的“声音大”。你必须通过移除他们并观察 AI 是否会崩溃，来测试谁才是真正不可或缺的。
架构至关重要： 这源于 Mamba-2 的构建方式（共享投影），而非仅仅因为模型的大小。

简而言之： 论文警告我们，在新的 Mamba-2 模型中，大脑中“响亮”的部分并不总是那些正在思考的部分。那里隐藏着一支精锐的小队在做真正的苦活累活，而另一支规模大得多的队伍只是在旁边装模作样。如果你只听声音，你就会错过真相。

技术摘要：Mamba-2 状态汇（State Sinks）中的检测与执行

问题陈述
机械解释性（Mechanistic Interpretability）通常基于一个假设，即识别出特定表征特征（例如，在边界标记上具有高激活）的探针，同时也识别出了执行相应计算的具体电路。本文挑战了这一假设，并将其置于选择性状态空间模型（SSMs），特别是 Mamba-2 的背景下进行讨论。作者研究了“状态汇”（state sink）——类似于 Transformer 中的“注意力汇”（attention sink）——即在边界标记（序列开始符/BOS 和换行符）上出现不成比例的 $\Delta$ 门控激活现象。核心问题在于：单桶探针（基于单一类别进行单位分类）是否能准确定位负责状态管理的因果电路，还是会遗漏一组具有相同表征特征但功能截然不同的更大规模单元集。

方法论
本研究采用了一套严谨的干预网格，涉及 12,096 个单元（评估了 6,060 个），涵盖四种模型检查点：Mamba-1（130M, 2.8B）、Mamba-2（1.3B, 2.7B）以及作为跨架构基准的 Pythia（160M–2.8B）。

专家分类： 若单元（Mamba-1 中的通道，Mamba-2 中的头）在特定标记类（BOS、换行符等）上的平均 pre-softplus $\Delta$ 激活值相对于参考集超过阈值（ $\tau=0.5$ ），则将其分类为“专家”。这产生了“单桶”专家（单一类别）和“双重”专家（两个类别）。
因果干预： 作者使用六种干预类型（如 gate_zero、delta_zero、gate_one）对特定单元集进行消融研究。他们测量了针对边界标记后前八个标记的负对数似然（NLL）差异，并将专家集与规模相等的随机补集进行对比。
粒度比较： 研究对比了 Mamba-1（通道粒度，独立的 $\Delta$ 投影）与 Mamba-2（头粒度，头共享的 $\Delta$ 投影），以隔离架构效应。
验证： 结果通过两个语料库（wikitext-2, Pile-10k）、多种规模以及长上下文检索任务（RULER Needle-in-a-Haystack）进行了验证。

核心贡献与结果

粒度相关的因果关系：
- 在 Mamba-1（通道粒度）中，单桶 BOS 专家承载了状态汇的因果质量。消融这些专家会导致显著的性能下降，且探针能够准确追踪执行电路。
- 在 Mamba-2（头粒度）中，单桶探针仅能恢复极小部分的“执行层”（约 5% 的头）。然而，一个规模大得多的“双重头”集合（占 27–35% 的头，它们在 BOS 和换行符上表现出相同的表征特征）被单桶分类所遗漏。
检测与执行的二分法：
- 执行层： 单桶 BOS 专家是因果执行层。消融它们会导致 RULER NIAH 任务中的检索准确率从 1.00 崩塌至 0.00，并显著增加 BOS 上下文和换行符目标的 NLL。
- 检测层： 双重头表现出与专家高度的表征相似性（在 BOS 与换行符上的余弦相似度 $\approx 0.89$ ），但在消融实验中表现出显著较弱的因果效应。事实上，消融双重头对性能的影响往往微乎其微，甚至与基准相比呈现负面影响，这表明它们是“表征检测层”而非“功能执行层”。
- 误导性探针： 本文证明了表征相似性并不意味着功能等价。在 Mamba-2 的头粒度下，单桶探针系统性地低估了因果底层的规模（约 3–7 倍）。
架构驱动因素：
- 这种不对称性归因于 Mamba-2 的架构，其中 $\Delta$ 投影在头内的通道间是共享的。这迫使头部在多个边界类别之间进行多路复用，从而产生了大规模的双重头群体。
- 一个将 Mamba-1 进行随机通道分桶以匹配 Mamba-2 头与类别比例的对照实验未能重现双重头的优势地位，这表明特定的头共享 $\Delta$ 投影才是驱动因素，而非单纯的底层粒度问题。
跨架构基准：
- Pythia（Transformer）的注意力头表现出单桶选择性，但缺乏 Mamba-2 中那种占主导地位的双重头集合。这证实了检测/执行的分离是 Mamba-2 架构特有的状态空间机制属性，而非所有头粒度模型的普遍属性。

意义与主张
本文声称，机械解释性中标准的“标签到位置”（label-to-locus）做法——即假设探针识别出的激活最高的单元即为因果电路——在 Mamba-2 的头粒度下是系统性不可靠的。

重新审计的必要性： 使用单桶探针定位到 Mamba-2 头的解释性发现，需要在多类别聚合规则下进行重新审计。
功能分解： Mamba-2 的状态汇分解为两个截然不同的功能层：一个小的执行层（单桶专家）和一个大的检测层（双重头）。区分两者需要类别条件消融，而非仅仅依赖类别条件的余弦相似度。
活跃锚点： 不同于 Transformer 中可能属于被动或可抑制的注意力汇，Mamba-2 的状态汇是一个活跃的锚点，特定的头对于长上下文检索和边界状态管理是必不可少的。

作者总结道，虽然探针在表征分析方面是有效的，但在具有共享投影和多路复用激活特征的架构中，它们可能会无法识别真实的因果电路，因此必须通过基于干预的验证来区分检测与执行。