🤖 machine learning

Markovian Circuit Tracing for Transformer State Dynamic

本文介绍了马尔可夫电路追踪（MCT），这是一个诊断框架，它证明了在合成隐马尔可夫模型任务上的 Transformer 激活编码了粗略的状态转移结构，从而实现了状态抽象，通过激活修补显著提高了反事实预测的准确性。

原作者： Abdullah X

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdullah X

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在观看一位魔术师表演戏法。你看到了他们洗牌的牌和所说的话（可见输出），但你无法看到他们脑海中保持的秘密顺序（隐藏状态）。

长期以来，研究人员一直试图通过观察 AI 模型（如 Transformer）的内部齿轮和线路，来弄清楚它们是如何“思考”的。这篇题为**“马尔可夫电路追踪”（MCT）**的论文提出了一种新方法，可以窥探魔术师的大脑，特别是当 AI 试图预测序列中接下来会发生什么时。

以下是他们实验和发现的分解，使用了简单的类比。

1. 设置：一场受控的魔术表演

为了测试 AI，研究人员没有使用真实世界的数据（如莎士比亚作品或新闻文章）。相反，他们基于一个称为隐马尔可夫模型（HMM）的数学概念，构建了一个完全受控的虚假世界。

游戏：想象一个棋盘游戏，一个令牌在一个由隐藏房间组成的圆圈中移动。你看不见令牌在哪个房间，但每次令牌移动时，你都会看到一盏彩灯闪烁。
规则：研究人员知道确切的规则：令牌如何在房间之间移动，灯光如何闪烁，以及令牌应该预测的下一个确切内容。
AI：他们训练了一个微型 AI（一个"Transformer"）来玩这个游戏。它只能看到彩灯，并且必须猜出下一盏灯是什么。

2. 问题：AI 真的在“思考”吗？

当 AI 猜对时，它只是记住了模式，还是真的在构建隐藏房间的内心地图？

研究人员想知道：AI 的内心“大脑活动”（激活值）是否包含这些隐藏房间的地图？

3. 方法：“马尔可夫电路追踪”（MCT）

他们创建了一个名为 MCT 的诊断流程。把它想象成一个翻译器，试图将 AI 混乱的、高维的大脑信号转换为一个简单的“房间”（状态）列表。

他们通过四种方式测试了这个翻译器：

信念检查：我们能否读取 AI 的内心，看看它是否知道处于每个房间的概率？（就像问：“我有 80% 的把握我在红色房间吗？”）
地图检查：如果我们强迫 AI 认为它处于特定房间，它的表现是否像真的在那个房间一样？
转换检查：AI 的内部状态变化方式是否符合游戏规则？
“修补”测试（魔术戏法）：这是最重要的部分。他们取出了 AI 的内部“状态”（翻译器对其所在房间的猜测），并在游戏进行中将其交换为不同的状态。
- 类比：想象 AI 正在开车。在行驶途中，你伸手将司机的心理地图从“我在高速公路上”交换为“我在城市里”。如果 AI 突然开始像在城市里一样驾驶（减速、转弯），那么内部地图就是真实且有用的。

4. 结果：部分成功

发现是“部分但一致的”，意味着 AI 在某些方面做得很好，而在其他方面做得较差。

AI 是个好学生：AI 学得非常好。它预测下一盏灯的能力几乎和完美的数学家一样好。
“地图”是模糊的：当研究人员试图将 AI 的大脑信号翻译成具体的“房间”时，它并不是完美的 1 对 1 匹配。
- 在简单游戏中（灯光清楚地显示你在哪个房间），AI 的内部地图相当清晰。
- 在困难游戏中（灯光令人困惑或房间太多），AI 的内部地图变得模糊。
“修补”证明：这是最大的胜利。当他们强迫 AI 使用特定的内部状态（一个“质心”）时，AI 的行为变化完全符合数学预测。
- 结果：与使用随机状态或错误状态相比，AI 的行为变得更接近“完美”的数学目标。这证明 AI确实使用特定的内部结构来做决定，即使该结构不是游戏规则的完美复制品。

5. 主要结论

该论文得出结论，Transformer 在解决序列问题时确实会构建内部“状态”摘要，但这些摘要更像是概率信念（例如，“我想我可能在 A 房间”），而不是精确的标签（例如，“我肯定在 A 房间”）。

提到的关键局限性：

这是在微小的合成模型上进行的测试，玩的是虚假游戏。
他们使用的“翻译器”很简单。
他们不能声称这适用于复杂的现实世界任务，如写诗或诊断疾病。该论文严格将其主张限制在这个受控的数学基准上。

总结类比

想象你试图通过观察汽车行驶来弄清楚 GPS 是如何工作的。

旧方法：你查看电线，试图猜测地图是如何存储的。
本文的方法：你构建一个微小的、完美的迷宫。你观察汽车如何穿越它。然后，你伸手进入车内，将司机的心理地图与另一个地图交换。如果汽车突然向左转而不是向右转，你就确切地知道司机正在使用地图，并且你成功识别了该地图如何影响驾驶。

论文说：“我们建造了一个完美的迷宫，交换了地图，并证明了司机正在使用地图。但我们还不知道这是否适用于在真实的高速公路上驾驶。”

技术摘要：用于 Transformer 状态动力学的马尔可夫电路追踪

问题陈述

机制可解释性主要集中于分析局部电路、特征和注意力头，以解释 Transformer 中的孤立行为。然而，部分可观测序列任务需要一种不同的计算范式：模型必须随时间维护和更新内部摘要（状态），以指导未来预测。虽然隐马尔可夫模型（HMM）为这类任务提供了数学上严格的框架——其中最优解是潜在状态上的贝叶斯信念向量——但缺乏受控基准来测试 Transformer 激活是否确实编码了这些状态转移动态。现有工作通常孤立地研究组件（探测、修补、状态提取），而无法同时获取潜在状态、信念向量和反事实目标的精确真实标签。

方法论：马尔可夫电路追踪（MCT）

本文介绍了马尔可夫电路追踪（MCT），这是一种诊断流程，旨在测试 Transformer 激活是否包含粗略的状态转移结构。该方法在受控的合成基准内运行，使用了六个具有不同转移和发射复杂度的 HMM 族。

基准

该基准在已知潜在状态、转移矩阵和发射概率的 HMM 可见发射数据上训练微型因果 Transformer（2 层，宽度 128，约 27.5 万参数）。此设置提供了：

精确真实标签：潜在状态序列、贝叶斯信念向量和转移矩阵。
精确目标：贝叶斯最优的下一个 token 预测，以及强制状态反事实目标（如果潜在状态被强制为特定值，下一个 token 的分布）。

MCT 流程

给定一个在 HMM 发射数据上训练好的 Transformer，MCT 执行以下步骤：

状态提取：状态提取器 $g$ 将激活向量 $a_{\ell,t}$ 映射到离散候选状态 $z_t$ 。参考提取器使用残差激活上的 K-means 聚类。
信念恢复：线性岭回归探测将激活映射到精确的贝叶斯信念向量，以测试信念信息是否存在。
转移恢复：使用提取的状态序列估计转移矩阵，并通过行向 KL 散度将其与真实的 HMM 转移矩阵进行比较。
马尔可夫阶数测试：对提取的状态拟合 0 阶、1 阶和 2 阶的经验模型，以评估一阶马尔可夫信号的强度。
状态强制（干预）：这是核心的因果测试。将恢复状态簇的质心修补到模型的特定 token 位置。然后将模型的输出与精确的 HMM 反事实目标（强制潜在状态后产生的分布）进行比较。性能通过修补后模型的输出与精确目标之间的 KL 散度来衡量。

主要结果

任务学习

在 18 次运行（6 个 HMM 族 × 3 个种子）中，Transformer 有效地学习了预测任务，其相对于贝叶斯最优预测器的平均超额损失仅为0.0138。

状态与转移恢复

信念信息：线性探测确认信念信息可从所有族的激活中恢复，尽管质量因 HMM 族而异。
转移结构：基于残差和 PCA 的状态抽象恢复了部分转移结构。信号在持久性（粘性转移）和易分离（低发射熵）区域最强。
局限性：在模糊发射和六状态区域，恢复效果较弱。精确信念聚类仍比激活导出的聚类具有更强的上限，表明模型表示的是连续的类信念对象，而非离散潜在标签的直接副本。

状态强制（因果证据）

状态强制干预提供了最清晰的因果效用证据：

性能：修补恢复状态的质心，将到精确反事实目标的 KL 散度从（未修补的）0.1957平均降低至0.0532。
对照：这一改进显著优于各种对照，包括错误状态质心、平均激活、随机激活、打乱标签的质心，甚至在某些聚合指标中优于真实状态质心。
含义：恢复的状态抽象具有因果意义，在某些上下文中比采样的潜在标签更接近模型的内部预测状态。

贡献

受控基准：一个统一的框架，为测试 Transformer 可解释性方法提供精确的潜在标签、贝叶斯信念、转移矩阵和反事实目标。
诊断流程（MCT）：一个参考流程，用于将激活映射到状态抽象、测试马尔可夫阶数，并通过状态强制验证因果相关性。
实证发现：证据表明小型 Transformer 学习了近贝叶斯预测器，且其残差激活包含部分、粗略的转移结构，特别是在具有强转移信号的区域。

意义与主张

本文将 MCT 定位为一种诊断框架，用于分析 Transformer 状态动态，而非恢复隐藏状态的完整算法。作者主张：

MCT 成功地在合成设置中检测到了部分预测转移结构。
它识别了可解释性信号强的区域（持久性/易分离区域）和弱的区域（模糊/高熵区域）。
使用精确 HMM 反事实的状态强制测试提供了一种严格的方法来评估提取状态抽象的因果相关性。

该工作范围适度，承认任务是合成的、模型是微型的，且参考提取器是简单的。它并不声称自然语言推理具有相同的状态结构，而是建立了一个基线，用于测试激活导出的抽象能否在精确真实标签的对照下揭示粗略的预测动态。