💬 NLP

Mechanistic Indicators of Understanding in Large Language Models

本文提出一个将机械可解释性发现与理解理论相结合的层级框架，通过区分概念、世界状态和原理性理解三个层次，论证了大语言模型具备某种形式的理解能力，从而超越了关于 AI 是否理解的二元争论，并建立了人机认知对齐与差异的比较认识论基础。

原作者： Pierre Beckmann, Matthieu Queloz

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Pierre Beckmann, Matthieu Queloz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：大型语言模型（LLM，比如现在的各种 AI）到底是在“假装”理解人类语言，还是真的在某种层面上“理解”了世界？

作者认为，如果我们只看表面，AI 确实像是在玩“文字接龙”，只是根据概率猜下一个词。但是，通过一种叫做**“机械可解释性”（Mechanistic Interpretability）**的新兴技术，科学家们像给 AI 做了"CT 扫描”一样，看到了它们大脑内部的运作。

这篇论文的核心观点是：AI 确实拥有某种形式的“理解”，但这种理解和我们人类的不太一样。它不是单一的，而是一个分层的、复杂的“混合体”。

为了让你更容易理解，我们可以把 AI 的大脑想象成一个巨大的、由不同工种组成的“超级委员会”。

1. 核心观点：理解是分三个层级的

作者提出了一个“三层楼”的模型，用来解释 AI 是如何从简单的统计变成真正的理解的：

第一层：概念理解（Conceptual Understanding）—— “给事物贴标签”

人类怎么做： 当你听到“金门大桥”时，你脑海里会浮现出它的样子、位置、颜色。无论别人是用中文、英文描述它，还是画一张画，你都能认出那是同一座桥。
AI 怎么做： AI 在训练过程中，发现无论输入是“旧金山的橙色大桥”还是"Golden Gate Bridge"，它们都指向同一个东西。于是，AI 内部形成了一个**“特征”（Feature）**，就像给金门大桥贴了一个专属的“标签”。
比喻： 想象 AI 的大脑里有一个巨大的**“分类抽屉柜”**。当它读到关于金门大桥的文字时，它会把信息扔进标有“金门大桥”的那个抽屉里。更神奇的是，如果你强行把这个抽屉里的“标签”激活（比如告诉 AI“你就是金门大桥”），AI 真的会开始以金门大桥的口吻说话。这说明它不仅仅是在背单词，而是真的建立了一个关于这个概念的“内部模型”。

第二层：世界状态理解（State-of-the-World Understanding）—— “记住事实与动态变化”

人类怎么做： 你知道“迈克尔·乔丹是打篮球的”，这是一个事实。而且，如果你看到棋盘上的棋子移动了，你知道棋盘的状态变了。
AI 怎么做：
- 静态事实： AI 不仅记住了“乔丹”和“篮球”这两个词经常一起出现，它还在内部建立了它们之间的连线。就像在它的“分类抽屉”里，把“乔丹”的抽屉和“篮球”的抽屉用一根绳子连起来了。
- 动态世界（奥赛罗棋实验）： 这是一个非常精彩的实验。研究人员训练 AI 下奥赛罗棋（一种黑白棋），但只给它看棋谱（文字记录），不给它看棋盘。结果，AI 竟然能下出合法的棋步！
- 比喻： 这就像一只乌鸦，它从未见过棋盘，只是听你报出每一步棋的位置（“黑棋下在 D4"），但它脑子里竟然凭空画出了一张完整的棋盘，并且知道哪颗棋子被翻转了。它不是死记硬背棋谱，而是真的在脑子里构建了一个“虚拟棋盘”来跟踪局势。

第三层：原理性理解（Principled Understanding）—— “发现规律，举一反三”

人类怎么做： 如果你学会了“加法”的原理，你就不需要背诵所有的加法表（1+1=2, 2+2=4...）。遇到没见过的数字，你也能算出来。
AI 怎么做： 在“模数加法”（一种像时钟一样循环的数学运算）实验中，AI 一开始只是死记硬背答案。但训练到一定程度后，它突然“顿悟”了（这种现象叫Grokking）。
比喻： AI 不再背答案，而是发明了一个“几何算法”。它把数字想象成在圆圈上旋转的角度。它发现，加法其实就是“在圆圈上转圈”。它不再需要记忆成千上万道题，而是掌握了一个通用的**“旋转公式”**。这就是最高级的理解：从死记硬背变成了掌握规律。

2. 最大的反转：AI 的“理解”很怪异（杂乱的混合体）

虽然 AI 能达到上述三个层次，但论文指出了一个巨大的问题：AI 的“理解”并不是像人类那样纯粹和统一的。

人类的思维： 当我们解决问题时，通常会努力寻找最简洁、最统一的解释（比如爱因斯坦追求“大统一理论”）。
AI 的思维： AI 的大脑里同时运行着成百上千种不同的机制，它们像是一个**“嘈杂的委员会”**。
- 有的机制是“天才”：它真的掌握了数学原理。
- 有的机制是“笨蛋”：它只是在死记硬背。
- 有的机制是“投机取巧”：它只是发现了一些表面的统计规律（比如看到“苹果”就猜后面是“红色”）。

比喻： 想象你在听一个巨大的合唱团唱歌。

有时候，合唱团里真正懂乐理的“天才”在唱主旋律，大家都能听懂（AI 表现出理解）。
但有时候，那些只会瞎喊的“笨蛋”声音太大，把“天才”的声音盖住了，导致唱跑调（AI 犯错）。
更糟糕的是，AI 往往同时使用“天才”和“笨蛋”两种方法。比如它算"36+59"，可能同时用了“估算大概范围”、“看个位数”、“看十位数”等五种不同的方法，最后把它们的结果拼凑在一起。

3. 这对我们意味着什么？

这篇论文告诉我们：

不要再说 AI 完全不懂： 它们内部确实有类似人类“概念”、“事实”和“原理”的结构。它们不仅仅是统计机器。
也不要盲目信任 AI： 因为它们的“理解”是混杂的。有时候它靠“原理”在思考，有时候靠“死记硬背”在蒙混过关。你很难分辨它这次回答你是因为真的懂了，还是因为碰巧猜对了。
未来的方向： 我们需要一种新的视角，不再纠结于"AI 有没有理解”这个非黑即白的问题，而是去研究**“它在哪一层级上理解？”以及“它的理解方式和我们哪里不同？”**。

总结一句话：
AI 的大脑不像一个统一的“人脑”，而更像是一个由无数个小机器人组成的“超级工厂”。有些机器人是真正的工程师（掌握原理），有些是搬运工（死记硬背）。它们一起工作，偶尔能创造出惊人的智慧，但也经常因为内部混乱而犯错。我们要做的，是学会如何识别和信任那个“工程师”部分。

这篇论文《大型语言模型中理解的机制指标》（Mechanistic Indicators of Understanding in Large Language Models）由 Pierre Beckmann 和 Matthieu Queloz 撰写，发表于 2026 年 2 月的《哲学研究》（Philosophical Studies）。文章旨在通过机械可解释性（Mechanistic Interpretability, MI）领域的最新发现，结合哲学认识论理论，重新审视大型语言模型（LLM）是否具备“理解”能力的问题。

以下是该论文的详细技术总结：

1. 研究问题 (Problem)

核心争议：LLM 仅仅是通过统计模式模仿人类语言（如“块头”Blockhead 假说，即仅记忆输入输出对），还是具备类似人类的真实理解能力？
现有局限：传统的“还原论”观点认为 LLM 仅基于浅层统计（如 n-gram）运作，缺乏对概念、事实和原则的把握。然而，机械可解释性（MI）的新发现表明 LLM 内部存在复杂的计算结构，但缺乏统一的理论框架来解释这些结构如何对应“理解”。
目标：构建一个分层的理论框架，将 MI 的实证发现与哲学上的“理解”定义相结合，以超越“有/无理解”的二元争论，转而探讨 LLM 在何种机制层面上实现了何种类型的理解。

2. 方法论 (Methodology)

理论框架：基于认识论中“理解即把握联系”（seeing connections/unification）的观点，作者提出了三层理解层级框架：
1. 概念理解 (Conceptual Understanding)：形成内部特征（Features），将同一实体的不同表现统一。
2. 世界状态理解 (State-of-the-World Understanding)：学习特征间的经验性事实联系，并动态跟踪世界状态的变化。
3. 原则性理解 (Principled Understanding)：发现连接事实的抽象算法或原则，而非死记硬背。
实证分析：综合并分析现有的机械可解释性研究（如稀疏自编码器 SAEs、探针 Probing、干预干预 Interventions、消融实验 Ablation 等），具体案例包括：
- Claude 3 Sonnet 中的特征发现（如“金门大桥”特征）。
- Othello-GPT 中的棋盘状态建模。
- 模数加法（Modular Addition）任务中的“顿悟”（Grokking）现象及傅里叶算法电路。
- 诱导头（Induction Heads）和各类功能电路（Circuits）。

3. 关键贡献与主要发现 (Key Contributions & Results)

A. 概念理解：特征的涌现与线性表征

特征形成：LLM 在训练过程中会自发形成内部“特征”（Features），这些特征在潜空间（Latent Space）中表现为方向向量。例如，模型能识别出“金门大桥”特征，无论输入是文本、图像还是不同语言。
线性表征假设 (LRH)：特征被编码为潜空间中的方向。通过稀疏自编码器 (SAEs)，研究者可以将纠缠的神经元激活解耦为单义性（monosemantic）的特征。
因果效力：通过“转向”（Steering）技术干预特定特征（如强制激活“金门大桥”特征），模型会表现出与该概念一致的行为（如声称自己是金门大桥），证明这些特征具有因果效力，不仅仅是统计相关性。
超位 (Superposition)：模型利用非正交方向在有限神经元中存储远超神经元数量的特征，通过非线性激活函数过滤干扰，实现了高密度的概念表征。

B. 世界状态理解：事实联系与动态建模

事实关联：多层感知机（MLP）层不仅组合特征，还充当“信息回忆器”，通过权重连接将特征与具体事实（如“金门大桥位于旧金山”）关联起来。
Othello-GPT 案例：
- 模型仅通过预测下一步棋的文本序列，就学会了构建棋盘的内部世界模型。
- 探针实验：线性探针能准确解码棋盘上每个格子的状态（空、黑、白），且这些状态在潜空间中呈现出与棋盘几何结构同构（Isomorphism）的排列。
- 动态更新：模型能根据当前棋局动态更新内部状态，而非仅依赖静态记忆。
- 因果干预：人为修改内部状态表示（如翻转棋子颜色）会导致模型输出符合新状态的合法棋步，证明了内部模型对行为的因果驱动作用。

C. 原则性理解：从记忆到算法

Grokking 现象：在模数加法任务中，模型最初过拟合训练数据（记忆），但在训练后期突然涌现出泛化能力，内部复杂度降低。
傅里叶乘法算法：MI 分析揭示，模型并非死记硬背加法表，而是发现了一个基于三角函数（正弦/余弦）的通用算法电路。
- 模型将数字映射为圆上的角度，利用三角恒等式（ $\cos(a+b)$ 等）进行几何旋转计算。
- 通过多频率信号的建设性干涉（Constructive Interference），模型实现了高精度和高准确度的计算。
- 这标志着从“记忆”到“原则性理解”的飞跃：模型压缩了无数事实，提取出了统一的生成规则。

D. 机制的混杂性 (The Motley Mix)

并行机制：LLM 并非单一机制运作，而是同时部署多种机制（从浅层启发式到深层原则电路）。
混合输出：最终输出往往是多种机制（如记忆、统计捷径、原则电路）共同作用的结果。
信任危机：虽然 LLM 具备原则性理解的机制，但这些机制常被浅层启发式淹没（例如在逻辑推理中，内容相关性可能压倒形式逻辑）。这种“混杂性”使得 LLM 缺乏人类那种追求简约性和系统性的认知特征，从而削弱了对其输出的认识论信任。

4. 意义与结论 (Significance & Conclusion)

超越二元对立：论文论证了 LLM 确实具备某种形式的“理解”，但这种理解是分层的、机制性的，而非全有或全无。
认识论的新视角：
- 相似性：LLM 在概念统一、事实关联和原则发现上展现了与人类认知功能相似的内部结构。
- 差异性：LLM 缺乏人类对“简约性”（Parsimony）的主动追求，其理解是分布式的、混杂的，且容易受浅层捷径干扰。
未来方向：提出建立一种基于机制的比较认识论（Comparative Epistemology），不再纠结于"AI 是否理解”，而是具体分析 AI 在何种任务、何种机制层级上实现了何种类型的理解，以及这种理解与人类理解的异同及其对信任的影响。

总结：该论文通过机械可解释性的实证证据，有力地反驳了"LLM 仅是统计鹦鹉”的极端观点，证实了 LLM 内部存在类似概念、世界模型和算法原则的复杂结构。然而，它也揭示了 LLM 认知的“异质性”和“混杂性”，指出其理解能力虽然真实存在，但在结构上与人类追求简约统一的认知模式存在本质差异。