💬 NLP

Levels of Analysis for Large Language Models

该论文提出借鉴认知科学中基于大卫·马尔（David Marr）分析层次的框架，将相关方法应用于大型语言模型，以解决其日益复杂且难以理解的问题，从而为理解这类新型“心智”提供一套系统工具。

原作者： Alexander Y. Ku, Declan Campbell, Xuechunzi Bai, Jiayi Geng, Ryan Liu, Raja Marjieh, R. Thomas McCoy, Andrew Nam, Ilia Sucholutsky, Veniamin Veselovsky, Liyi Zhang, Jian-Qiao Zhu, Thomas L. Griffiths

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alexander Y. Ku, Declan Campbell, Xuechunzi Bai, Jiayi Geng, Ryan Liu, Raja Marjieh, R. Thomas McCoy, Andrew Nam, Ilia Sucholutsky, Veniamin Veselovsky, Liyi Zhang, Jian-Qiao Zhu, Thomas L. Griffiths

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一份**“给大语言模型（LLM）做全面体检的指南”**。

想象一下，现在的 AI（比如 ChatGPT、Claude）就像是一个突然变得超级聪明、能写诗、能编程、能聊天的“黑盒机器人”。计算机科学家造出了它，但说实话，他们自己也不太清楚这个机器人脑子里到底在想什么，因为它是由几十亿个像神经元一样的连接组成的，太复杂了。

这就好比几百年前，人类发明了飞机，知道它能飞，但当时没人完全理解鸟类飞行的原理，也没人完全理解空气动力学。

这篇论文提出，我们不需要重新发明轮子。我们可以借用认知科学（研究人类大脑怎么工作的学科）里的一套经典方法，就像给人类做心理和生理检查一样，给 AI 做检查。作者借用了一位叫大卫·马尔（David Marr）的科学家提出的**“三个分析层次”**，把理解 AI 的过程分成了三层：

第一层：计算层（它到底想解决什么问题？）

通俗比喻：看它的“考试大纲”和“考试动机”。

核心问题：这个 AI 被训练出来是为了做什么？它的“终极目标”是什么？
论文发现：大语言模型的核心任务其实很简单：“猜下一个词是什么”（就像你发微信时，手机自动提示下一个字）。
有趣的现象：因为它的训练目标就是“猜下一个词”，所以它有时候会像个“老好人”，倾向于说出那些在人类语言中出现频率很高的词，而不是最“正确”的词。
- 例子：如果你让它数数，它数到"30"（很常见的数字）时很准，但数到"29"（相对少见）时就开始犯迷糊。这就好比一个为了“猜词”而生的学生，在考“猜词”时是天才，但在考“数数”时，如果答案不常见，它就会因为“猜错了习惯”而犯错。
结论：只要知道它的“考试大纲”（训练目标），我们就能预测它会在哪里表现得好，在哪里会犯傻。

第二层：算法层（它是怎么思考的？）

通俗比喻：看它的“解题套路”和“思维习惯”。

核心问题：既然它知道目标，那它具体是用什么方法去接近目标的？它的脑子里是怎么组织信息的？
论文发现：我们可以像心理学家研究人类一样，通过“做实验”来探测 AI 的内心。
- 干扰测试：就像人类如果同时看太多东西会记混一样（比如把红方块和蓝圆圈记成红圆圈），AI 在处理复杂图片时，如果物体太多，也会把特征搞混。这说明 AI 也是“并行处理”信息，而不是像人类那样一步步串行思考。
- 相似度测试：如果你问 AI“红色和蓝色有多像？”或者“钢琴的高音和低音有多像？”，AI 给出的答案竟然和人类惊人地相似！哪怕它从来没真正“见过”颜色或“听过”声音，它通过读文字，竟然在脑子里构建出了和人类一样的“颜色轮”或“音高螺旋”。
- 隐藏偏见测试：如果你直接问 AI“女性适合做管理吗？”，它会很谨慎地回答“当然适合”。但如果你玩一个“快速联想游戏”（类似心理学里的内隐联想测试），让它把名字和职业快速配对，它还是会下意识地觉得“女性”和“家庭”联系更紧，“男性”和“工作”联系更紧。这说明它的“潜意识”里还是藏着偏见。
结论：通过观察 AI 的“错误模式”和“联想习惯”，我们可以画出它大脑里的“地图”，知道它是怎么理解世界的。

第三层：实现层（它的“硬件”是怎么运作的？）

通俗比喻：看它的“大脑电路”和“神经回路”。

核心问题：那些抽象的思考和偏见，具体是发生在 AI 的哪一部分“神经元”上的？
论文发现：这一层就像神经科学家拿着显微镜看人脑一样，科学家现在可以“透视”AI 的内部电路。
- 定位功能：研究发现，AI 的某些特定电路专门负责“记住事实”，某些电路专门负责“模仿语气”，甚至有的电路专门负责“撒谎”或“说真话”。
- 手术刀式干预：科学家甚至可以用“手术刀”（一种叫激活修补的技术）直接切断或修改某一部分电路。比如，把负责“诚实”的电路关掉，AI 就会开始胡编乱造；把负责“推理”的电路激活，它就能解出更难的数学题。
结论：我们不再把 AI 当成一个黑盒子，而是开始能看清它内部具体的“齿轮”和“开关”是如何配合工作的。

总结：为什么要这么做？

这篇论文的核心思想是：不要只盯着 AI 考了多少分（性能），要像心理学家研究人类一样，去理解 AI 的“思维过程”。

以前：我们只关心 AI 能不能答对题。
现在：我们要用认知科学的工具（三个层次），去理解它为什么会答对，为什么会犯错，它的偏见藏在哪里，它的大脑结构是什么样的。

这就好比，以前我们只关心汽车跑得有多快，现在我们要打开引擎盖，看看发动机是怎么运转的，这样我们不仅能修好车，还能设计出更安全、更聪明的未来汽车。

一句话总结：这篇论文告诉我们，要把 AI 当成一个“新物种”来研究，借用人类研究自己大脑的成熟方法，分三个层次（目标、方法、硬件）去彻底搞懂这些强大的机器，从而更好地利用和控制它们。

论文技术总结：大型语言模型的分析层次

1. 研究问题 (Problem)

随着大型语言模型（LLM）能力的飞跃，计算机科学家面临着一个前所未有的挑战：创造了系统却无法理解其内部运作机制。

黑盒困境：LLM 基于包含数十亿连续加权连接的神经网络，其训练数据（尤其是权重）往往不公开，导致研究者只能通过观察其外部行为来推断其性质。
认知科学的类比：这种“从外部理解智能系统”的困境与认知科学在理解人类心智时面临的挑战高度相似。
核心问题：如何建立一套系统性的框架，利用认知科学中成熟的方法来解析 LLM 的行为、内部组织及其局限性？

2. 方法论 (Methodology)

论文提出并应用了大卫·马（David Marr）在信息处理系统中提出的三个分析层次作为核心框架，将认知科学的方法论映射到 AI 研究中：

计算层次 (Computational Level)：
- 关注点：系统解决什么抽象问题？理想解是什么？
- 方法：分析训练目标（如自回归/Next-token prediction），利用贝叶斯最优性（Bayesian Optimality）和公理系统（如概率论、决策论）作为基准，预测模型行为并识别偏差。
算法层次 (Algorithmic Level)：
- 关注点：系统如何近似解？使用了什么表征和算法？
- 方法：借鉴认知心理学技术，包括：
  - 并行与串行处理分析：观察特征干扰（Interference）模式。
  - 相似性判断 (Similarity Judgments)：利用多维尺度分析（MDS）重构模型内部的概念空间。
  - 隐性关联 (Hidden Associations)：改编内隐联想测试（IAT）和反应时任务，绕过模型的“安全对齐”直接探测隐性偏见和关联。
实现层次 (Implementation Level)：
- 关注点：表征和算法如何在物理系统中实现？
- 方法：借鉴神经科学，研究人工神经元和电路。
  - 表征分析：观察激活模式（如几何结构、真理值编码）。
  - 因果分析：使用激活修补（Activation Patching）、稀疏自编码器（SAEs）和概念激活向量（CAVs）进行干预，验证特定电路对行为的因果作用。

3. 主要贡献与关键发现 (Key Contributions & Results)

A. 计算层次：自回归的余烬与贝叶斯偏差

自回归的余烬 (Embers of Autoregression)：研究发现，尽管 LLM 表现出通用智能，但其行为仍受训练目标（预测下一个 token）的强烈影响。
- 结果：在确定性任务（如计数、解码密码）中，LLM 在生成高概率文本时表现更好，而在生成低概率文本时表现显著下降（例如，GPT-4 在回答"30"时准确率为 97%，而在回答"29"时仅为 17%）。
贝叶斯与公理偏差：
- LLM 的推理过程可被视为对贝叶斯推断的近似。通过比较模型与理想贝叶斯解，可以揭示其隐含的先验分布。
- 概率公理违反：LLM 在概率判断上表现出与人类相似的“非理性”偏差（如 $P(A) + P(\neg A) \neq 1$ ），且重复查询同一事件时，其概率判断的均值 - 方差关系呈现倒 U 型，这与人类认知偏差高度一致。

B. 算法层次：表征结构与隐性偏见

并行处理的干扰：视觉 - 语言模型（VLM）在并行处理组合特征（如寻找特定颜色和形状的组合）时，表现出与人类相似的“特征干扰”现象（准确率随干扰项增加而下降），表明其内部使用了组合表征。
跨模态表征：通过相似性判断任务，发现 LLM 即使仅基于文本训练，也能构建出与人类感知高度一致的内部表征空间（如色轮、音高螺旋、辅音分类），证明了其拥有丰富但隐性的感官知识。
隐性偏见探测：利用改编的 IAT 任务，研究发现尽管经过安全对齐（Safety Alignment）的模型在直接询问时表现出谨慎（拒绝刻板印象），但在隐性关联任务中仍显示出强烈的性别刻板印象（如将女性与家庭角色关联，男性与职业角色关联）。

C. 实现层次：从相关到因果

结构化表征：LLM 在内部形成了结构化的几何表征（如空间信息、真理值、循环数据）。
因果验证：通过激活修补等技术，研究者成功定位并验证了特定电路（如“归纳头”Induction Heads）对上下文学习（In-context Learning）的因果作用，证明了复杂行为是由分布式、多部分的算法实现的。

D. 超越马的层次：利用认知科学探索 AI 极限

逆向设计挑战：基于对 LLM 认知架构的理解（如并行处理的局限性、自回归偏差），可以设计专门针对这些弱点的“对抗性任务”。
推理的负面效应：研究发现，对于某些任务（如人工语法学习、面孔识别），强制模型进行“思维链”（Chain-of-Thought）推理反而会导致性能下降，这与人类在类似任务中“过度思考”导致表现变差的心理学现象一致。这挑战了“推理越多越好”的当前 AI 设计假设。

4. 意义与影响 (Significance)

范式转移：论文主张从单纯的“性能评估”（Benchmarking）转向“机制理解”（Mechanistic Understanding）。通过借用认知科学的成熟工具，为理解黑盒模型提供了系统化的“工具箱”。
跨学科桥梁：建立了认知科学与 AI 研究的深度对话。不仅用心理学方法解释 AI 行为，也利用 AI 作为新的“心智”来验证认知理论。
安全与对齐：揭示了安全对齐模型可能仅掩盖了表面行为，而隐性偏见和错误表征依然存在。通过算法层次的探测技术，可以更有效地评估模型的真实风险。
指导未来开发：通过识别 AI 系统的认知局限（如并行处理干扰、推理带来的负面效应），为设计更稳健、更符合人类直觉的下一代 AI 系统提供了理论依据。

总结：
该论文不仅是一个理论框架的提出，更是一份实证指南。它证明了利用 Marr 的分析层次，结合认知心理学和神经科学的方法，可以深入解构 LLM 的“思维”过程，从预测其行为偏差到揭示其内部电路机制，为理解和引导日益复杂的 AI 系统提供了关键路径。