🤖 AI

Belief or Circuitry? Causal Evidence for In-Context Graph Learning

本文提供了因果证据，表明大型语言模型通过双重机制学习上下文中的图结构，即真实的整体拓扑推断与局部模式匹配同时运作，而非依赖单一策略。

原作者： Katharine Kowalyshyn, Timothy Duggan, Daniel Little, Michael C Hughes

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Katharine Kowalyshyn, Timothy Duggan, Daniel Little, Michael C Hughes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但略显神秘的机器人如何穿越迷宫。你向它展示路径的几步，然后让它猜测下一步。研究人员提出的核心问题是：机器人是如何推断出路径的？

它是仅仅死记硬背它最后看到的几步（就像鹦鹉学舌重复词语）？还是它实际上在脑海中构建了整个迷宫的心理地图（就像人类理解布局那样）？

这篇题为《信念还是电路？》的论文，试图利用大型语言模型（就像驱动聊天机器人的那些模型）以及在一个包含两种不同地图的“随机游走”游戏中来回答这个问题：一种是网格（Grid，就像拥有许多交叉口的城市街区），另一种是环形（Ring，就像环形跑道）。

以下是研究人员发现的简单解释：

1. “信念”与“复制”之争

长期以来，人们一直在争论这些 AI 模型如何从上下文中学习。

“复制”理论：模型只是查看最后几个词，然后说：“哦，我以前见过这个词后面跟着那个词，所以我会再次猜测那个词。”这就像一个只在考试前复习教科书最后一页的学生。
“信念”理论：模型实际上是在推断隐藏的结构。它在思考：“基于这些线索，我相信我处于环形跑道上，而不是网格中”，然后利用这个心理地图进行预测。

2. 实验：混合地图

研究人员没有只给模型一张地图，而是给它一个混合体。想象一下，你向机器人展示一条在网格和环形之间来回跳跃的路径。

如果机器人只是一个复制者，它就不会在意这两种形状的区别。它只会机械地复制它最近看到的内容。
如果机器人是一个信念者，它会对这两种形状区别对待。它会意识到“环形”更简单、更容易学习，而“网格”更复杂，需要更多证据才能弄清楚。

结果：机器人表现得像一个信念者。它比面对简单的环形时，花了更长的时间来“确定”复杂的网格。它不仅仅是在复制；它正在权衡其所处地图的复杂性。

3. “X 光”测试（透视大脑内部）

为了看清机器人是如何做到这一点的，研究人员观察了模型内部的“脑波”（在数学上，这被称为残差流）。他们使用了一种称为PCA（主成分分析）的技术（你可以把它想象成一种 X 光，将三维物体压扁成二维阴影以观察其形状）。

如果仅仅是复制，他们预期的情况：机器人的大脑看起来会像网格和环形的模糊混合体，杂乱地搅在一起。
他们实际看到的：在实验的中期，机器人的大脑同时持有两个截然不同、相互分离的地图。它大脑的一部分持有“网格”形状，而完全不同的另一部分持有“环形”形状。它们就像在两个不同房间里播放的两个不同电台，而不是充满静电噪音的混乱一团。

这有力地证明了该模型不仅仅是在复制；它正在维持对世界的结构化理解。

4. “遥控器”测试（因果证明）

最后，研究人员想知道：“这个心理地图是否真的导致机器人做出正确的猜测，还是仅仅是一个副作用？”

他们使用了两个技巧：

“大脑交换”（修补）：他们从一个知道答案的机器人身上取走“大脑状态”，并将其植入一个困惑的机器人中。
- 结果：困惑的机器人突然知道了答案。这证明了大脑中的信息才是驱动预测的因素。
“微调”（引导）：他们给机器人一个微小的数学推力，方向指向“网格”或“环形”。
- 结果：机器人的猜测完全按照他们推力的方向发生了偏移。如果将他们推向“环形”，它就会猜测环形的邻居。

主要结论

这篇论文的结论是，答案不是“信念或电路”。而是两者兼有。

把 AI 想象成一个正在破案的侦探：

电路（复制）：它查看直接的线索（最后几个脚印）。
信念（结构）：它构建关于嫌疑人特征的假说（地图）。

该模型同时在做这两件事。它利用其“归纳电路”来复制近期的模式，但它也构建了一个真实的、内在的结构模型。这两个系统并行工作，最终的答案来自于将直接线索与宏观理论相结合。

简而言之：AI 不仅仅是一只重复听到内容的鹦鹉；它是一位构建者，正在构建一个世界的心理模型，即使这个世界仅仅是一个由点和线组成的简单游戏。

技术摘要：信念还是电路？上下文图学习的因果证据

1. 问题陈述

本文探讨了机械可解释性领域的一个根本性争论：大语言模型（LLM）如何进行上下文学习（ICL）。具体而言，它研究了 LLM 是推断潜在的结构性关系（一种类似于世界模型上贝叶斯推断的“信念”机制），还是仅仅通过归纳电路复制最近的局部转移（一种“电路”机制）。

尽管近期工作（Park 等人，2025）表明 LLM 在图结构上维持隐式的概率世界模型，但反对观点（Arditi，2026；Ransome，2026）认为，观察到的行为完全可以由局部归纳头累积转移统计量来解释，而无需推断全局结构。作者旨在利用涉及竞争图结构上随机游走的受控玩具任务，对这一争论进行三角验证。

2. 方法论

本研究采用多管齐下的方法，结合行为建模、表示分析和对 Llama-3.1-8B 模型的因果干预。

2.1. 任务设计

作者利用图随机游走任务，让模型预测由未知图生成的序列中的下一个节点。测试了两个竞争假设：

$H_{grid}$ ：一个 $4\times4$ 的网格图（16 个节点，24 条边，可变度数）。
$H_{ring}$ ：一个 16 节点的环图（16 条边，均匀度数）。

为了创造真正的竞争，作者以受控的混合比例（ $\rho$ ）交错排列来自两个图的随机游走，其中 $\rho$ 代表从环图中抽取段落的概率。

2.2. 行为建模（实验 1）

作者将信念动力学模型拟合到观察到的准确率曲线上。与以往平坦的对数先验方法不同，他们引入了复杂度加权先验：
$b_k = b_0 - \lambda \cdot C(H_k)$
其中 $C(H_k)$ 是图假设的最小描述长度（MDL）复杂度（基于边列表编码）。

假设：如果模型执行结构推断，它需要更多的证据才能确信更复杂的图（ $H_{grid}$ ），从而导致 $\hat{\lambda} > 0$ 。
对比：纯粹的归纳电路应均匀地累积转移统计量，无论全局拓扑如何，预测结果为 $\hat{\lambda} \approx 0$ 。

2.3. 表示分析（实验 2）

作者使用主成分分析（PCA）分析残差流激活（特别是第 26 层）。

指标：他们测量度归一化狄利克雷能量（ $E_{norm}$ ），以量化节点令牌表示的低维几何结构与真实图邻接结构对齐的程度。
目标：确定在中间混合比例下，两种图拓扑是否能在正交子空间中同时被恢复，这是与来自局部复制的单一混合表示不一致的特征。

2.4. 因果干预（实验 3）

为了建立内部表示与预测之间的因果关系，作者执行了两种干预：

激活修补（Activation Patching）：在特定层，用来自“干净”（单图）提示的残差流激活替换来自“损坏”（混合）提示的残差流激活。他们使用对数对比分数来衡量对干净图偏好的恢复程度。
激活导向（Activation Steering）：向残差流添加一个学习到的“图差异向量”（源自干净与环上下文），以将预测转向特定的图族。

3. 关键结果

3.1. 行为证据

复杂度敏感性：拟合模型显示 $\hat{\lambda} > 0$ 且 $\hat{b}_{grid} < \hat{b}_{ring}$ 。与环图相比，模型需要不成比例更多的上下文才能确信更密集的网格拓扑。
相变：随着环证据的增加，网格的拐点单调地后移。
模型选择：基于每个图的参数化（允许每个图具有不同的动力学）在 AIC 和 BIC 指标上显著优于混合偏差消融（仅调整先验）。这表明模型针对不同拓扑处理结构证据的方式不同，而不仅仅是通过静态先验。

3.2. 表示证据

正交子空间：在中间混合比例（ $\rho = 0.5$ ）下，PCA 揭示网格和环拓扑同时被编码在正交主子空间中。
含义：纯粹的局部归纳机制会产生共现统计量的单一混合表示。存在两个可分离的全局结构这一事实，与“仅复制”假设相矛盾。
几何对齐：随着上下文长度超过拐点，内部几何结构逐渐镜像真实拓扑， $E_{norm}$ 从 0.785 变为 0.828。

3.3. 因果证据

修补转移：晚期层修补（约第 26–30 层）几乎完全将干净的图偏好转移到损坏的提示中。关键的是，这种效应扩展到未见过的边（在损坏上下文中从未见过的邻居），表明模型不仅仅是重放观察到的转移，而是利用结构表示。
导向：使用图差异向量进行线性导向成功地将预测移向预期方向。这种效应对于范数匹配的随机向量和打乱标签的控制组具有鲁棒性，证实了方向性特定于图族信号。

4. 贡献

复杂度加权先验：用受 MDL 启发的复杂度度量取代平坦先验，恢复了拓扑敏感的结构偏好的定量特征（ $\hat{\lambda} > 0$ ）。
交错竞争：证明了在混合假设机制下，拓扑偏好的证据累积能够抵御归纳电路关于对称行为的预测。
同时编码：提供了 PCA 证据，表明不同的全局图拓扑可以同时被恢复在正交子空间中，这种模式难以与局部转移复制相协调。
因果联系：通过修补和导向确立，这些表示结构因果地控制下一个令牌的预测，包括未见过的转移。

5. 意义与结论

本文结论认为，“信念”（全局结构推断）与“电路”（局部归纳）之间的二分法可能是一个虚假的二分法。证据支持双重机制解释：

类归纳缓存仍然很重要，这体现在对未见边的延迟效应以及导向下的不完全恢复上。
潜在结构表示并行运行，在最终预测之前整合证据。

作者断言，这种共存架构——即真实结构推断和归纳电路同时运行——是未来机械可解释性的主要挑战。他们并不声称 LLM 拥有完全类人的推理能力，而是认为它们在局部模式匹配机制之外，维持着隐式的、可操纵的概率世界模型。