Causal Structure is Inducible but Functionally Decoupled: The Routing/Readout Boundary of a Typed Mechanism Library

AI 的隐藏交换机

想象一下，你正试图理解一个巨大的、超级聪明的机器人是如何思考的。长期以来，科学家们一直基于一个简单的想法进行研究，即“电路板直觉”。把机器人的大脑想象成一块巨大且复杂的电路板。如果你在那块板上找到一根特定的导线或一个微小的开关，逻辑告诉我们，如果拨动那个开关，机器人的行为应该会立即发生变化。如果这个开关是控制“说实话”的，拨动它理应让机器人开始撒谎。这个想法是许多关于 AI 如何运作以及我们如何修复或编辑其记忆的研究的基础。

但如果机器人的大脑根本不是电路板呢？如果它更像是一个繁忙的图书馆呢？在这个图书馆里，有成千上bu卷书（AI 的知识）和一个非常有序的归档系统（AI 的内部结构）。科学家们正在提出的核心问题是：这个归档系统是否真的驱动了机器人给出的答案，还是它仅仅是一个华丽的索引，帮助机器人找到正确的书，却并不实际编写书中的内容？如果归档系统只是一个索引，那么试图通过修改索引卡片来“编辑”机器人，可能并不会改变机器人实际说出的话。这篇论文深入探讨了这个问题，测试了我们是否可以通过调整 AI 的内部结构来真正控制它，还是说这种结构仅仅是一个沉默的观察者。

只负责组织但不负责表达的图书馆

研究人员构建了一种特殊的 AI 模型来测试这一点。他们给了模型一个“类型机制库”，这就像是一组 600 个不同的、带有标签的抽屉（或槽位），AI 可以将特定类型的知识（例如“谁与谁有亲属关系”或“符号代表什么意思”）存储在其中。他们训练 AI 使用一个“门控头”，这个门控头充当着图书管理员的角色。当 AI 接收到一个问题时，图书管理员会检查所需的证据类型，并将问题路由到正确的抽屉。

团队想要观察两件事：首先，AI 是否真的学会了根据信息类型来组织这些抽屉，还是这仅仅是偶然发生的？其次，一旦 AI 组织好了这些抽屉，改变抽屉里的内容是否真的会改变 AI 给出的答案？

组织是真实的，但它不是老板
研究发现，如果教导 AI 去做，它确实能完美地组织其抽屉。如果你告诉 AI，“把所有的‘关系’类事实放在抽屉 A 中”，它会完全照做。这种组织并非偶然发生，而是由特定的训练信号诱导产生的。然而，这里有一个令人惊讶的转折：尽管 AI 拥有这个完美、有序的图书馆，但改变图书馆并不会改变答案。

研究人员对图书馆进行了 150 次不同的编辑。他们翻转了符号、增加了边（edges）并交换了抽屉中的信息。结果如何？AI 的最终答案几乎没有任何变化——具体来说，变化量小于 0.00000034（或 3.4 × 10⁻⁶）。为了让你有个直观的概念，如果答案是在 1 到 10 的刻度上的一个数字，那么这种变化微小到几乎不可见。“图书管理员”（路由系统）完美地履行了职责，但“作者”（生成答案的部分）却忽略了图书馆的变化。图书馆充当的是一个路由索引，它告诉 AI 去哪里寻找信息，但它与实际阅读答案的过程在功能上是解耦的。

“移动零点”与规模问题
这篇论文还揭示了我们在测试 AI 时遇到的一个棘手问题。研究人员发现，随着 AI 规模的增大，AI 组织自身的方式所呈现的“基准”或“零点”也会发生变化。他们测试了两个尺寸的 AI：一个拥有 2260 万个参数的小型版本，和一个拥有 1 亿 2500 万个参数的较大版本。

在较小的规模下，那个没有被教导去组织抽屉的 AI（“无监督”对照组）完全没有任何组织性。但在较大的规模下，同一个未经训练的 AI 开始表现出一点自发的组织性。这意味着，对于不同规模的 AI，其“空白”基准是不一样的。如果你用旧有的规则去比较一个小 AI 和一个大 AI，你可能会感到困惑，因为规则本身已经发生了偏移。作者称之为“移动零点”。为了解决这个问题，他们创建了一种更严格的测试方法，通过将受训 AI 直接与一个同等规模的新鲜、未经训练的 AI 进行对比，从而确保比较的公平性。

零成本与完美的逆向性
尽管图书馆与答案之间存在这种奇特的脱节，但该系统依然运行得非常出色。添加这个库对 AI 的通用智能能力几乎没有任何成本；性能差异小于 0.0082 nats（一个极小的信息单位），这实际上等于零。此外，该图书馆在编辑方面是完全安全的。研究人员可以进行更改，然后撤销这些更改，实现位精确的可逆性（bit-exact reversibility），这意味着 AI 回到了其完全原始的状态，而不仅仅是“接近”原来的版本。他们通过三个不同训练过程中的 250 次单次编辑和 1,000 次堆叠还原测试了这一点，结果显示每次都完美运行，零失败。

这对未来意味着什么

对于那些希望通过简单编辑内部零件来“修复”AI 的人来说，主要的启示是令人感到谦卑的。论文表明，“电路板直觉”对于这种显式结构是错误的。仅仅因为你能看到一个开关并拨动它，并不意味着机器会对它做出反应。在这种特定的设置下，AI 的内部组织是一个类型化路由索引，它帮助模型寻找信息，但它并不是驱动最终输出的引擎。

作者非常谨慎，并未声称他们已经解决了编辑 AI 行为的问题。事实上，他们的结果表明，对于这种特定的架构，结构性编辑并不会导致行为改变。这个“图书馆”是可编辑的状态（你可以改变抽屉里的卡片），但它不是行为可编辑的（改变卡片并不会改变机器人讲述的故事）。这一发现经过了测量、复制，并在不同规模下保持稳定，为我们能够以及不能控制这些系统划定了一个精确的界限。它提醒我们，在复杂的 AI 世界中，看到结构并不等同于控制结果。