What Does Development Add? Multiple-State Evidence Improves Causal Recovery in Constructed Transformer-Circuit Dossiers

侦探的困境：为什么看电影有助于破解犯罪

想象你是一名正试图弄清楚一台复杂机器运作方式的侦探。通常情况下，你只能在机器生命的最后阶段看到它——那时它已经完全建成并正在运行。你会去戳它、拉动杠杆，观察会发生什么。这就是科学家目前研究人工智能（AI）的方式。他们观察一个已经完成的 AI 模型，进行测试，并试图猜测其大脑的哪些部分负责其智能行为。这被称为机械解释性（mechanistic interpretability）。这就像是试图通过只观看魔术的最终揭晓过程来理解魔术，却从未见过魔术师是如何布置舞台的。

但问题在于：有时，两种不同的设置在最后看起来可能完全一样。也许某个部件是为了执行特定任务而建造的，又或者它只是偶然出现在那里，现在正假装在提供帮助。如果你只看最后的一刻，你就无法分辨其中的区别。这就是**发育（development）**这一概念发挥作用的地方。就像观察一个孩子的成长过程比仅仅在成年后见到他更能了解其性格一样，观察 AI 如何一步步“学习”，可能会揭示其思考方式的真实故事。核心问题是：拥有“训练日记”（即 AI 随时间变化的历程）是否真的能比仅仅观察最终结果更好地帮助侦探破解谜团？

实验：一位时空旅行侦探

在这项研究中，研究员 Zuo Yuchen 设置了一个巨大的、受控的谜题来测试这个想法。他们没有使用一个从互联网中学习的真实且混乱的 AI，而是构建了 24 个“构造档案（constructed dossiers）”。你可以把它们想象成 24 台由乐高积木搭建而成的、不同的虚拟机器。研究员完全清楚每一个零件是如何连接以及原本应该做什么的。他们创造了一个完美的“地面真相（ground truth）”，以便能以 100% 的准确度为侦探的工作评分。

这个故事中的“侦探”是一个超级聪明的 AI 语言模型（称为 GPT-5.6-Terra）。研究员给了这位侦探一项任务：弄清楚这台虚拟机器是如何运作的，并预测如果破坏某个特定部件会发生什么。

侦探被分为两组，但他们获得的线索不同：

1. “仅限最终态”组： 这组人得到了五张机器的照片，这些照片都是在其生命周期的最后阶段拍摄的。虽然角度略有不同，但机器在每次拍摄时都处于完全相同的完成状态。
2. “多状态”组： 他们也得到了五张照片，但这些照片是在机器建造过程中的不同阶段拍摄的。他们看到了机器的婴儿期、青少年期和成年期，看着零件一个接一个地拼凑在一起。

至关重要的一点是，最后一张照片（最终状态）对两组人来说都是完全一样的。唯一的区别在于，一组人看到了机器是如何建造出来的“历史”，而另一组人只是反复盯着那个成品看。

他们的发现：历史至关重要

结果非常明确，而且具有很强的针对性。获得多状态（即历史过程）信息的团队在破解谜题方面表现得好得多。

• 绘制连接图： 当被要求绘制机器各部分如何相互连接的地图时，“历史”组的正确率达到了 97.1%。而“仅限最终态”组的正确率为 88.8%。这听起来差距似乎不大，但在复杂的谜题世界中，这是一个巨大的进步。历史组能更好地识别出真实的连接，并忽略那些在结尾处看起来极其相似的虚假连接。
• 预测未来： 侦探还必须猜测如果切断一根电线或夹住一个部件会发生什么。“历史”组预测结果的正确率为 95.4%，而“仅限最终态”组的正确率为 89.1%。
• 天花板效应： 有趣的是，当任务仅仅是命名每个部件的名称（如“选择器”或“映射器”）时，两组人都得到了 100% 的满分。这表明命名部件很容易，而理清复杂的连接网络才是历史信息真正发挥作用的地方。

这意味着什么（以及不意味着什么）

这项研究表明，对于这种特定类型的谜题，观察发育过程是有帮助的。这就像观察一个拼图被组装的过程；你可以看到哪些碎片先被放入，哪些碎片是后来为了修正错误而添加的。由于一些虚假连接在结尾处看起来非常强劲，导致“仅限最终态”组产生了困惑，而“历史”组则能看出这些连接是在后期才出现的，这意味着它们并非最初的计划。

然而，论文非常谨慎，并未过度夸大其词。

• 这是一种模拟，而非现实： 本研究中的“机器”是由计算机程序精心构建的，而不是由 AI 在数月的训练中自然学习而来的。研究员承认这是一个“概念验证”。它证明了这个想法在受控实验室中是行得通的，但并不保证它能适用于世界上每一个真实的 AI 模型。
• “时间”与“多样性”之争： 研究员还想知道：侦探表现得更好是因为看到了事件的顺序（时间），还是仅仅因为看到了机器的不同版本（多样性）？为了测试这一点，他们进行了一个小型的额外检查，即打乱了照片的顺序但保持内容不变。侦探依然表现出色。这表明看到不同的状态是关键，而不一定是时间线本身，尽管该研究规模尚不足以得出定论。
• 并非万灵药： 研究并未发现“仅限最终态”组完全无能为力；他们的表现其实也不错。历史信息只是给了他们一个显著的提升。

总结

这篇论文通过一个有趣但严肃的实验传达了一个信息：“嘿，如果你想了解一个复杂系统是如何运作的，不要只看成品。如果可以的话，看看它是如何成长的。”

对于阅读此文的 AI 研究人员来说，这是一个信号，鼓励他们开始挖掘训练历史。对于我们其他人来说，这提醒我们：语境（context）就是一切。就像了解一个人的童年有助于理解其成年后的选择一样，了解一个 AI 的“童年”（其训练步骤）或许就是解锁其真实思维的秘密。但请记住，这只是用玩具机器进行的测试；现实世界要复杂得多，下一步将是观察这种技巧是否能应用在那些我们每天都在使用的、真正的、成熟的 AI 身上。