🤖 machine learning

MetaOthello: A Controlled Study of Multiple World Models in Transformers

本文介绍了 MetaOthello，这是一个受控的黑白棋变体套件，它证明了在多种游戏规则下训练的 Transformer 并不会将其学习过程隔离到独立的子模型中，而是收敛于一种共享的、具有因果可迁移性的棋盘状态表示，通过分层专业化和几何对齐来组织多个世界模型。

原作者： Aviral Chawla, Galen Hall, Juniper Lovato

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aviral Chawla, Galen Hall, Juniper Lovato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下一个巨大的、超级聪明的机器人厨师。通常，我们认为这些机器人一次只能学习一道菜谱。但在现实世界中，机器人可能需要同时掌握如何烤蛋糕、煎牛排和制作寿司，并根据顾客的订单进行即时切换。

研究人员提出的核心问题是：这个机器人是如何在脑海中保留这些不同的“世界”而不产生混淆的？ 它是在大脑里建立了三个独立的厨房？还是使用一个大厨房并根据情况随时改变规则？

为了找出答案，作者创建了一个名为 MetaOthello 的游乐场。

游乐场：多重规则的游戏

把黑白棋（也称为 Reversi）想象成一个棋盘游戏，你需要在上面放置黑白棋子。目标是通过翻转对手的棋子来改变其颜色。

研究人员不仅仅创建了一个版本的游戏。他们创造了一个 Othello 的“多元宇宙”：

经典版 Othello： 标准规则。
NoMidFlip（无中间翻转）： 与经典版相同，但你只能翻转最外层的棋子，不能翻转中间的棋子。
DelFlank（侧翼删除）： 一个疯狂的版本，棋子可以被“删除”而不是“翻转”，且游戏的起始布局也不同。
Iago（伊阿古）： 规则与经典版完全一致，但移动的名称被打乱了（比如用“A1”代替“1,1”）。

他们训练了小型 AI 模型（Transformer）来玩这些游戏。有时他们只针对一种游戏进行训练；有时则将它们投入深水区，喂给它们各种不同版本的随机混合数据。

重大发现：一个大脑，多顶帽子

研究人员原本预期，如果 AI 学习多种游戏，它可能会将其大脑拆分为不同的“子模型”——就像在同一个脑袋里住着一个“经典厨师”和一个“DelFlank 厨师”。

但他们错了。

相反，AI 学习到了一种共享的、通用的“心理地图”。

共享地图： 无论 AI 在玩经典版还是 NoMidFlip，它都使用完全相同的内部表示来理解棋盘上的棋子位置。这就像机器人厨师无论是在做蛋糕还是煎牛排，都在使用同一个厨房台面的心理图像。
证据： 研究人员使用了一个“探测器”（一种可以读取 AI 心智的简单工具），该工具是在经典版 Othello 上训练的。当他们使用这个工具在 AI 玩 NoMidFlip 时读取其心智时，探测器几乎完美运行。AI 并没有使用两张不同的地图；它是在两种情况下都使用一张共享的地图。

它如何处理混乱？

这里是最棘手的部分。在游戏的开始阶段，一个动作可能在经典版和 NoMidFlip 中都是合法的。但到了后期，某个动作可能在一个版本中合法，而在另一个版本中非法。AI 如何知道该遵循哪本规则书？

研究人员发现，AI 在其大脑中间（具体是在第 5 层左右）使用了一个专门的“交通警察”电路。

共享基质： AI 为所有人保留了共享的棋盘地图。
冲突检测器： 当 AI 看到一个可能属于两种游戏的动作时，大脑的一个特定部分会亮起，开始计算：“这是一个经典版动作，还是一个 NoMidFlip 动作？”
切换： 这个交通警察随后进行路由。如果它判定为“经典版”，AI 就遵循经典规则；如果是“NoMidFlip”，则遵循相应的规则。

这就像一个火车站，有一个主轨道（共享棋盘），然后在到达目的地之前分叉成两条不同的线路（特定的规则）。AI 并不是建造了两个车站，它只是拥有一个带有智能开关的单一车站。

“分布外”的转折

研究人员还测试了当游戏差异非常大时（例如经典版对比 DelFlank）会发生什么。在这种情况下，游戏会迅速分化，以至于在仅仅几步之后，几乎不可能存在一个在两者之间都有效的序列。

在这种情况下，AI 改变了策略。它不再保持两种可能性并等待切换，而是提前做出承诺。它选择了一个世界（通常是它见得更多的那个），并放弃了另一个。如果你试图让它在稍后记住那个“被遗忘”的游戏，你必须在其思考过程的极早期进行干预，才能让它切换回来。

“Iago”实验：同样的规则，不同的语言

最后，他们测试了“Iago”版本，即规则与经典版完全相同，但移动的词汇被重新排列了。

结果： AI 学习到了完全相同的内部结构。唯一的区别是一个简单的数学“旋转”（类似于将地图旋转 9 度）。
意义： AI 并不在意表面的词汇（词汇表）；它学习的是抽象的结构。这就像意识到伦敦的地图无论你是用英语还是法语阅读街道名称，看起来都是一样的。

总结

论文得出结论，当 Transformer 学习多个“世界”（不同的规则或语境）时，它们并不会为每个世界建立独立的房间。相反，它们：

共享一个核心表示（状态/棋盘）。
将冲突局部化到一个特定的、微小的电路中，该电路充当开关。
通过仅在规则真正发生冲突的地方构建额外机制，来实现资源优化。

这表明，即使是复杂的 AI 模型也具有惊人的效率：它们不需要为每个任务准备一个单独的大脑，它们只需要一个带有智能切换方式的共享大脑。

技术摘要：MetaOthello：关于 Transformer 中多世界模型的受控研究

问题陈述

基础模型在多样化的数据上进行训练，必须同时学习多种生成过程，并根据上下文在这些过程之间进行切换。虽然机械解释性（mechanistic interpretability）已在 Othello-GPT 等单任务设置中成功识别出“世界模型”（即对潜在状态的内部表示），但目前尚不清楚单个 Transformer 如何在一个共享的表示空间内组织多个、且可能冲突的世界模型。以往的研究通常只隔离单一规则系统，未能解决当多个规则系统共存且可能发生冲突时，模型如何处理异构数据的问题。

方法论：MetaOthello 框架

为了填补这一空白，作者引入了 MetaOthello，一个用于研究多世界模型组织的受控合成框架。

游戏变体： 该框架定义了一个在 $8 \times 8$ $8 \times 8$ 棋盘上进行的类 Othello 游戏的宇宙，具有共享的词表（64 个位置 + 跳过）。这些游戏的底层物理规则各不相同：
- Classic（经典版）： 标准 Othello 规则。
- NoMidFlip（无中间翻转版）： 初始化和验证逻辑与 Classic 完全一致，但更新规则仅翻转最外侧的两个被夹在中间的棋子。
- DelFlank（删除边缘版）： 使用基于邻居的验证规则（移动必须与已有棋子相邻），且更新规则是将夹在中间的棋子“删除”而非“翻转”。
- Iago（伊阿古版）： 一种经过置换的变体，其 Token 词表相对于物理棋盘移动通过一个双射（语法映射/Syntax Map）进行了重新排列，但底层的逻辑与 Classic 保持一致。
训练方案： 小型仅解码器（decoder-only）Transformer（8 层，8 头， $d_{model}=512$ $d_{m o d e l} = 512$ ）在以下数据上进行训练：
- 纯数据集： 来自单一游戏变体的序列。
- 混合数据集： 从成对的变体（例如 Classic + NoMidFlip）中采样序列，从而产生“歧义”前缀（即该序列在两种规则集下均有效，但会导致不同的棋盘状态）。
评估指标：
- $\alpha$ -Score： 一个归一化的性能指标，考虑了有效移动集的熵，允许在具有不同分支因子的不同游戏中进行比较。
- 线性探针（Linear Probes）： 用于从残差流中解码棋盘状态（我的/你的/空的）以及游戏身份。
- 因果干预（Causal Intervention）： 使用探针权重来引导模型的内部状态（例如，改变表示中某个棋子的状态）以测试因果效力。
- Procrustes 对齐（Procrustes Alignment）： 用于测量不同游戏变体之间探针权重的几何相似性，识别可使表示对齐的正交旋转。

关键发现

1. 跨变体对齐与共享表示

在混合数据上训练的 Transformer 并不会将容量划分到孤立的子模型中。相反，它们学习到了一种共享的世界状态表示：

几何对齐： 在一种变体（如 Classic）上训练的线性探针可以有效地干预另一种变体（如 NoMidFlip 或 DelFlank）的内部状态。
旋转不变性： 对于具有置换分词方式（Iago）的同构游戏，其表示在所有层级上都等价于一个正交旋转。这表明模型学习到了独立于表面 Token 的抽象结构。
因果效力： 跨探针干预的效果几乎与匹配探针干预相当，这表明棋盘状态的底层因果几何结构是共享的。

2. 精简化与冲突解决

模型并不会同时维持两个完全不同的世界模型。相反，它通过**精简化（economizes）**处理：在规则一致处共享表示，并在冲突处实现局部化：

共享基质： 棋盘状态的表示是真正共享的。
局部化冲突： 一个薄薄的、单独计算的“冲突特征（conflict feature）”决定了何时应用哪套规则系统。
层级专业化： 在 Classic-NoMidFlip 混合数据中，模型会维持两种棋盘状态，直到出现冲突。游戏身份的概率编码始于第 4 层（通过 MLP），并通过第 5 层（特别是注意力头 5）进行路由。通过因果方式引导这一特定电路，可以控制模型对歧义前缀所应用的规则系统。

3. 不同的仲裁机制

处理歧义的机制取决于规则系统之间的差异程度：

高重叠度（Classic-NoMidFlip）： 模型维持两种棋盘状态，并在冲突点重新加权一个共享的中层子空间。
低重叠度（Classic-DelFlip）： 由于 DelFlip 游戏树迅速偏离 Classic，歧义序列会迅速变为分布外（OOD）数据。在这种机制下，模型会尽早做出承诺（commits early），选择单一世界模型（Classic）并丢弃另一种解释。恢复被抑制的解释需要干预早期层级（2–3 层），而非中层。

意义与主张

本文将 MetaOthello 定位为机械解释性的方法论贡献，旨在为验证技术提供一个“地面真值测试床（ground-truth testbed）”，以便在应用于复杂的自然语言数据之前进行测试。

解决悖论： 该研究解决了看似矛盾的现象：即模型如何既拥有可互换的不同游戏的表示，又能区分这些游戏。答案在于：对于共同状态，存在一个共享基质；而对于冲突解决，则存在一个局部化路由电路。
对大型模型的启示： 研究结果表明，大型基础模型组织异构知识的方式，可能不是通过将容量划分到独立的子网络，而是通过共享对齐的结构并将冲突局部化到可识别、可引导的电路中。
局限性： 作者承认这些发现是在受控的合成环境中建立的。该研究仅测试了成对混合以及特定的架构规模，对于不平衡混合、更大规模以及多方仲裁的影响仍是开放性问题。此外，分析依赖于线性探针，非线性结构可能会揭示更多的机制。

总之，本文证明了 Transformer 通过共享结构和局部化冲突来协调相互冲突的世界模型，为序列模型中多任务学习的操作提供了一个具体的机械视角。