技术摘要：Twin —— 利用测试时数字孪生玩未知游戏

问题陈述

本文探讨了一个挑战：智能体如何在没有任何先验指令、演示或明确规则的情况下，学习玩一个未知的交互式网格世界游戏。特定的基准测试是 ARC-AGI-3，它是 ARC 推理基准的继任者，其中每个任务都是一个 $64 \times 64$ 的彩色网格游戏。智能体必须发现：

1. 动力学（Dynamics）： 世界如何响应动作（例如点击）进行状态转换。
2. 目标（Goal）： 隐藏的获胜条件（一个谓词 $R: S \to \{0, 1\}$）。

评估指标是动作效率（action efficiency），分数为 0–100，奖励那些能像第一次玩该游戏的真人一样，以极少动作完成游戏的智能体。传统的基座模型在大多数游戏中表现失败（得分仅为 ~7.8%），因为它们缺乏构建并基于显式环境模型进行推理的能力。

方法论：Twin 系统

Twin 系统采用了“测试时世界模型推理（Test-time World-model Inference）”方法。智能体并非将环境视为黑盒进行反应，而是编写一个 Python 程序（即“孪生体/Twin”）作为该游戏世界模型的可执行假设。该模型通过验证、探索和规划的循环不断得到完善。

核心组件

1. 可执行孪生体（The Executable Twin）：

   • 一个实现 step(grid, action) -> grid 和 goal_reached(grid) -> bool 的 Python 文件。
   • 它始于一个恒等存根（identity stub），并被迭代修复。
   • 它允许精确的回放、确定性的长程展开以及可理解的产物。

2. 验证-探索-规划循环（The Validation-Explore-Plan Loop）：
   系统在一个严格的框架下运行，该框架强制执行一种非对称目标：

   • 拟合（硬约束）： 在进行任何计分动作之前，孪生体必须重现所有先前观察到的状态转换。
   • 可达性（乐观搜索）： 一旦动力学得到验证，智能体就会搜索通往目标的路径。

   该循环包含四个阶段（如图 1 所示）：

   • 观察与记录（Observe & Log）： 智能体观察当前网格，并将转换 $(s, a, s')$ 添加到只增不减的日志 $D$ 中。
   • 验证（Validate）： 框架针对当前的孪生体代码重放整个日志 $D$。如果发生不匹配（即“反例”），孪生体将被阻止执行动作。
   • 探索（Explore）：
     • 动力学墙（Dynamics Wall）： 如果验证失败，系统会根据错误频率和多样性对修复目标进行排序，提示智能体修复 step 函数。
     • 目标墙（Goal Wall）： 如果验证通过但不存在通往目标的路径，系统会基于“进度信号”（例如颜色变化、区域紧凑度）提出候选目标状态。它生成一个暂定的 goal_reached 谓词。
   • 规划（Plan）： 在经过验证的孪生体内运行广度优先搜索（BFS），以寻找通往提议目标的最短路径。
   • 执行检查（ExecuteChecked）： 智能体逐个提交动作。如果实际结果与孪生体的预测相符，则继续计划；如果发生不匹配，则停止动作，将该转换添加到日志中，并重启循环以进行修复。

目标发现策略

推断目标是更难的一半，因为在关卡完成前不会给予任何奖励。Twin 将获胜条件视为一种假设：

• 在任何奖励存在之前，系统会基于看起来具有进度的可达状态提出候选目标谓词。
• 只有当候选谓词在所有已记录的帧上都评估为 false 时（确保与观察到的非目标状态一致），它才会被测试。
• 关卡边界会确认该假设；如果在到达候选状态之前没有遇到边界，则永久拒绝该假设。

核心贡献

1. 测试时世界模型推理： 智能体编写了它所规划的模拟器。环境变成了一个可检查、可证伪且可修复的可执行假设，而非黑盒。
2. 框架强制验证： 不同于其他依赖提示词指令来验证的智能体，Twin 的框架通过机械方式阻断任何计分动作，直到孪生体能够重现整个交互历史。这防止了误差累积。
3. 处理非对称目标： 系统将拟合观察到的动力学这一硬约束与探索目标这一过程分离。它在第一个奖励到来之前就对目标进行假设，从而实现目标导向的规划。
4. 效率： 该系统完成了 179 个 183 个关卡（97.8%），并且在 88.3% 的完成关卡中，其使用的动作数比人类更少。

实验结果

在 25 个公开的 ARC-AGI-3 游戏（183 个关卡）上进行评估：

• 性能： Twin 达到了 93.3/100 的平均分，完成了 23 个游戏。
• 对比：
  • 基座模型 (GPT-5.6 Sol)： 得分为 7.8%（仅完成 1 个游戏）。
  • 现成框架 (Codex)： 得分为 61.1%（完成 13 个游戏）。
  • Twin (本文方法)： 得分为 93.3%（完成 23 个游戏）。
  • 其他系统： OPINE-World (78.4), Prime Agent (78.3), EWM (63.8)。
• 动作效率： 在完成的关卡中，Twin 平均使用的动作数仅为人类的 0.61 倍。在所有系统都完成相同关卡的 13 个游戏中，Twin 在 11 个中的动作数都比竞争对手更少。
• 消融实验： 去除 Twin 框架（仅保留基座模型）后，得分降至 61.1，证实了收益来自于该方法而非仅仅是基座模型。
• 目标推断： 在完成的 179 个关卡中，第一个目标假设是正确的比例为 87.2% (156/179)。其余关卡通过搜索解决。
• 动力学准确性： 孪生体能精确预测 79.0% 的“首次见到的”状态-动作对，展示了超越简单重放的泛化能力。

意义与主张

论文声称，构建一个可用的世界模型比预想的要简单，而推断正确的目标仍然是更难的问题。

• 范式转变： Twin 证明了智能体可以将与未知游戏的交互视为构建一个可执行假设的过程。这使研究重心从“回答采样”（生成大量输出并过滤）转向“世界模型推理”（投入计算量来构建经过验证的模型）。
• 鲁棒性： 框架强制的重放验证确保了模型误差不会累积，这对于长程游戏至关重要，而其他系统往往在此类游戏中失败。
• 局限性： 系统假设动力学是确定性的且状态是离散且微小的。它在处理真正的潜变量（从未在帧中显示的变量）或概率动力学方面表现挣扎。此外，它依赖于固定的搜索预算，这意味着超出视野范围的目标可能无法被发现。

作者总结道，虽然目前的系统实现了人类水平的动作效率，但未来的前沿在于提高目标推断速度，以及处理更复杂、部分可观测或具有概率性的环境。