🤖 machine learning

When a Verified World Model Still Loses: Play-Adequacy vs Prediction-Accuracy in LLM-Synthesized Code World Models

本文表明，由大语言模型合成的代码世界模型在采样数据上可以实现近乎完美的转移准确率，却因遗漏了罕见但关键的规则而在规划任务中出现系统性失败，这揭示了对于面向规划的世界模型而言，预测准确率是一个不如博弈表现或搜索分布覆盖率有效的指标。

原作者： Javier Aguilar Martín

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Javier Aguilar Martín

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

魔法盒子与盲点

想象一下，你正在教一个超级聪明的机器人玩一种新的棋类游戏。你不希望机器人只是死记硬背它见过的每一个动作；你希望它能理解“规则”，这样它才能预判并获胜。在人工智能的世界里，有一个聪明的技巧叫做“代码世界模型”（Code World Model）。与其让机器人靠猜，不如我们要求一个大语言模型（比如那些写故事或写代码的模型）阅读规则手册，并编写一个能完美模拟该游戏的计算机程序。一旦机器人拥有了这个程序，它就可以在脑海中运行数百万场虚拟比赛，从而找到最佳策略。

但棘手的地方在于：我们如何知道机器人写的程序是正确的呢？通常，我们会通过让它进行几次随机对局来测试它。如果机器人的程序能正确预测这些随机对局的结果，我们就说：“太棒了，模型已通过验证！”然后让它开始实战。这篇论文提出了一个可怕的问题：如果机器人的程序在预测随机对局时表现完美，但在真正决定胜负的关键时刻却完全错误，该怎么办？事实证明，仅仅因为一个模型通过了随机测试，并不意味着它已经准备好迎接顶级联赛了。

缺失规则的故事

这篇论文的研究人员发现了我们在测试 AI 游戏玩家时的一个隐藏陷阱。他们发现，一个 AI 可以轻而易举地通过“验证门槛”——在随机测试对局中取得 100% 的准确率——却在面对高水平对手的真实对局中输掉每一场比赛。

为了理解这是如何发生的，想象你在测试一个新的游戏引擎。你进行了 40 场随机比赛，你在其中只是乱按按钮并让角色转圈圈。引擎完美预测了这 40 场比赛发生的一切。于是你给了它一颗金星并说：“完美！”但假设游戏中有一个秘密规则：“如果游戏持续超过 100 回合，则金币最多的玩家获胜。”在那些 40 场乱按按钮的随机比赛中，游戏从未持续那么久，因此引擎从未被测试到这条规则。它通过了测试。

然而，当一个“聪明”的玩家（AI 的对手）进行比赛时，他们知道如何将游戏拖延到 100 回合来获胜。而那个使用“已验证”引擎的 AI，却不知道这个秘密规则的存在。它认为游戏应该以平局结束。因为缺失了这一个微小且罕见的规则，它犯了一个致命错误并输掉了比赛。研究人员将此称为**“已验证与正确性差距”（verified-vs-correct gap）**。模型是“已验证”的（它通过了测试），但不是“正确”的（它在现实世界中失败了）。

罕见错误的法则

这篇论文不仅指出这种现象的存在，还给出了一个可以精确预测何时会发生这种情况的数学公式。他们称之为**“危险法则”（Danger Law）**。

把验证测试想象成一张捕鱼网。“规则的稀有度”就像是捕捉触发该规则的鱼有多难。如果这条规则在 50% 的游戏中都会发生，那么即使是很小的网也能轻松捕捉到它。但如果规则只在 2.5% 的游戏中发生（比如文中的“100 回合”规则），而你只撒了 40 次网，那么极有可能完全错过它。

公式是：危险程度 = (错误的影响有多大) × (测试错过规则的概率)。

在实验中，他们创建了一个名为 army5x5a 的游戏，其中包含一个关于达到时间限制时的隐藏规则。他们发现，当规则很罕见（在随机游戏中仅占约 2.5%）时，AI 虽然通过了测试，但在真实比赛中的胜率仅为 0.404（约 40%），而公平的基准线是 0.495（约 50%）。这听起来差别似乎不大，但在竞技游戏的世界里，输掉 1.6 场比赛才赢一场简直是一场灾难。那个“已验证”的模型被系统性地智取了，因为它对最重要的环节视而不见。

为什么增加样本没有帮助

你可能会想：“好吧，既然测试样本太少了，那我们就给 AI 更多关于那个罕见规则的例子吧！”研究人员也尝试过这样做。他们向 AI 输入了数千个关于游戏进入平局决胜阶段的例子，希望它能借此“学习”到这条规则。

但令人惊讶的转折出现了：这并没有奏效。 AI 的表现更像是一个“翻译官”，而不是一个“侦探”。如果你直接告诉它：“这就是规则，”它能完美地写出代码。但如果你只是展示例子并说：“请从数据中推导出规则，”它就失败了。即使面对数百个例子，AI 也无法仅凭数据推断出缺失的规则。它根本无法猜测那些没有在指令中明确写出的内容。这表明，对于这些 AI 系统而言，“规范完整性”（Specification Completeness，即提供完整的规则手册）远比“从例子中学习”更为重要。

扑克问题：当你看不见牌时

论文还探讨了那些信息不完全透明的游戏，比如扑克。在这些游戏中，AI 必须猜测对手持有的牌。这被称为模型的“推理”部分。

研究人员证明，对于简单的扑克类游戏，随机测试其实是安全的，因为这类游戏过于“浅层”：你无法在短促的游戏中隐藏秘密规则。但他们构建了一个名为 Beacon 的微型自定义游戏，用以证明在更深、更复杂的游戏中，同样的陷阱依然存在。在 Beacon 中，AI 必须根据对手的动作来猜测对手的隐藏类型。AI 在测试中表现完美（在 8,156 个测试案例中零错误），但在真实的对局中却输掉了每一场（胜率为 0%）。

为什么？因为测试使用的随机动作几乎从未触及到隐藏秘密的深层游戏环节。AI 的“猜测大脑”是错误的，但测试从未察觉，因为测试太浅了。这就像是通过让一名侦探去解决“袜子丢失案”来测试其破案能力。他们可能会完美解决袜子案，但在处理“谋杀案”时却会败下阵来。

核心结论

这篇论文给所有构建游戏或规划类 AI 的人提出了一个警告：不要仅仅因为一个模型通过了随机测试就信任它。

如果这个 AI 将被用于应对能够进行深度战略决策的智能规划者，你不能仅用随机、浅层的测试来验证它。你必须要么：

针对实际策略进行测试： 让 AI 与聪明对手对战，观察它是否能赢，而不仅仅是看它能否正确预测随机动作。
提供完整的规则手册： 在要求 AI 编写代码之前，确保指令是 100% 完整的。

论文表明，一个模型可以是“已验证”的，却依然具有危险性，仅仅是因为测试错过了那个决定胜负的关键且罕见的瞬间。它提醒我们，在 AI 的世界里，通过测试并不等同于准备好应对实战。

技术摘要：验证世界模型与 LLM 合成代码世界模型的游玩充分性（Play-Adequacy）

1. 问题陈述

本文研究了**代码世界模型（Code World Model, CWM）**范式，即利用大语言模型（LLM）合成代表游戏转移动力学的可执行代码，随后由经典规划器（如 MCTS）进行游玩。标准的验证协议涉及不断优化合成的代码，直到其在随机采样的轨迹集（即“门槛/Gate”）上达到 100% 的转移准确率。

核心问题在于：通过该门槛是否能证明该模型的规划充分性（Adequacy for Planning）。作者认为，在高随机样本上的高预测准确率并不是衡量规划充分性的正确指标。他们提出了一个结构性差距：规划器会将搜索集中在具有战略意义（通常是深层或罕见）的状态上，而随机采样则集中在浅层、常见的历史记录上。因此，一个 CWM 可能通过门槛并达到 100% 的准确率，却在实际游玩中因遗漏了一个“虽罕见但关键”的规则而在系统中性失败——这种规则在随机游玩中极少触发，但在胜任型游玩中会被可靠地利用。

2. 研究方法

本研究在完全信息和非完全信息游戏中采用了严谨的实验和理论框架：

合成流水线： 使用提示词引导 LLM（GPT-5.x 系列：mini, nano, large）根据游戏规则和随机轨迹来合成实现标准 CWM 合约（initial_state, legal_actions, apply_action 等）的 Python 模块。
门槛（The Gate）： 采用精炼循环，根据真实轨迹检查合成的代码。只有当模型在采样集上达到 100% 的转移准确率时，才被接受。
工具化设计：
- 完全信息： 作者构建了一个带有“材质于顶端（material-at-cap）”平局判定规则的 army5x5a 变体。该规则在随机游玩中很少见（发生率约为 2.5%），但在胜任型游玩中具有决定性（发生率约为 50%）。
- 非完全信息： 他们引入了 Beacon，一个极简的手工构建游戏，旨在隔离推理错误。该游戏包含一个仅通过最优生存策略才能到达的“深层区域”，而随机游玩几乎永远无法到达该区域。
指标：
- 门槛视角（Gate Lens）： 转移准确率、状态准确率、观测率和推理率。
- 决策视角（Decision Lens）： 在竞技场游玩中相对于真实对手的胜率，使用 Wilson 95% 置信区间进行测量。
- 差距测量（Gap Measurement）： 门槛分布上的状态准确率与规划器搜索分布上的状态准确率之间的差异。
修复尝试： 作者测试了通过提供判别性示例（通过 DAgger、针对流形上的目标转移或人工状态）是否能让 LLM 推断出缺失的规则。

3. 核心贡献与结果

3.1 验证与正确之间的差距（The Verified-vs-Correct Gap）

论文证明，一个 CWM 可以通过转移门槛（100% 准确率）并在规划器的搜索分布上达到 $\ge$ 98% 的状态准确率，却在实际游玩中表现出系统性失败。

证据： 在带有遗漏“材质于顶端”规则的 army5x5a 中，该“规则盲”CWM 相对于公平基准（0.495）的胜率为 0.404（95% CI [0.384, 0.424]）。Wilson 区间相互分离，证实了存在显著的统计学意义上的“游玩代价”，即 0.091。
原因： 误差存在于应用该规则的 <1% 的状态中。随机采样稀释了这一误差，使得状态准确率看起来很高，而规划器的搜索则集中在这些关键状态上。

3.2 定量危险定律（The Quantitative Danger Law）

作者推导出了一个控制采样验证预期危害的闭式定律：
$\text{danger} = \text{play\_cost} \times (1 - \text{rarity})^N$

$(1 - \text{rarity})^N$ ： 规模为 $N$ 的门槛（独立同分布的伯努利采样）未能观察到稀有度为 $r$ 的规则的精确概率。
$\text{play\_cost}$ ： 条件化为规则被遗漏时的经验性能损失。
阈值行为： 该定律预测了一个阈值：当规则足够常见以至于能被门槛捕捉时，危害可以忽略不计；随着规则变得愈发罕见，危害急剧上升；当规则几乎总是逃避检测时，危害会饱和于完整的游玩代价。

3.3 是翻译而非推理（Translation, Not Inference）

论文探讨了提供示例转移是否可以修复缺失的规则。

发现： LLM 的合成行为更接近于规则翻译，而非规则推理。
证据： 在多种数据机制（朴素 DAgger、正规 DAgogy、针对流形的特定示例）和不同模型规模下，即使存在判别性转移，LLM 也未能推断出遗漏的规则。
可证核心： 一个理论命题表明，如果规则不在样本中（概率为 $(1-r)^N$ ），那么任何学习器都无法仅从这些转移中推断出该规则。即使规则在样本中，测试的 LLM（GPT-5.x）也始终无法将其编码，这表明其在从示例中推断规则方面存在局限，而非仅仅是翻译规范的能力问题。

3.4 非完全信息与推理差距

该机制扩展到了非完全信息游戏中的推理函数（重建隐藏状态）。

覆盖界限（Coverage Bound）： 作者证明，当 $N \gtrsim b^{d_{max}} \cdot p_{chance}^{-1} \cdot \log |I|$ 时，随机推理门槛是识别性的（覆盖了所有相关信息集）。这解释了为什么像 Kuhn poker 这样简单的游戏不会出现差距。
Beacon 实验： 在构建的游戏 Beacon 中，一个“经过验证但错误”的推理函数通过了门槛（0/8156 次不匹配），但在实际游玩中输掉了每一局（胜率 0.000 对比基准 0.500）。错误仅限于一个由最优策略到达但对随机采样不可见的深层区域。
信念盲区（Belief Blindness）： 转移准确率门槛在结构上无法识别错误的信念模型（观测/推理函数），因为信念划分并不出现在转移元组 $(s, a, s')$ 中。

4. 重要性与主张

论文对“基于随机轨迹的转移准确率是否能证明规划充分性”这一问题给出了严谨的否定回答。

结构性诊断： 失败并非模型容量问题，而是到达分布偏移（Reach-distribution shift）。验证策略（均匀随机）与部署策略（胜任型规划器）所集中的质量分布在状态空间上是互斥的。这类似于博弈论中不受约束的离均衡路径信念问题。
实践意义：
1. 验证： 充分性必须在搜索分布或通过直接游玩来衡量，而非通过采样转移的预测准确率。
2. 规范： 完成规范说明比尝试通过示例修复差距更有效。模型是在翻译已给出的内容，而不是可靠地推断遗漏的内容。
范围： 这些发现是在特定的 GPT-5.x 系列模型及机制下建立的。虽然“翻译 vs 推理”的行为在不同模型规模和修复策略下均有观察到，但作者将“没有任何模型能推断出遗漏规则”这一普遍性主张视为受其数据支持的猜想，并指出更强的代码推理模型或智能体架构可能会改变这一结果。

论文总结道，“验证与正确”之间的差距是合成世界模型在规划中面临的一个基本限制，这是由通过均匀随机采样捕捉罕见但关键动态的统计学不可能导致的。