🤖 AI

Distilling Game Code World Model Generation into Lightweight Large Language Models

本文提出了一种可扩展的课后训练流程，结合监督微调与可验证奖励强化学习，将前沿模型生成游戏代码世界模型的能力蒸馏至一个轻量级的 30 亿参数大语言模型中，使其能够根据自然语言规则准确生成可执行的游戏环境。

原作者： Tyrone Serapio, Arjun Prakash, Haoyang Xu, Kevin Wang, Amy Greenwald

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Tyrone Serapio, Arjun Prakash, Haoyang Xu, Kevin Wang, Amy Greenwald

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想要建造一个机器人，让它能够玩你向它描述的任意棋盘游戏，从国际象棋到扑克。为此，机器人需要一本“规则手册”，明确告知它游戏如何运作：棋子如何移动、什么算作胜利，以及玩家犯错时会发生什么。

在过去，为新游戏编写这些规则手册，就像每次都要雇佣一支专家工程师团队从头编写代码。这既缓慢又昂贵，并且需要非常智能（且极其昂贵）的计算机来厘清细节。

本文提出了一种新方法：训练一台小型、廉价的计算机自行编写规则手册。

以下是他们方法的分解，使用简单的类比进行说明：

1. 问题：“天才导师”与“学徒”

目前，如果你希望计算机生成游戏规则手册（作者称之为游戏代码世界模型），你必须向一位“天才导师”（如 GPT-4 或 Gemini 这样庞大且昂贵的 AI）提出请求。

旧方法：你询问天才导师：“为这个新游戏编写规则。”如果它犯了错误，你就检查代码，指出错误，并让天才导师重试。你可能需要重复这个循环数十次。这就像雇佣一位世界级的厨师来制作一个简单的三明治，但你必须不断品尝并把它送回厨房，直到它完美为止。这虽然有效，但速度缓慢且代价高昂。

2. 解决方案：知识蒸馏

作者希望验证是否可以在不需要天才导师每次检查其工作的情况下，训练一个小型、轻量级的 AI（“学徒”）来胜任这项工作。他们将此过程称为**“蒸馏”**。

这就像一位主厨（大型 AI）教导一位初级厨师（小型 AI）如何烹饪。初级厨师不再每次切洋葱时都向主厨求助，而是主厨花时间训练初级厨师，直到初级厨师能够独立完美地烹制这道菜。

3. 训练过程：两步走

作者使用了一个两步训练流程，将小型 AI（Qwen2.5-3B）转变为游戏规则专家：

步骤 1：监督微调（SFT）——“食谱书”
他们向小型 AI 展示了 30 种不同的游戏（如井字棋、扑克和二十一点），以及这些游戏运作方式的正确代码。这就像给学徒一叠完美的食谱书，并说：“记住这些食谱。”
- 结果：AI 在编写代码方面有了显著进步，减少了拼写错误或语法错误（如忘记逗号或括号）。
步骤 2：带有可验证奖励的强化学习（RLVR）——“品尝测试”
仅仅记住食谱是不够的；食物必须尝起来味道正确。作者构建了一个自动化的“品尝测试器”（一个验证框架）。
- AI 尝试编写游戏规则手册。
- “品尝测试器”运行代码。游戏会崩溃吗？规则合理吗？游戏是否正确结束？
- 如果代码通过测试，AI 就会获得“奖励”（积分）；如果失败，则受到惩罚。
- AI 反复尝试，从这些奖励中学习，从而编写出真正有效的代码，而不仅仅是看起来正确的代码。

4. 结果：什么有效，什么无效

作者在他们从未见过的游戏（分布外游戏）上测试了训练有素的“学徒”。

好消息：经过训练的小型 AI 在编写有效游戏代码方面有了显著提升。它学会了避免语法错误，并且比训练前更好地遵循了游戏规则的基本结构。这证明了你可以教会一个小模型胜任这项工作，而无需昂贵的“天才导师”检查每一行代码。
坏消息：AI 在处理最复杂的游戏时仍然感到吃力，特别是那些涉及隐藏信息的游戏（如扑克，因为你不知道对手手中的牌）。
- 比喻：学徒可以完美地制作烤奶酪三明治（简单游戏），甚至制作复杂的千层面（完全信息游戏）。但当被要求制作一道需要猜测对方想法的菜肴（不完全信息游戏）时，学徒会感到困惑，有时会放弃，或者写出一个简化且错误的版本。
- 有趣的是，即使是“天才导师”（GPT-4）在这些复杂的隐藏信息游戏上也遇到了困难，这表明这是所有当前 AI 都面临的一个非常棘手的问题。

5. 核心结论

本文表明，我们可以将生成复杂游戏规则的能力从昂贵的大型 AI 模型中提取出来，并通过训练将其“蒸馏”到更小、更便宜的模型中。

以前：你需要一台超级计算机和大量时间来生成游戏引擎。
现在：你可以训练一个小型、高效的模型来做到这一点，前提是游戏不太复杂。

作者总结道，虽然这个小模型尚未完美（特别是在涉及隐藏秘密的棘手游戏中），但这是朝着让 AI 代理自动创建可游玩的数字世界变得简单且廉价迈出的重要一步。他们并未声称这适用于医疗诊断、金融交易或其他现实世界应用，仅适用于生成模拟游戏环境的代码。

技术摘要：将游戏代码世界模型生成蒸馏至轻量级大语言模型

问题陈述

世界模型（World Models）——即允许智能体模拟行动后果的环境内部表征——的构建对于多智能体系统至关重要。尽管近期研究引入了代码世界模型（CWMs），即利用大语言模型（LLMs）将自然语言游戏描述翻译为与蒙特卡洛树搜索（MCTS）等求解器兼容的可执行 Python 代码，但现有方法仍面临显著的扩展性障碍。

现有的游戏代码世界模型（GameCWMs）生成方法严重依赖“前沿”模型（如 Gemini 2.5 Pro、GPT-4）和大量的推理时计算。这些方法利用迭代优化循环：LLM 生成代码，通过单元测试或真实轨迹进行验证，并在失败时重新生成代码。该过程计算成本高昂且限制了可及性。本研究的核心问题是：是否可以通过后训练，将生成有效 GameCWM 所需的能力蒸馏到更小、更轻量级的模型（具体为 30 亿参数模型）中，从而消除对前沿模型和推理时优化循环的依赖。

方法论

作者提出了一个三组件流程，旨在将 GameCWM 生成能力蒸馏至Qwen2.5-3B-Instruct模型：

1. 数据集构建

构建了一个包含30 种扩展形式游戏的数据集，涵盖：

完美信息游戏：例如井字棋、四子棋、广义国际象棋。
不完美信息游戏：例如二十一点、库恩扑克、勒杜克扑克、红心大战。
分布外（OOD）游戏：标准 LLM 训练数据中不存在的新颖游戏，包括一款名为 Converge 的新游戏。

该数据集由提示 - 代码对 $(P_G, C_G)$ 组成，其中提示包含 API 规范、自然语言游戏描述、显式动作字符串以及一个示例轨迹。目标输出是实现游戏引擎的真实 Python 代码。

2. 分层验证框架

为了在不依赖新颖游戏的真实游戏引擎的情况下进行训练，作者开发了一个四层验证框架来评估生成的代码：

第一层（静态分析）：验证语法有效性、API 完整性（包含所有必需方法）、类型签名以及编译成功。
第二层（动态/模糊测试）：执行 100 个随机合成轨迹，以检查确定性、非终止逻辑、终止逻辑、无崩溃执行以及状态不可变性。
第三层（语义规则遵循）：将生成引擎的行为与由前沿 LLM 根据游戏规则生成的一组“场景轨迹”（游戏历史）进行比较。这测试了边界条件和典型游戏玩法。
第四层（信息一致性）：专门针对不完美信息游戏，该层评估 resample_history 函数。它模拟随机游走至某一状态，提取观测值，并验证重采样的历史是否产生相同的观测值，从而确保认知边界得以维持。

3. 后训练流程

训练过程包含两个阶段：

监督微调（SFT）：使用 LoRA 在提示 - 代码对上对基础 Qwen2.5-3B-Instruct 模型进行微调。此阶段旨在使模型与所需的 API 结构和语法对齐。
基于可验证奖励的强化学习（RLVR）：在 SFT 之后，利用**组相对策略优化（GRPO）**进一步微调模型。奖励信号是一个复合分数，源自四层验证框架：
$r_i = \sum_{t=1}^{4} w_t S_t$
其中 $S_t$ 是第 $t$ 层的通过率，权重（ $w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$ ）优先考虑语义逻辑和信息处理，而非单纯的语法。

关键结果

实验在 7 个保留游戏（包括 OOD 游戏和不完美信息游戏）上进行，每个游戏生成 25 个样本。

整体性能：完整的SFT+RLVR流程产生了最强的模型，平均验证分数达到53.2%，显著优于基础模型（47.3%）和仅 SFT 模型（49.0%）。然而，其表现仍低于 GPT-4o 等前沿模型（66.7%）。
语法和结构提升：SFT 显著提高了静态（第一层）和模糊测试（第二层）分数，表明微调有效地教会了模型所需的 API 结构和稳健的转换逻辑。
语义遵循：RLVR 为语义（第三层）分数提供了最显著的 boosts。SFT+RLVR 模型的语义分数达到 14.4%，而基础模型仅为 8.5%，表明 RL 帮助模型在语法之外遵循游戏规则。
不完美信息挑战：所有模型，包括 GPT-4o，在不完美信息游戏的信息（第四层）一致性方面均表现挣扎。表现最好的 Qwen 模型（SFT+RLVR）仅达到5.3%，而 GPT-4o 为 14.0%。
观察到的局限性：
- SFT 中的过拟合：在训练集中未包含的分布内游戏红心大战上，SFT 实际上降低了性能（从 49.7% 降至 31.4%），原因是模型盲目应用训练期间学到的列表推导式模板，引入了语法错误。
- 推理边界：模型经常插入注释，承认实现 resample_history 逻辑的难度，并选择简化的存根（例如返回最后一个动作），而不是生成复杂的推理路径。这表明基础模型的潜在空间可能缺乏执行这些任务所需的必要“心智理论”推理能力。

意义与主张

该论文声称，通过后训练可以将GameCWM 生成部分蒸馏到轻量级 LLM中。这项工作的主要意义在于证明了：

资源效率：通过将计算负担转移到后训练阶段，可以减少对昂贵的前沿模型和迭代推理时优化循环的依赖。
两阶段必要性：SFT（用于结构/语法）和 RLVR（用于语义遵循）的组合比单独使用任一方法更有效。
可扩展性：该方法为从自然语言自动生成环境提供了一条可扩展的路径，使 GameCWM 能够被更广泛的应用场景所采用。

然而，作者对当前技术状态保持谦逊。他们明确指出，复杂的语义推理和不完美信息处理仍然具有挑战性，并超出了当前轻量级模型和训练流程的能力范围。这项工作并未声称解决了完美 GameCWM 生成的问题，而是提供了一种可行的、比当前依赖前沿模型的方法更高效的替代方案。