💬 NLP

CAST: Game Solvers as Turn-Level Teachers for LLM Agents

该论文提出了 CAST，一种利用游戏求解器中的状态价值变化来为通过具有可验证奖励的强化学习训练 LLM 智能体生成稠密的回合级信用信号的方法，其在各种游戏环境中显著优于现有的基准方法。

原作者： Yu Wang, Yi-Kai Zhang, Wentao Shi, Ziang Ye, Yuchun Miao, Yueqing Sun, Qi Gu, Xunliang Cai, Lan-Zhe Guo, Han-Jia Ye, Fuli Feng

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu Wang, Yi-Kai Zhang, Wentao Shi, Ziang Ye, Yuchun Miao, Yueqing Sun, Qi Gu, Xunliang Cai, Lan-Zhe Guo, Han-Jia Ye, Fuli Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

“如果……会怎样？”的大型游戏

想象一下，你正在教一个非常聪明、非常热衷学习的机器人玩一种复杂的棋类游戏（如国际象棋）或电子游戏。这个机器人读遍了图书馆里的每一本书，能比几乎任何人都能更好地理解语言，但它从未真正“玩”过这类游戏。这就是**大语言模型（LLMs）**的世界：它们是超级聪明的计算机，可以聊天、写作和推理，但在需要为了实现某个目标而在不断变化的环境中做出系列决策时，往往会感到吃力。

为了教导这些机器人，科学家通常使用一种叫做**强化学习（Reinforcement Learning）**的方法。这就像是在训练一只狗。你给它一个指令，它做出反应，如果它在最后时刻做对了，你就给它一个巨大的奖励（零食）；如果失败了，它什么也得不到。问题在于，在漫长而复杂的游戏中，“奖励”只会在最后时刻出现。如果机器人在三步之前犯了一个错误，它并不知道究竟是哪一步出了问题。它只知道整个游戏失败了。这就是所谓的“信用分配”（credit assignment）问题：即弄清楚究竟哪一个具体的步骤应该获得荣誉，或者该为失败承担责任。由于无法得知这一点，机器人只能靠猜，这使得学习过程变得极其缓慢且令人沮丧。

“求解器”老师：一种新的学习方式

本文介绍了一种巧妙的新技巧，叫做 CAST（来自求解器老师的信用分配），旨在帮助这些人工智能智能体学得更快、更聪明。研究人员意识到，虽然 AI 在努力摸索游戏规则，但其实已经有一个“完美玩家”就在身边了：一个游戏求解器（game solver）。求解器是一个专门设计的计算机程序，旨在完美地解决特定的游戏，就像解一道数学方程一样。它确切地知道从棋盘上的任何给定位置出发，需要多少步才能获胜。

作者的核心想法是，让这个完美的求解器充当回合级老师（turn-level teacher）。与其等到游戏结束才说“做得好”或“做得不好”，不如让求解器在 AI 做出每一步动作后都检查一次棋盘。它会询问：“这一步是让我们离胜利更近了，还是让我们离胜利更远了？”

以下是神奇之处是如何发生的：

计分卡： 求解器会计算棋盘的“剩余代价”（cost-to-go）数值。这个数值代表了距离胜利还剩多少步。如果 AI 做出的动作降低了这个数值（向胜利靠近），求解器就会给它一个正向的“优势”分数。如果动作让情况恶化，则会得到一个负分。
信号： 本文认为，这个分数实际上是一个秘密代码。从数学上讲，告诉 AI “最大化这个分数”等同于要求它模仿求解器的选择，但又不需要求解器写出一份完整的概率列表（那会太重且太慢）。这就像老师在耳边低语：“那步走得好”，而不是写一篇关于为什么走得好的长篇大论。
过滤器： 有时求解器的分数会非常极端——比如因为掉入陷阱而受到巨大的惩罚。为了防止 AI 被这些极端数值搞混，研究人员使用了一种特殊的数学“压缩器”（称为 asinh 变换），它可以平滑掉剧烈的波动，同时保持微小但重要的细节清晰可见。他们还对分数进行了归一化处理，以免 AI 被数字的大小所压倒。

研究发现

团队在三个经典游戏中测试了这种新方法：Sokoban（推箱子，将箱子推入目标点）、Minesweeper（扫雷，寻找安全的方格而不踩到地雷）以及 Rush Hour（华容道，通过滑动车辆开辟出一条路径）。他们将使用“求解器老师”训练的 AI 与仅根据最终胜负结果进行学习的其他 AI 模型进行了对比。

结果令人印象深刻。使用 CAST 训练的 AI 学习速度显著加快。在某些情况下，它达到相同技能水平所需的步骤比其他方法减少了 1.7 到 2.0 倍。更重要的是，它不仅仅是在练习的特定谜题上变得更好；它成为了一个更优秀的通用型玩家。当他们在 AI 从未见过的游戏或难度更高的同类游戏中进行测试时，经过 CAST 训练的 AI 始终优于所有其他训练模型，甚至击败了几个并未针对这些游戏进行训练的强大商业 AI 模型。

研究人员还检查了这种“求解器老师”是否过于缓慢或昂贵。他们发现，求解器检查棋盘所花费的时间微乎其微——不到 AI 玩游戏总时间的 0.01%。它运行得如此之快，以至于几乎没有增加额外的工作量。即使他们用一个并非完美（但仍然很出色）的“习得型”AI 取代了完美的求解器，该方法依然表现良好，这表明即使在不存在完美解决方案的情况下，这种方法仍然可以使用。

简而言之，本文表明，通过让完美的游戏求解器在每一步之后低语“走得好”或“走得坏”，我们可以教导通用人工智能智能体成为更优秀的决策者，从而以更少的尝试与错误来解决复杂且长期的难题。

技术摘要：CAST (基于求解器教师的信用分配)

问题陈述

训练大语言模型（LLMs）在长程环境中（如经典游戏 Sokoban、Minesweeper、Rush Hour）充当通用智能体，面临着一个关键瓶颈：稀疏奖励信号。虽然具有可验证奖励的强化学习（RLVR）在单轮任务中取得了成功，但它依赖于最终结果奖励（胜/负），这无法提供关于哪些特定中间决策导致了成功或失败的信息。这造成了一个根本性的信用分配问题，即轨迹中的每一个 token 都接收到相同的粗粒度反馈，从而阻碍了模型学习长程规划、目标导向探索和错误恢复的能力。现有的通过昂贵搜索、学习型过程奖励模型或跨轨迹比较来增加信号密度的方法，往往在计算成本、监督质量和信号可靠性之间面临权衡。

方法论：CAST

作者提出了 CAST (Credit Assignment from Solver Teachers)，这是一个利用特定领域的游戏求解器（Solvers）为 LLM 智能体提供细粒度、轮次级（turn-level）监督的框架。

核心机制

求解器作为轮次级教师： CAST 不仅仅使用求解器来生成专家轨迹（这会将学习限制在专家访问过的状态中），而是利用求解器实时评估 LLM 的在策略（on-policy）动作。
求解器优势构建：
- 求解器计算一个 代价趋近值（cost-to-go） $N(s)$ ，代表从状态 $s$ 达到胜利所需的最小步数。
- 对于 LLM 从状态 $s_t$ 转移到 $s_{t+1}$ 所采取的动作 $a_t$ ，该方法计算代价趋近值的变化。
- 定义 偏移求解器优势（shifted solver advantage） 为：
  $\tilde{A}^{\pi_{Solver}}(s_t, a_t) = N(s_t) - \mathbb{E}[N(s_{t+1})]$
- 如果该值大于零，表示动作减少了与目标的距离（取得进展）；如果为零，表示中性；如果为负，则表示增加了距离或导致了死胡同。
信号整形（Signal Shaping）： 为了防止由重尾值（例如死胡同导致的巨大惩罚）和不同游戏间的规模差异引起的训练不稳定，CAST 应用了两种变换：
- Asinh 压缩： $g(x) = \text{asinh}(x)$ ，它线性保留较小值，同时以对数方式压缩极端离群值。
- 批级 RMS 归一化： 在一个批次内按其均方根量级对信号进行缩放，以确保一致的规模，且不减去均值（以保留“零”作为“无进展”的语义含义）。
与 RLVR 集成： 将整形后的求解器优势与标准的轨迹级结果优势（例如来自 GRPO）相加，形成组合优势信号：
$\hat{A}_{i,t} = \hat{A}^{outcome}_i + \alpha \cdot h(\tilde{A}^{\pi_{Solver}}_{i,t})$
该组合信号用于更新策略的剪切代理目标（clipped surrogate objective）。

理论见解：无 Logit 在策略蒸馏

论文建立了最大化求解器优势与来自软最优教师的 在策略蒸馏（On-Policy Distillation, OPD） 之间的理论等价性。

在假设强求解器作为一个软最优策略（其动作概率与 $\exp(Q/\tau)$ 成正比）的假设下，求解器优势在数学上与该动作在求解器策略下的对数概率成正比。
核心贡献： 这意味着标量求解器优势本质上编码了教师的偏好分布。因此，CAST 实现了 无需教师 Logit（完整的动作分布）的蒸馏，仅依赖于标量值。这使得学生 LLM 能够高效地从求解器的价值函数中学习。

核心贡献

求解器衍生的信用： 引入了一种将游戏求解器状态值变化转换为用于 LLM 训练的细粒度、轮次级优势的方法。
无 Logit 蒸馏： 证明了最大化求解器优势等价于在策略蒸馏，从而实现了仅使用标量值而非完整教师分布的高效训练。
稳定的信号整形： 使用 asinh 变换和批级 RMS 归一化来处理极端值和跨领域规模变化，确保稳定集成到 RLVR 中。
实用性： 证明了精确求解器带来的额外开销微乎其微，并且学习型价值网络（如 DQN）可以作为不存在精确求解器时的有效近似。

实验结果

该方法在 Sokoban、Minesweeper 和 Rush Hour 上进行了评估，并对 ALFWorld 和 WebShop 进行了零样本迁移测试。

领域内性能： 在所有三个游戏的领域内及未见难度设置下，CAST 的表现均优于所有训练基线（GRPO, GSPO, DAPO）以及无训练提示方法（包括强大的闭源模型如 Claude-Opus-4.6）。
- 平均而言，CAST 在领域内任务上实现了 62.1% 的成功率 (Avg@4)，在未见难度上实现了 28.4%，显著优于基准 DAPO (领域内 44.7%, 未见难度 18.7%)。
样本效率： 在三个游戏中，CAST 达到 DAPO 峰值验证性能所需的训练步数减少了 1.7 到 2.0 倍。
零样本泛化： 在无需进一步微调的情况下，CAST 智能体迁移到了 ALFWorld 和 WebShop，并在这些任务中取得了最高的平均零样本性能（总计 30.3%），超过了表现次优的基线 5.6 个百分点。
消融研究：
- 求解器优势权重 ( $\alpha$ ) 至关重要； $\alpha=0.1$ 在过程引导和结果目标之间提供了最佳平衡。
- asinh 压缩和 RMS 归一化都是必不可少的；移除其中任何一个都会降低性能，其中移除 asinh 导致的性能下降最为显著，这是由于极端值引起的梯度不稳定。
学习型求解器： 用学习型 DQN 价值网络替换精确求解器后，仍保留了大部分性能收益，证明了该方法在没有精确求解器的场景下的适用性。

重要性与主张

论文声称，CAST 通过提供源自领域求解器的可扩展、细粒度信号，解决了长程 RLVR 中的根本性信用分配挑战。通过证明与无 Logit 在策略蒸馏的等价性，该方法提供了一条实用的路径，使 LLM 能够与专家价值函数对齐，而无需承担生成完整动作分布的计算负担。结果表明，可靠的状态评估——无论是通过精确求解器还是学习型价值函数——为从稀疏结果转向密集、可操作的反馈提供了一条稳健的途径，使 LLM 能够比仅基于结果的方法更高效地掌握复杂的、多步决策的任务。