🤖 AI

Cross-Entropy Games and Frost Training

本文介绍了霜冻训练（Frost Training），这是一种新颖的方法，它利用嵌入空间中先前用于越狱的奖励函数梯度，来加速并增强面向大语言模型作为裁判任务的基于蒙特卡洛的策略优化，从而产生得分更高的输出并加快训练收敛。

原作者： Arthur Renard, Franck Gabriel, Valentin Hartmann, Clément Hongler

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Arthur Renard, Franck Gabriel, Valentin Hartmann, Clément Hongler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人写故事。你给它一个句子的开头和结尾，让它来填充中间部分。这被称为“填充”任务。

通常，为了训练这个机器人，你会使用一种叫做蒙特卡洛的方法。这就像玩一个“猜测与检查”的游戏：

机器人猜测一个中间部分。
一位严格的老师（“评判者”）阅读它并给出评分。
如果分数好，机器人就学习；如果分数差，它就再试一次。
机器人持续随机猜测，直到足够幸运地找到一个绝佳答案。

问题在于，这种方法既缓慢又低效。机器人可能会猜出一个糟糕的句子，得到低分，然后再次猜出另一个糟糕的句子，它仅仅通过查看分数，永远无法意识到为什么它不好，也不知道如何修正。

新想法：“霜冻训练”（Frost Training）

这篇论文的作者来自 Xent Labs，他们提出了一种名为霜冻训练（Frost Training）的新方法。他们称之为“霜冻”，以此向诗人罗伯特·弗罗斯特（Robert Frost）及其诗作《未选择的路》致敬。其理念是探索机器人“未选择的路”。

与其仅仅等待机器人猜出正确答案，霜冻训练利用一种数学技巧，审视机器人做出的每一个猜测的“邻域”。

类比：盲行者与持指南针的向导

标准训练（GRPO）：想象一个盲行者试图找到山顶。他们迈出一小步，感受地面是否更高；如果是，就继续前进。如果他们踩进了坑里，就退回去。他们只知道自己所站的位置。
霜冻训练：想象同样的行者，但现在他们拥有一个指南针，该指南针能指出他们周围各个方向略微向上的路径。即使行者站在山谷中，指南针也会告诉他们：“嘿，如果你向左移动一步，你的位置就会更高。”

在论文的术语中，这个“指南针”就是梯度。因为“评判者”（评分系统）是一种使用数学（交叉熵）的 AI，它具有隐藏的平滑结构。研究人员意识到，他们可以计算这个“指南针”信号，以查看如果机器人将其句子中的一个单词替换为另一个单词，分数会如何变化。

工作原理（“霜冻-GRPO"算法）

以下是他们使用的简化步骤流程：

猜测：机器人（“玩家”）为故事编写几个不同的中间部分。
“假设”扫描：在老师甚至给机器人的答案打分之前，霜冻系统会快速扫描这些答案中的每一个单词。它会问：“如果我们把这个词换成那个词，结果会怎样？”
- 它使用一种快速的数学捷径（泰勒展开）来估算这些新的“假设”版本的分数，而无需完全写出它们。
替换：如果数学计算表明“替换这个词会让故事好得多”，系统就会选择这个新版本。
真实测试：系统随后要求严格的老师对这些“假设”版本进行评分，以确认数学计算是否正确。
升级：如果某个“假设”版本实际上优于机器人的原始猜测，系统就会用这个更好的版本替换机器人的原始猜测。
学习：机器人随后从这个升级后的、更好的版本中学习。

为何更优（结果）

该论文在特定任务上测试了这种方法：填充故事中的缺失文本。他们将新的“霜冻”方法与标准的"GRPO"方法进行了比较。

更快地找到最佳峰值：在“最佳 K 选”（Best-of-K，即从多次尝试中选出单个最佳答案）的设置下，霜冻训练以快得多的速度找到了得分更高的答案。这就像拥有指南针的行者，在一半的时间内就找到了山顶。
保持创造力：标准训练往往会导致机器人“崩溃”。它因害怕犯错而开始重复相同的安全、乏味的短语。霜冻训练在保持答案高质量的同时，使机器人的回答保持多样性和创造性（高“熵”）。
效率：他们表明，霜冻训练可以用更少的“前向传播”（计算步骤）达到与标准方法相同的结果，或者在相同的计算量下获得更好的结果。

核心结论

该论文声称，对于被称为交叉熵游戏（Cross-Entropy Games）的特定任务家族（其中奖励基于句子正确的可能性），我们不必依赖盲目猜测。通过利用隐藏的“梯度”信号（指南针）在我们甚至开始评分之前，就向机器人的猜测提出微小而明智的修改建议，我们可以训练机器人以更快的速度写出更好、更具创意的故事。

他们通过证明其方法霜冻-GRPO在寻找最高分文本补全方面始终优于标准方法，同时保持机器人写作风格的多样性和自然性，从而验证了这一点。

技术摘要：Frost 训练与交叉熵博弈

问题陈述

大语言模型（LLM）的强化学习（RL）通常依赖于蒙特卡洛策略优化方法（例如 REINFORCE、PPO、GRPO）。在这些标准范式中，模型为给定的任务 $x$ 生成响应 $y$ ，接收标量奖励 $R(x, y)$ ，并更新其参数以将概率质量向得分更高的输出转移。

作者认为，对于一类特定的自然任务，即交叉熵博弈（Cross-Entropy Games），这种标准的蒙特卡洛方法是次优的，因为它忽略了奖励函数的隐式可微结构。在交叉熵博弈中，奖励源自“裁判”LLM 的交叉熵损失。虽然输出空间（Token 序列）是离散的，但潜在的嵌入空间是连续且可微的。标准的 RL 方法将奖励视为黑盒，而本文提出，奖励相对于 Token 嵌入的梯度包含可利用的信息，能够加速训练并提高输出质量。

方法论：Frost 训练

核心贡献是Frost 训练，这是一种利用嵌入空间中奖励函数梯度的方法，以提出和选择模型自身未采样的“替代动作”（变异）。该方法被集成到GRPO（组相对策略优化）算法中，形成了Frost-GRPO。

1. 理论基础：可微结构

对于交叉熵博弈，奖励 $R$ 定义为裁判 LLM 的负交叉熵。作者证明，奖励函数具有隐式的可微结构。具体而言，Token 序列的奖励可以使用 One-hot 嵌入空间中的一阶泰勒展开来近似。

给定采样的动作 $y$ 和特定位置上的潜在 Token 变异 $\tilde{y}$ ，奖励 $R(\tilde{y})$ 可近似为：
$R(\tilde{y}) \approx R(y) + \nabla_{e_y} R(y) \cdot (e_{\tilde{y}} - e_y)$
其中 $e_y$ 是 Token 的嵌入。这使得系统能够通过奖励函数的单次反向传播来估计采样序列中每个位置所有可能的单 Token 变异（ $V$ ）的得分，而无需为每个候选项进行昂贵的正向传播。

2. Frost-GRPO 算法

Frost-GRPO 通过在采样和梯度更新之间插入一个“变异与替换”阶段，修改了标准的 GRPO 更新步骤：

采样：策略 $\pi_\theta$ 为给定的提示采样 $K$ 个同策略动作 $\{y_k\}$ 。
近似（Frost 提议）：对于每个采样的动作（父代），算法利用从奖励梯度推导出的泰勒展开，计算所有可能的单 Token 变异（子代）的近似得分。
选择：
- 应用概率门控：仅考虑策略概率 $\pi_\theta(v | \dots) > \tau$ 的候选项。
- 选择近似得分最高的前 $D$ 个候选项。
验证（Frost 替换）：通过正向传播计算这 $D$ 个候选项的精确奖励。
替换：如果候选项的精确得分严格超过其父代的得分，则用得分最高的有效子代替换父代。
更新：使用这个新的包含 $K$ 个动作的"Frost 组”执行标准的 GRPO 优势计算和策略更新。

该方法以罗伯特·弗罗斯特（Robert Frost）的诗歌《未选择的路》（The Road Not Taken）命名，象征着探索模型最初未采取的动作。

主要贡献

奖励梯度的利用：本文首次证明，用于越狱技术（特别是贪婪坐标梯度，GCG）的梯度信号可以被重新利用以提升模型训练，而不仅仅是用于攻击。
Frost-GRPO 算法：一种具体的实现，将基于梯度的变异提议集成到 GRPO 框架中。它利用梯度提出编辑，并利用精确奖励评估进行过滤，确保最终的更新基于经过验证的改进。
在填充任务上的实证验证：作者在最大似然填充任务（一种特定的交叉熵博弈）上验证了该方法，表明与原生 GRPO 相比，Frost-GRPO 实现了更高的最高得分和更快的收敛速度。

实验结果

实验使用 Qwen3-14B 作为玩家（策略）和裁判。任务涉及在给定开头和结尾上下文的情况下，填充长度为 $L=8$ 个 Token 的文本间隙。

选择规则分析

在完整训练之前，作者分析了选择规则（如何选择 $D$ 个候选项）的有效性。

Taylor-Gated（使用带有概率门控的梯度近似）显著优于随机选择、TopProb（仅策略先验）和无门控的 Taylor 选择。
"Taylor"项（梯度信号）提供了非平凡的信号，其表现优于策略自身的先验，证实了裁判梯度的实用性。

训练性能（标准设置）

在匹配计算预算（每步 8 次裁判正向传播）的情况下，比较 Frost-GRPO（ $K=4, D=4$ ）与 原生 GRPO（ $K=8$ ）：

Best-of-K 得分：Frost-GRPO 在整个训练过程中始终实现更高的"Best-of-8"得分。差距在早期建立并得以保持。
稳定性：与 GRPO 相比，Frost-GRPO 表现出显著更低的种子间方差。
多样性：虽然 GRPO 的 Token 熵和得分方差急剧下降（表明收敛到狭窄的补全集合），但 Frost-GRPO 保持了较高的熵和方差，表明其在提高质量的同时保留了多样性。
收敛性：Frost-GRPO 更快地达到高分输出。定性分析显示，GRPO 经常陷入“局部最优”阶段（重复输入文本）然后才逃脱，而 Frost-GRPO 更快地攀升至一致的内容。

鲁棒性

Frost-GRPO 的优势在不同的动作长度（ $L \in \{4, 8, 12\}$ ）和组大小下保持一致。作者指出，在 Best-of-K 轨迹方面，组大小为 $K$ 的 Frost-GRPO 与组大小为 $2K$ 的原生 GRPO 表现相当或更优，有效地用一次裁判反向传播换取了同策略组大小的有效翻倍。

意义与主张

本文主张，交叉熵博弈代表了一类独特的任务，其中奖励函数的可微结构可以被利用来改进蒙特卡洛策略优化。

超越黑盒 RL：这项工作挑战了将奖励视为黑盒的标准 RL 范式，表明一阶信息（梯度）可用于提出高价值的编辑，随后再进行验证。
效率与质量：Frost 训练使模型能够比标准 GRPO 更快、更稳定地生成更高得分的输出，而无需大幅增加计算量（它用廉价的反向传播换取了样本质量的显著提升）。
多样性的保持：与可能导致熵崩溃的标准策略梯度方法不同，Frost-GRPO 保持了较高的 Token 熵和得分方差，这表明其为训练具有鲁棒性和多样性的 LLM 提供了一条有前景的途径，可能有助于分布外泛化。

作者在范围上保持谦逊，指出虽然该信号在填充任务中清晰可见，但其他训练算法、更大规模的模型（包括 MoE）以及其他类型的交叉熵博弈仍需进一步验证。