🤖 machine learning

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

本文表明，将一种源自预训练隐藏状态的简单、基于表示的多样性奖励同时引入推理时采样和训练后强化学习中，通过促进对新颖行为的发现而非仅仅是对现有行为的精炼，显著提升了语言模型的性能和样本效率。

原作者： Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机不再仅仅是遵循指令，而是真正学会独立思考，通过尝试、失败并再次尝试来解决谜题和编写代码的世界。这就是**强化学习（Reinforcement Learning, RL）**的领域——这是人工智能的一个分支，其中智能体通过与环境交互以最大化奖励来进行学习。把它想象成训练一只狗：如果它坐下，它会得到零食；如果它跳起来，它什么也得不到。随着时间的推移，狗会学会通过哪些最佳行为来获得最多的零食。

在大型语言模型（我们今天使用的超智能 AI 聊天机器人）的世界中，这个过程被称为“后训练”（post-training）。科学家们给模型喂入一道数学题或一个编程任务，让它生成答案，并检查其是否正确。如果正确，模型就会获得“奖励”，并学习下次如何更好地完成这项特定任务。然而，这里有一个陷阱。目前的方法往往像是一个仅仅死记硬背教科书答案的学生。它们在自己已经掌握的特定技巧上变得非常精通，但很少能发现新的解决问题的方法。它们只是在让已有的技能变得更加锐利。科学家们提出的重大问题是：我们能否教会这些 AI 模型成为好奇的探索者，而不仅仅是记忆者？我们能否鼓励它们尝试奇特、新颖且多样化的方法，从而找到其基础训练从未向其展示过的解决方案？

这篇题为《基于表示的语言模型探索》（Representation-Based Exploration for Language Models）的论文，深入探讨了正是这样一个问题。研究人员 Jens Tuyls、Dylan J. Foster、Akshay Krishnamurthy 和 Jordan T. Ash 提出了一种巧妙的新方法来让 AI 模型进行探索。他们没有仅仅让模型随机猜测或简单地重复已知内容，而是给了模型一个“多样性奖励”。想象一下你正在一片巨大的森林中寻找隐藏的宝藏。一个随机漫步者可能会到处乱撞，而一个聪明的漫步者可能会尝试访问每一种不同类型的树木，以确保自己不会错过任何线索。这篇论文建议使用 AI 自身的内部“思想”（其隐藏状态）来衡量一个新想法与其已经尝试过的想法相比有多么不同。如果一个想法相对于其之前的尝试显得“新鲜”或“新颖”，它就会获得额外的奖励，从而鼓励模型继续探索那条新的路径。

团队通过两种主要方式测试了这个想法。首先，他们研究了“推理时”（inference-time）探索，这就像是一次性的测试。他们针对单个数学问题生成了数千个答案，并使用他们的“多样性奖励”来挑选出最有趣的答案进行检查。他们发现这种方法效率极高。例如，在处理名为 MATH 的困难数学数据集时，使用 Qwen-2.5-14b-Instruct 模型配合其方法，寻找正确答案的效率比随机选择答案提高了 50% 以上。事实上，对于某些任务，使用这种探索策略所需的尝试次数比单纯随机尝试减少了 3 到 13 倍。

其次，他们将这种探索策略整合到了实际的训练过程（后训练）中。他们想看看这是否能帮助模型学习新的行为，而不仅仅是磨练旧的行为。结果令人鼓舞。当他们使用这种探索奖励来训练模型时，模型不仅在原有的技巧上变得更强，还开始生成看起来更加新颖且具有创造力的答案。在处理一项名为 AIME 2024 的高难度数学竞赛数据集时，他们经过探索增强的模型表现得与使用四倍样本量的标准训练方法一样出色。这表明，通过刻意鼓励多样性，我们可以帮助 AI 模型在不需要海量额外数据或计算能力的情况下，发现新的能力。

然而，作者也谨慎地指出，这并不是解决一切问题的灵丹妙药。他们发现，该方法在更强大、更有能力的模型上效果最好；较弱的模型有时不仅无法受益，甚至表现会变差。他们还表明，虽然这种方法有助于模型找到新的解决方案，但这并不一定意味着模型在通用意义上变得更“聪明”，而是指它更擅长在浩如烟海的可能答案空间中寻找正确答案。论文指出，这种“刻意的探索”是一条切实可行的前进路径，提供了一种超越单纯磨练现有技能、迈向发现语言模型中真正新行为的方法。

技术摘要：基于表示的语言模型探索

问题陈述

强化学习（RL）在具有可验证奖励的任务（如数学推理和代码生成）中增强语言模型（LM）方面展现出了潜力。然而，当前 RL 后训练技术的一个关键局限在于，人们并不确定这些技术是真的发现了新颖的行为，还是仅仅“锐化”（放大）了预训练模型中已有的、仅以较低概率存在的现有能力。现有证据表明，标准的 RL 方案往往无法解锁预训练模型中不存在的能力，而是倾向于收敛到已知的解。此外，为了缓解这一问题而进行的数据策展和算法干预正逐渐成为瓶颈，尤其是在复杂的、开放式的领域中。

本文认为，刻意的探索（deliberate exploration）——即明确激励模型去发现真正新颖且多样化的行为——对于实现 RL 在语言模型推理方面的全部潜力至关重要。核心挑战在于如何在规模化地量化语言这一组合空间中的新颖性和多样性的同时，利用嵌入在预训练模型中的先验知识来高效地引导这种搜索。

方法论

作者提出了一种基于表示的探索策略，利用源自预训练语言模型隐藏状态的椭圆奖励（elliptical bonuses）。该方法通过两个层面的方法进行评估：

1. 推理时选择

为了将多样性从优化和泛化中分离出来，作者首先定义了一个推理时选择问题。给定一个提示词 $x$ 和由固定模型 $\pi$ 生成的大量候选响应池 $N$ ，目标是选择一个包含 $k$ 个响应的子集，使其在保持最大多样性的同时，也具有较高的包含正确答案的概率。

机制 (RepExp)： 该算法通过迭代选择响应来最大化椭圆奖励。对于一个响应 $y$ ，通过对模型在响应各个 token 上的最后一层隐藏状态取平均值，构建特征向量 $\bar{h}_\theta(x, y)$ 。
多样性度量： 给定一个已选响应集合，候选响应 $y$ 的新颖性定义为 $div(y) = \bar{h}_\theta(x, y)^\top \Sigma^{-1} \bar{h}_\theta(x, y)$ ，其中 $\Sigma$ 是所选特征的协方差矩阵。逆协方差矩阵使用 Woodbury 恒等式进行高效更新。
目标： 这种方法旨在选择一组具有多样性的响应“核心集”（coreset）来查询验证器，旨在提高验证器效率（减少寻找正确答案所需的样本数）。

2. RL 后训练

作者将这种探索策略集成到 GRPO（组相对策略优化）后训练流水线中。

奖励增强： 该方法不是选择子集，而是直接将椭圆奖励添加到外在奖励中。对于一个展开（rollout） $y_i$ ，其奖励变为 $r(x, y_i) + \beta \cdot \bar{h}_\theta(x, y_i)^\top \Sigma^{-1} \bar{h}_\theta(x, y_i)$ 。
实现： 协方差矩阵 $\Sigma$ 会针对每一批次的训练展开进行重新初始化，以衡量相对于当前批次的新颖性。特征向量通过稀疏随机投影映射到较低维度（例如 512 维），以确保可扩展性。

3. Token 级扩展（初步研究）

作为概念验证，作者还探索了修改自回归生成过程本身的方法。通过在每个生成步骤中使用椭圆奖励扰动 token 级的 logits，他们旨在引导生成过程中的多样性，而非事后选择。

核心贡献与发现

1. 提高验证器效率（推理时）

论文证明，基于表示的探索在多种模型（Phi, Llama, Qwen）和任务（MATH, GSM8K, MBPP+, Game of 24）上显著提高了验证器效率。

结果： 对于像 Qwen-2.5-14b-Instruct 这样的模型，与随机采样相比，该方法在寻找正确答案所需的样本数量上实现了超过 50% 的提升。
与模型强度的相关性： 探索带来的收益随模型强度而变化；更强的模型（如 Qwen-32B）受益显著，而较弱的模型可能看不到改进甚至会出现性能下降。
难度敏感性： 该方法在最难的问题上（例如 MATH 中最难的前 20%）提供了最大的效率增益。

2. 增强后训练性能与多样性

将基于表示的探索集成到 RL 后训练中，可以获得优于标准 GRPO 和“不可能性”（Unlikeliness）基线的性能。

Pass@k 提升： 该方法在较大的 $k$ 值下能维持或提高 pass@k 率，而标准 GRPO 在较大的 $k$ 时往往会导致性能相对于基座模型下降（这种现象被称为“多样性坍缩”）。
样本效率： 在 AIME 2024 基准测试中，使用 RepExp 进行后训练的 Qwen-2.5-7b-Instruct 所达到的 pass@80 与标准 GRPO 的 pass@256 相匹配，这代表了 3 倍的测试时样本效率提升。
反锐化（Anti-Sharpening）： 对基座模型下对数似然性的分析表明，RepExp 生成的响应比标准 GRPO 生成的响应具有更高的显著新颖性（更低的似然度），而后者倾向于锐化基座模型的分布。这表明该方法成功逃脱了“锐化机制”。

3. 高成本验证的应用

在关于蛋白质序列生成（其中通过湿实验进行验证成本极高）的初步实验中，该方法相比随机采样将验证器效率提高了多达 56.9 倍，展示了在验证成本高昂的领域中的潜在用途。

重要性与主张

论文声称，通过受原则指导的、基于表示的概念来引导刻意的探索，是发现语言模型超越单纯锐化之外的新行为的一条切实路径。

方法的创新性： 不同于以往依赖辅助网络（如随机网络蒸馏，RND）或复杂数据策展的工作，本方法利用了预训练模型自身的隐藏状态，无需额外的学习机制。
验证策略： 作者强调了其两阶段评估（推理时选择及随后的后训练）的价值，以此作为一种将多样性的收益与其它 RL 机制相分离的方法。
研究范围： 作者承认目前的实现是一个“简单且有原则”的方案。他们并不声称解决了所有的探索挑战，但指出这种方法提供了一个强大的基准，并为理解更复杂策略的权衡提供了一个框架。他们指出，虽然 token 级的探索显示出潜力，但目前其计算成本较高，仍需进一步优化。

总之，本文认为，通过利用基于表示的奖励来显式激励发现多样化的行为，可以引导语言模型找到标准 RL 后训练所遗漏的新颖解，从而更有效地扩展其推理能力。