💬 NLP

Vector Policy Optimization: Training for Diversity Improves Test-Time Search

本文介绍了向量策略优化（VPO），这是一种强化学习算法，它利用向量奖励训练语言模型生成多样化的解决方案，从而相较于标准的标量奖励优化，显著提升了其在测试时搜索过程中的性能。

原作者： Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正在训练一名新学徒，为一名极其挑剔的美食评论家烹饪。这位评论家想要的不仅仅是“一顿美餐”；他们拥有一份复杂的菜单，包含各种具体的需求：也许他们想要牛排三分熟、酱汁辛辣、蔬菜爽脆，且摆盘富有艺术感。

旧方法：“一刀切”的厨师

过去，在训练人工智能（如大型语言模型）时，我们使用了一种称为标量奖励优化（Scalar Reward Optimization）的方法（在论文中由 GRPO 代表）。

这就像告诉学徒：“你的目标是根据一个单一数值获得最高分数：50% 的牛排质量 + 50% 的酱汁质量。”

学徒很快意识到，为了获得最高分数，他们应该停止尝试。他们会一遍又一遍地烹饪完全相同的“完美”牛排与酱汁组合。他们成为了一道特定菜肴的大师。

问题所在：当评论家真正出现时，他们可能会说：“其实，今天我想要牛排五分熟，酱汁要甜味的。”由于学徒只练习过一种特定的食谱，他们完全不知道该怎么办。他们只有一个答案，而这个答案并不符合今天特定的心情。

新方法：向量策略优化（VPO）

论文提出了一种新的训练方法，称为向量策略优化（Vector Policy Optimization, VPO）。

培训师不再给学徒一个单一分数，而是说：“我会给你一份不同的目标清单。有时我希望你专注于牛排，有时专注于酱汁，有时专注于蔬菜。我希望你能一次性烹饪出一盘不同的菜肴，其中每一道菜都是不同组合的杰作。”

学徒学会了创造多样化的解决方案集：

菜肴 A：完美的牛排，简单的酱汁。
菜肴 B：温和的牛排，复杂的辛辣酱汁。
菜肴 C：酥脆的蔬菜，富有艺术感的摆盘。

他们并不是试图找到唯一最好的那道菜。他们试图覆盖所有可能的美味组合的整个“地图”（论文中称之为帕累托前沿）。

“测试时搜索”（评论家登场）

奇迹就发生在这里。论文认为，在现代人工智能系统中，人工智能不仅仅是吐出答案并听天由命。相反，系统在使用的时刻（推理阶段）表现得像一个搜索引擎。

当评论家带着他们具体、独特的请求出现时（例如，“我想要牛排三分熟但酱汁要甜的”），系统不会要求人工智能从头开始烹饪一道新菜。相反，它会查看学徒在训练期间准备的多样化菜肴盘。

旧厨师（GRPO）：评论家看着这盘菜。里面装满了 100 份完全相同的“牛排 - 酱汁 #1"。评论家找不到他们想要的东西。
VPO 厨师：评论家看着这盘菜。有一道菜是三分熟牛排配甜酱汁！系统选中了那一盘。

为什么这很重要

论文在四个不同的“厨房”（如解决逻辑谜题、导航迷宫和编写代码等任务）上测试了这一点。

更多候选者 = 更好的结果：随着系统被允许查看更多的菜肴（更大的“搜索预算”），VPO 厨师在寻找完美匹配方面变得越来越出色。旧厨师的表现撞上了墙，因为他们只有一种类型的菜肴可以提供。
解决不可能的问题：在一个非常困难的编程挑战（LiveCodeBench）中，旧厨师无论如何尝试都无法解决问题。然而，VPO 厨师拥有一组多样化的“尝试”，当与搜索工具结合时，成功破解了该问题。
“多样性陷阱”：论文指出，如果目标本质上都是相同的（例如，“把它做成红色”和“把它做成蓝色”，而红色和蓝色其实是同一回事），VPO 就无济于事。只有当目标真正不同且需要权衡取舍时，它才会发光。

结论

论文声称，如果你计划在一个通过搜索众多选项来寻找最佳方案的人工智能系统中使用它，你不应该将人工智能训练成单一完美答案的“专家”。相反，你应该将其训练成一位能够产生多样化高质量选项通才。

通过在训练期间让人工智能探索不同“风味”的解决方案，你为测试时的搜索系统提供了一个更丰富的菜单供其选择，从而带来更智能、更具适应性的结果。

技术摘要：向量策略优化（VPO）

问题陈述

当前大语言模型（LLM）的后训练范式，特别是那些利用强化学习（RL）结合组相对策略优化（GRPO）的范式，旨在优化单一、预定义的标量奖励。虽然这种方法在收敛到特定高概率响应方面行之有效，但往往导致“模式崩溃”，即策略产生低熵的响应分布。当 LLM 部署于测试时搜索流程（例如拒绝采样、类似 AlphaEvolve 的进化算法或 best-of- $k$ 选择）中时，这种多样性缺失便成为关键瓶颈。

在搜索增强系统中，训练阶段理应为搜索算法提供丰富且多样的候选池以供利用。然而，标准的标量 RL 训练会将候选分布坍缩至单一的最优权衡点，导致额外生成的样本近乎重复。因此，搜索流程无法发现那些需要在竞争目标之间（例如代码正确性与效率，或多跳问题中的不同推理路径）采取不同权衡的更优解。

方法论：向量策略优化（VPO）

作者提出了向量策略优化（VPO），这是一种 RL 算法，旨在显式地训练策略以生成覆盖向量奖励帕累托前沿的多样化解决方案集。VPO 基于以下前提：在许多现实任务（代码生成、多跳推理、工具使用）中，奖励自然地分解为向量分量（例如，每个测试用例的正确性、每个标准的评分）。

VPO 包含两个核心组件：

多答案链作为上下文内探索：
模型不再为每个提示生成单一响应，而是被训练为在单次自回归生成过程中输出一组 $m$ 个候选完成结果（ $S = \{y_1, \dots, y_m\}$ ）。每个后续候选可以关注上下文中已生成的答案，使模型能够显式识别解决方案空间已覆盖的区域，并将新候选引导至未探索的区域。这将多样性从采样噪声的副产品转化为显式的、上下文内的机制。
基于随机标量化（Stochastic Scalarization）的集合级优化：
为了激励模型生成多样化集合而非坍缩至单一模式，VPO 用奖励权重的分布替代了固定的标量奖励。
- 对于每次 rollout，从狄利克雷分布中采样一个权重向量 $w$ （ $w \sim \text{Dir}(\alpha)$ ，其中 $\alpha=1$ 意味着在单纯形上的均匀分布）。
- 集合 $S$ 的奖励计算为采样权重下最大标量化奖励的期望值：
  $R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$
- 该目标奖励模型覆盖帕累托前沿：集合 $S$ 中的不同元素被激励去专门化于不同奖励分量的权衡。

VPO 被实现为 GRPO 优势估计器的即插即用替代品。它沿用 GRPO 框架，但基于源自随机标量化的集合级奖励计算优势，并在 $G$ 组 rollout 中共享相同的 $K$ 个权重向量以确保可比性。

主要贡献

重构 RL 后训练： 论文指出，在具有测试时搜索的系统中，RL 训练的作用应从收敛于单一最佳响应，转变为最大化一组有竞争力解决方案的多样性，将利用（exploitation）留给搜索流程。
向量奖励结构： 论文证明了实际任务中奖励的向量性质为多样性提供了自然机制。通过训练模型覆盖不同目标的帕累托前沿，策略维持了一个在不同权重下均为最优的替代方案群体。
VPO 算法： 作者提出了 VPO，它将多答案生成与随机奖励标量化相结合。这使得模型能够在单次 rollout 中生成多样化的候选集，优化的是对奖励空间的覆盖，而非单一标量峰值。

实验结果

作者在四个多样化的领域评估了 VPO：Maze（带有物品权衡的导航）、MuSiQue（多跳问答）、EUREQA（链式推理）和 ToolRL（函数调用）。他们将 VPO 与多个基线进行了比较，包括标准 GRPO、Multi-RLVR（带有固定标量奖励的多答案）、Random-Weighting GRPO 和 Max-at- $k$ 训练。

测试时扩展性： 在所有领域，VPO 在 best@k 指标上始终优于标量基线。随着 $k$ 的增加，标量 GRPO 的性能迅速达到平台期（表明候选集坍缩），而 VPO 则随着样本增加持续提升，随着搜索预算的增长，差距进一步扩大。
多样性指标： VPO 保持了高奖励空间多样性（通过奖励向量间的成对 L1 距离衡量），而 Multi-RLVR 和标准 GRPO 等基线在训练早期就坍缩为近乎相同的奖励向量。
难题与进化搜索： 在 LiveCodeBench（一个竞争性编程基准）的案例研究中，经过 VPO 训练的模型（Qwen2.5-Coder-7B）显著优于同等计算量的 GRPO 模型。关键在于，当集成到 OpenEvolve（一个进化搜索循环）中时，VPO 模型解决了 GRPO 模型在任何候选预算下都无法解决的问题，证明了 VPO 能够解锁需要复杂权衡的解决方案。
消融研究：
- 仅有多答案生成（无随机标量化）不足以维持多样性。
- 仅有随机标量化（无多答案链）未能产生相同的增益。
- 目标条件 GRPO（针对特定权重进行条件化）未能匹配 VPO 的效果，表明在上下文中生成多样化集合比在推理时显式条件化于权重更有效。
- 当奖励分量非共线（即存在真实权衡）时，VPO 的优势最为显著。在奖励近乎共线的领域（如 UltraFeedback），VPO 的优势减弱，这与理论前提一致。

意义与主张

论文提出，随着测试时搜索成为 AI 系统的标准组件，优化多样性必须成为默认的后训练目标。作者声称，VPO 提供了一种原则性的方法，将探索（为多样化池进行训练）与利用（搜索时选择）分离开来。

VPO 的意义在于其能够：

解锁更难的问题： 通过保留那些在固定标量下看似局部次优但包含对搜索有用的部分推理模式的多样化策略，VPO 使得发现标量训练策略完全遗漏的解决方案成为可能。
随计算量扩展： 随着测试时搜索预算的增加，VPO 与标量基线之间的性能差距扩大，这使得 VPO 对于计算密集型推理场景特别有价值。
即插即用兼容性： VPO 不需要对现有 LLM 进行架构更改，并可作为标准 RL 框架（如 GRPO）中优势估计器的简单替代品。

作者总结道，虽然 VPO 牺牲了 pass@1 性能（因为它优先考虑探索而非即时利用），但在具备测试时搜索的场景中，它是更优越的方法，有效地将策略优化转变为帕累托前沿上的覆盖问题。