$V_1$: Unifying Generation and Self-Verification for Parallel Reasoners

本文提出了$V_1$框架，通过统一生成与基于不确定性的成对自验证机制（$V_1$-Infer）及联合训练策略（$V_1$-PairRL），显著提升了代码生成与数学推理任务中的测试时扩展效率与准确率。

要点

这篇论文介绍了一个名为 V1 的新框架，旨在让大型人工智能（AI）模型在解决复杂问题（如写代码、做数学题）时变得更聪明、更可靠。

为了让你轻松理解，我们可以把 AI 解决难题的过程想象成**“举办一场高智商的选秀比赛”**。

1. 核心痛点：为什么现在的 AI 容易“翻车”？

想象一下，你让 AI 去解决一个很难的编程题。

• 传统做法（并行推理）：AI 像是一个勤奋的实习生，它一口气写出了 16 个 不同的解决方案（就像 16 个选手提交了 16 份作业）。
• 如何选答案？ 以前，AI 会自己当裁判，给这 16 份作业分别打分（比如 1 到 10 分），然后选分数最高的那个。

问题出在哪？
这就好比让一个刚入行的实习生当评委，让他给 16 份作业单独打分。

• 缺乏参照系：他不知道“好”的标准是什么。可能 16 份作业里只有 1 份是对的，但他觉得 15 份都挺不错，给它们都打了 9 分或 10 分（这叫分数饱和）。最后他随便挑了一个，结果选错了。
• 自我偏见：AI 往往对自己生成的东西过于自信，哪怕那是错的，它也倾向于给高分。

2. V1 的解决方案：从“单独打分”变成“ pairwise 对决”

V1 框架的核心思想是：不要单独给作业打分，而是让作业之间“互相 PK"。

组件一：V1-Infer（聪明的比赛组织者）

这是推理时的算法，它改变了选拔机制：

• 以前（单独打分）：评委看 A，给 8 分；看 B，给 8 分。评委懵了，不知道谁更好。
• 现在（V1-Infer）：
  1. 瑞士制锦标赛（Swiss System）：就像下棋比赛一样，把水平相近的选手放在一起 PK。
  2. 不确定性引导：如果两个选手水平看起来差不多（比如都是 8 分左右），那就让他们多打几场，直到分出高下。如果一眼就能看出谁好谁坏，就不浪费精力。
  3. 结果：通过这种“两两对决”，AI 能更精准地找出那个真正的“冠军”（正确答案），即使它一开始混在一堆“看起来都不错”的平庸答案里。

比喻：以前是老师给每个学生的作文单独打分，结果大家都得 90 分，老师分不清谁最好。现在变成了辩论赛，让两篇作文直接 PK，老师（AI）只需要判断“这篇比那篇好”，这比给绝对分数容易得多，也准确得多。

组件二：V1-PairRL（边教边练的教练）

这是训练阶段的算法，旨在让 AI 本身变得更擅长“挑刺”和“自我纠错”。

• 以前的训练：只教 AI 怎么写代码（生成器），写完后再找个外部工具（或者另一个模型）来检查对错。
• V1-PairRL 的训练：
  • 身兼二职：同一个 AI 模型，既当写手（生成答案），又当裁判（自我验证）。
  • 共同进化：写手在进步，裁判也在跟着进步。裁判专门学习如何分辨“写手”写出的不同答案的优劣。
  • 防止作弊：论文里提到了一种“奖励黑客”现象（比如裁判为了拿高分，故意给所有答案打一样的分数）。V1-PairRL 设计了特殊的规则，强迫裁判必须做出明确的区分（要么 A 好，要么 B 好），不能和稀泥。

比喻：以前是“师傅教徒弟写代码，然后请个外人来检查”。现在是**“师徒一体”**，这个 AI 一边写代码，一边自己跟自己辩论：“我写的这个方案真的比刚才那个好吗？”通过这种自我博弈，它进化出了更敏锐的直觉。

3. 实际效果：真的有用吗？

论文在写代码（如修复软件漏洞、编写算法）和做数学题（如奥数竞赛）上做了测试：

• 更准：在同样的计算资源下，V1 找对答案的概率比传统方法高出了 7% 到 10%。
• 更省：它不需要把所有答案都检查一遍，而是聪明地把精力花在“难分辨”的答案上，效率更高。
• 更稳：特别是在那些很难的问题上（原本 AI 正确率很低），V1 能带来巨大的提升。

总结

这篇论文就像给 AI 装上了一套**“双核系统”**：

1. 大脑（生成器）：负责发散思维，产生多种解法。
2. 眼睛（验证器）：负责通过**“两两 PK"**的方式，精准地找出最好的那个解法。

它不再依赖模糊的“感觉打分”，而是通过**“直接对比”**来做出更明智的决策。这不仅让 AI 在考试（数学、编程）中表现更好，也让它在处理现实世界的复杂任务（如修复软件 Bug）时更加可靠。

一句话总结：让 AI 学会“货比三家”，而不是“自卖自夸”，就能让它变得更聪明、更靠谱。

技术摘要

V1: 统一生成与自验证的并行推理框架技术总结

1. 研究背景与问题定义

随着大语言模型（LLM）在复杂推理任务（如代码生成、数学解题）中的表现提升，测试时扩展（Test-time Scaling） 成为提升模型性能的关键范式。该范式通常涉及在推理阶段并行采样多个思维链（Chains-of-Thought），然后通过某种聚合机制选择最佳答案。

然而，现有的并行推理方法面临两个核心瓶颈：

1. 验证校准失效（Calibration Collapse）： 现有的自验证方法通常采用点对点（Pointwise） 评分，即模型独立为每个候选答案打分。由于缺乏比较基准，模型难以校准绝对分数的尺度，导致对错误答案的评分虚高（Score Saturation），无法有效区分优劣。
2. 多样性坍塌（Diversity Collapse）： 现有的自聚合（Self-Aggregation） 方法（如递归自聚合 RSA）试图通过迭代合并答案来优化结果，但这往往导致解空间的多样性丧失，甚至丢弃原本正确的“离群”解，使得 Pass@N（N 个样本中至少有一个正确的概率）随聚合步骤增加而单调下降。

核心问题： 如何在并行推理中实现更鲁棒、更准确的自验证，从而在不牺牲多样性的前提下，有效利用推理时的计算资源来提升最终答案的质量？

2. 核心方法论：V1 框架

作者提出了 V1，一个统一生成与自验证的框架，包含两个主要组件：V1-Infer（推理时的算法）和 V1-PairRL（训练时的强化学习框架）。

2.1 V1-Infer：基于不确定性的成对验证算法

V1-Infer 的核心思想是用成对比较（Pairwise Comparison） 替代独立的点对点评分。

• 成对验证优势： 相比绝对评分，模型在比较两个答案（“哪个更好？”）时表现更稳健，且能更好地校准。
• 算法流程（瑞士制锦标赛 + 不确定性引导）：
  1. 拓扑覆盖（Topology Coverage）： 首先确保所有候选答案都参与至少一定次数的比较，防止某些答案被“孤立”或误排。
  2. 瑞士制精炼（Swiss Refinement）： 在剩余预算内，采用类似瑞士制锦标赛的策略。将当前得分相近（不确定性最高）的答案配对进行比较。
  3. 置信度加权聚合： 模型不仅输出胜负，还输出 1-10 的置信度评分。比较的权重 $w_{ij}$ 取决于两个答案评分的差值 $|r_i - r_j|$。差值越大，置信度越高，该比较对最终排名的贡献越大。
  4. 动态预算分配： 算法将计算资源集中在那些难以区分的“难例”对上，从而以最小的验证调用次数获得最高的排名精度。

2.2 V1-PairRL：联合训练的强化学习框架

为了解决推理时验证器与生成器分布不匹配的问题，V1-PairRL 提出在训练阶段就将生成与验证能力进行联合优化（Co-evolving）。

• 统一目标： 训练单个模型同时作为生成器和成对自验证器。
• 在线协同进化： 在强化学习（RL）过程中，模型生成的样本既用于计算生成奖励（基于正确答案），也用于构建验证训练数据。这意味着验证器始终在训练当前生成器分布下的数据，避免了离线训练带来的分布偏移。
• 奖励设计：
  • 生成奖励： 基于测试用例通过的二元奖励。
  • 验证奖励： 基于模型对成对答案的评分与真实正确性（Ground Truth）的匹配程度。
• 防止奖励黑客（Reward Hacking）：
  • 安全赌注坍塌（Safe Bet Collapse）： 通过设置稀疏阈值，强制模型给出确信度高的评分（接近 0 或 1），避免模型对所有答案都打中间分（如 0.5）。
  • 空解循环（Empty Solution Loop）： 强制验证训练只包含至少有一个正确答案的配对，防止模型生成无意义答案来“欺骗”验证器。

3. 主要贡献

1. 理论洞察： 证明了在并行推理中，独立的点对点自验证存在校准问题，而自聚合方法会导致多样性坍塌。成对自验证是解决这一问题的正交且 principled 的方法。
2. V1-Infer 算法： 提出了一种基于不确定性的成对排名算法，通过动态分配计算资源到最模糊的候选对上，显著提升了选择准确率，且比递归自聚合（RSA）更高效。
3. V1-PairRL 框架： 首次实现了生成与成对自验证的在线联合训练。实验表明，这种协同进化不仅提升了验证能力，还反过来增强了模型的基础生成能力（Pass@1）。
4. 广泛验证： 在代码生成（LiveCodeBench, CodeContests, SWE-Bench）和数学推理（AIME, HMMT）等多个基准上进行了全面评估。

4. 实验结果

4.1 推理性能 (V1-Infer)

• 超越点对点验证： 在 CodeContests 上，V1-Infer 将 Pass@1 提升了 7.3% (GPT-OSS-20B)；在 LiveCodeBench 上提升了 8.6%。
• 超越自聚合 (RSA)： 在 LiveCodeBench-v6 上，V1-Infer 仅用 48 次验证调用就达到了 76% 的 Pass@1，优于 RSA 在更多调用下达到的最高精度，且避免了多样性坍塌。
• 困难问题提升显著： 在 Hard 难度问题上，V1-Infer 带来了 23.7% 的 Pass@1 提升，证明了其在高不确定性场景下的价值。
• 真实场景泛化： 在 SWE-Bench Lite（真实 GitHub 问题修复）上，V1-Infer 比点对点验证高出 5.0%，比基线高出 7.0%，证明了其在开放域软件工程任务中的有效性。

4.2 训练性能 (V1-PairRL)

• 测试时扩展增益： 相比标准 RL 和点对点联合训练（V1-PointRL），V1-PairRL 在测试时扩展中带来了 7-9% 的额外增益。
• 基础能力提升： 即使不进行额外的测试时扩展，V1-PairRL 训练出的模型在 CodeContests 上的基础 Pass@1 也比标准 RL 高出 8.7%。这表明联合训练成对验证能力能显著增强模型本身的推理能力。
• 协同效应： 消融实验证明，在线协同进化（Co-evolving）比离线数据训练或单纯的多任务训练更有效。

5. 研究意义与结论

V1 框架通过统一生成与成对自验证，解决了并行推理中验证校准和多样性保持的关键难题。

• 方法论创新： 将成对比较从奖励建模领域引入到推理时的自验证和训练时的联合优化中，提供了一种比绝对评分更鲁棒的验证原语。
• 效率与效果双赢： V1-Infer 以较少的计算开销实现了比现有 SOTA 方法（如 RSA）更高的准确率；V1-PairRL 则证明了在训练阶段引入验证目标能显著提升模型的推理能力。
• 通用性： 该方法不仅适用于有明确答案的数学题，也适用于代码生成和软件修复等开放域任务，为未来大模型的测试时扩展和强化学习训练提供了新的范式。

综上所述，V1 证明了**“生成即验证，验证促生成”**的协同进化路径是提升大模型复杂推理能力的有效途径。