技术摘要：论自我演进语言模型推理中的泛化差距

问题陈述

大型语言模型（LLMs）的最新进展在复杂推理任务中展现了显著进步，这通常由监督微调（SFT）和基于人类反馈的强化学习（RLHF）等后训练技术驱动。然而，这些方法通常依赖于人工标注的数据或可验证的外部奖励。一个日益受到关注的领域是自我演进（Self-Evolution, SE），即模型仅利用自身生成的监督信号进行改进。

本研究旨在解决的核心问题是：在严格的闭环设置下，即 SE 算法仅能访问无标签提示集和基础模型时，内部生成的监督信号能在多大程度上接近专家级（Oracle）监督训练？

虽然先前的研究表明 SE 可以提升性能，但也强调了模型崩溃和收益递减的风险。本文旨在通过实证方式量化自我演进模型与具有真值（Ground-truth）监督的模型之间的“泛化差距”，旨在隔离不使用外部工具、符号环境或人工干预时，仅靠内部信号产生的效应。

方法论

框架与设置

作者提出了一个统一的离线自我演进框架，其中单个基础模型 $M$ 被实例化为两个角色：

1. 生成器（Generator, $G$）： 提出候选解。
2. 验证器（Verifier, $V$）： 评估这些解的质量。

该框架运行在无标签提示集 $D$ 上。所有的推理轨迹、解、奖励和偏好标签都必须由 $M$ 自身衍生。研究评估了该框架内四种具有代表性的策略：

1. 单轮验证（SimpleSE）： 验证器对静态候选响应进行判断。为了减轻噪声，采用了阈值化的多数投票机制：如果验证器的正确率超过阈值 $\tau$，则将响应标记为正例；如果低于 $1-\tau$，则标记为负例；否则将其丢弃。
2. 带反馈的多轮修正（RevisionSE）： 验证器针对错误的解提供文本反馈，生成器据此修正其输出。当一次修正将错误解转变为正确解时，提取偏好对。
3. 迭代训练： 重复应用生成器-验证器博弈。模型在生成的偏好数据上进行微调，并将更新后的模型用于下一轮的生成与验证。
4. 课程学习： 训练过程从较简单的实例转向较难的实例（例如，从人数较少的骑士与流氓问题到人数较多的问题），而非随机混合。

数据集与模型

• 主要基准测试： 骑士与流氓（Knights and Knaves, KK） 逻辑推理任务。选择该数据集是因为其解具有确定性、难度受控（由人数参数化）且作为易到难泛化的测试床非常清晰。
• 次要基准测试： OpenThoughts3（数学推理）、GSM8K、MATH500、MATHHard 和 TabMWP，用以评估在确定性逻辑之外的鲁棒性。
• 模型： 研究主要使用 Gemma-3-it 系列（1B、4B、12B 以及 27B 作为上限）和 Qwen-2.5-Instruct。使用指令微调版本以确保模型能够遵循系统提示词进行生成和验证。
• 训练目标： 生成的偏好对 $(y_w, y_l)$ 用于通过 直接偏好优化（DPO） 对策略进行微调。
• 专家基准（Oracle Baseline）： 使用真值解将示例标记为正确/错误，作为性能的上限。

核心贡献

1. 对闭环 SE 的系统性分析： 本文在严格的闭环约束下，提供了对 SE 方法的统一比较，并相对于专家监督的偏好优化来隔离其效应。它在 KK 基准测试上评估了多种策略（验证、修正、迭代、课程）。
2. 内部监督质量的影响： 研究表明验证器信号的质量至关重要。多轮反馈（RevisionSE） 表现最佳，特别是对于较大的模型（12B），它几乎可以媲美专家监督训练。然而，这伴随着极高的计算成本。
3. 引导（Bootstrapping）与泛化： 作者研究了“易到难”的迁移。虽然迭代训练和课程学习增强了解决更难示例（如拥有 6-8 人的 KK 实例）的能力，但与专家监督相比，其提升分布外（OOD）泛化的能力仍然有限。
4. 量化持续存在的差距： 即使采用了日益结构化和计算密集型的 SE 策略，在大多数设置中，相对于专家监督仍存在约 8–13% 的性能差距。这一差距在受控的 KK 数据和现实世界的 OpenThoughts3 设置中均有观察到。

结果

在骑士与流氓（KK）上的表现

• 基础模型： Gemma 3 4B 的准确率为 31.0%。
• 专家监督： 使用真值信号进行训练后，准确率提升至 53.3%。
• 自我演进策略：
  • 单轮验证 (SimpleSE)：40.7%。
  • 多轮反馈 (RevisionSE)：42.2%。
  • 迭代训练：44.1%。
  • 课程学习：44.8%。
• 缩放效应：
  • 1B 模型： 使用 RevisionSE 时表现出微不足道的提升（0.6%）甚至退化，凸显了能力阈值问题，即小模型引入的噪声会破坏学习过程。
  • 4B 模型： 取得了显著收益，但仍比专家监督低约 8–13%。
  • 12B 模型： RevisionSE 达到了 52.8% 的准确率，几乎追平了 53.6% 的专家基准。这表明较大的模型拥有足够的内在验证和修正能力来缩小差距。

在现实世界基准测试上的表现

在 OpenThoughts3 和其他推理基准（GSM8K, MATH500）上，自我改进的增益较为有限。例如，在 MATH500 上，SimpleSE 仅将 Gemma 4B 提升了 1.6%。论文指出，对于开放式问题，内部验证器难以区分看似合理但存在缺陷的推理路径与正确的路径，导致其相比于确定性 KK 任务的收益较小。

计算权衡

研究发现，增加验证器轮数 ($n_2$) 通常比增加候选生成数量 ($n_1$) 更具成本效益。适中的置信度阈值（如 $\tau = 0.7$）在精确率和召回率之间提供了良好的平衡。

意义与主张

本文声称阐明了何时闭环 SE 能提供帮助以及在最小化公式下内部生成的监督为何仍然不足。

• 内部信号的局限性： 主要发现是，在严格的闭环约束下，内部反馈本身并不能作为可验证奖励或精选真值解的通用替代品。虽然 SE 可以“锐化”模型对其现有解模式的信心（提升 Pass@1），但它并不能可靠地教会模型解决更难的问题，而不借助外部信号。
• 能力阈值： 自我改进高度依赖于模型规模。较小的模型（如 1B）由于验证器噪声往往无法有效地进行自我演进，而较大的模型（12B+）可以通过多轮反馈来接近专家性能。
• 泛化差距： 在自我演进模型与专家训练模型之间存在持久的差距，特别是在 OOD 泛化和开放式推理任务中。论文表明，虽然 SE 有助于蒸馏潜在的验证能力，但它无法完全取代复杂推理领域中高质量外部监督的需求。

总之，这项工作提供了一个严谨的实证基准，表明虽然自我演进带来了可衡量的改进，但除非模型足够大以充当其自身可靠的验证器和修正器，否则它目前仍处于低于专家监督所能达到的性能天花板水平。