技术摘要：INFUSER —— 影响力引导的自我进化提升推理能力

1. 问题陈述

近期大语言模型（LLM）推理能力的进展高度依赖于具有可验证奖励的强化学习（RLVR）。然而，RLVR 的可扩展性受限于高质量、可验证训练数据的稀缺，而这类数据的构建成本极高。自我进化（Self-evolution） 提供了一条路径，允许模型从非结构化文档或其自身输出中生成训练数据，从而无需外部教师模型或精选语料库。

现有的自我进化方法面临两个主要局限：

1. 落地性（Grounding）： 纯粹的自我博弈方法（如 R-Zero）仅依赖模型的先验知识，存在产生幻觉参考答案的风险。基于执行器（Executor）的方法（如 AZR）虽然恢复了可验证性，但仅限于具有正式执行器（代码、数学）的领域，无法利用丰富的非结构化文本。
2. 生成器目标（Generator Objectives）： 基于文档的方法（如 SPICE）通常根据**难度启发式（Difficulty Heuristics）**来奖励生成器（例如，使求解器的失败率最大化至约 50%）。难度是一个粗略的效用代理；一个问题之所以“难”，可能是因为歧义或与源文档不匹配，这并不能保证能提升求解器在目标分布上的表现。

核心问题在于：我们能否训练一个生成器，使其能够生成既基于文档，又能通过与求解器协同进化，真正提升当前求解器在目标分布上表现的训练数据？

2. 方法论：INFUSER

作者提出了 INFUSER（INFluence-gUided Self-Evolution Improves Reasoning，影响力引导的自我进化提升推理能力），这是一个将自我进化建模为生成器 ($\pi_\phi$) 与求解器 ($\pi_\theta$) 之间**双层博弈（Bilevel Game）**的迭代协同训练框架。两者均从同一个预训练模型初始化。

2.1 双层博弈公式化

• 底层（求解器）： 求解器在由生成器从非结构化文档池 ($D_{doc}$) 中生成的问答对（QA pairs, $Q_\phi$) 组成的课程上进行训练。求解器通过标准的 RLVR（如 Dr.GRPO）进行优化，以最大化在该课程上的准确率。
• 高层（生成器）： 生成器旨在生成一个课程 $Q_\phi$，使得在求解器更新后，求解器在目标分布 ($P$) 上的性能得到提升。
• 协作性质： 与对抗性自我博弈不同，生成器的奖励在于帮助求解器在目标分布上取得进步，而不是为了击败求解器。

2.2 优化器感知的影响力得分（Optimizer-Aware Influence Score）

为了避免精确双层微分（即通过求解器的完整训练循环进行反向传播）带来的高昂成本，INFUSER 采用了受影响函数（Influence Functions）启发的一阶近似。

• 开发集锚点（Dev-Set Anchor）： 使用从目标分布 $P$ 中采样的少量留出开发集 ($D_{dev}$) 来定义“改进方向”。求解器在 $D_{dev}$ 上性能的梯度 ($\hat{g}_{dev}$) 作为目标向量。
• 影响力计算： 对于每个生成的问答对 $(q, a_\phi)$，系统会估计由训练该特定对所诱导的求解器参数更新方向 ($\hat{\Gamma}(q, a_\phi)$)。该方向经过 AdamW 优化器状态的预处理，以反映实际的更新步骤。
• 奖励信号： 生成器的奖励是目标梯度 ($\hat{g}_{dev}$) 与诱导更新方向 ($\hat{\Gamma}$) 之间的余弦相似度：
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  正分表示在 $(q, a_\phi)$ 上进行训练有助于提升在目标分布上的性能。该得分取代了传统的“难度”指标。

2.3 DuGRPO：双重归一化 GRPO

影响力得分是一个连续且带有噪声的信号，这对标准的组相对策略优化（GRPO）提出了挑战。

• 挑战： 仅在文档组内进行归一化（GRPO 风格）会放大低方差组中的噪声；仅在 Batch 内进行归一化（BatchNorm 风格）则会导致高方差组占据主导地位。
• 解决方案： 作者提出了 DuGRPO，一种结合了组内和跨组归一化的双重归一化优势估计器：
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  其中 $\sigma_d$ 是文档组内的标准差，$\sigma_B$ 是整个 Batch 的平均标准差。通过抑制低方差噪声并防止高方差主导，该方法使训练更加稳定。

2.4 训练循环

算法在每次迭代中按以下阶段进行：

1. 开发集参考： 从求解器在 $D_{dev}$ 上的 Rollouts 中计算目标梯度 $\hat{g}_{dev}$。
2. 生成： 生成器采样文档并生成问答对。
3. 求解器评估： 求解器尝试解决生成的题目；估计每个问题的梯度。
4. 影响力评分： 使用与 $\hat{g}_{dev}$ 的余弦相似度计算影响力得分。
5. 更新： 使用 DuGRPO 和影响力得分更新生成器；使用 Dr.GRPO 和二元正确性奖励更新求解器。

3. 核心贡献

1. 影响力引导的自我进化： 一种全新的框架，用优化器感知的的影响力得分取代了基于难度的生成器奖励，直接针对目标分布的效用进行优化，而非仅仅追求难度。
2. DuGRPO： 一种专门为基于影响力的连续且多噪奖励设计的策略梯度变体，实现了稳定的生成器训练。
3. 基于文档落地的协同进化： 一种利用非结构化教科书生成训练数据的方法，避免了对外部教师或执行器的需求，同时通过求解器自身的推理保持了可验证性。
4. 可扩展性： 证明了协同进化的 8B 生成器在数学和编程任务上可以超越冻结的 32B “思考型”生成器，表明对于课程生成而言，适应性比模型规模更重要。

4. 实验结果

实验在 Qwen3-4B-Base 和 Qwen3-8B-Base 锚点模型上进行，将 INFUSER 与强基线（R-Zero, AZR, R-Few, SPICE）以及通用推理器（General-Reasoner）基线进行了对比。

• 性能提升： INFUSER 在 14 个基准测试中的 8 个上取得了最高分。在 Qwen3-8B-Base 上，与基础模型相比，在 OlympiadBench (Math)、SuperGPQA 和 GPQA-Diamond 上的相对提升超过了 20%。
• 扩展性： INFUSER 的性能增益在不同模型规模（4B 到 8B）下保持一致，而 R-Zero 和 SPICE 等基线在规模扩大时表现出明显的性能衰减。
• 生成器质量： 分析显示，协同进化的生成器随时间推移会产生越来越设计精良且具有挑战性的问题。“强-弱”差距（强模型与基础模型在生成问题上的准确率差异）不断扩大，表明生成器正在创建对基础模型而言很难、但对更强模型而言可解的问题（即高质量的推理挑战）。
• 消融实验：
  • 生成器的必要性： 去掉生成器（直接在 $D_{dev}$ 上训练）会导致对开发集的过拟合以及泛化能力下降。
  • 协同进化： 冻结的 8B 生成器在表现上逊于协同进化的 8B 生成器，尤其是在数学方面。冻结的 32B 生成器在知识密集型任务（通用推理、医学）上优于 8B 协同进化生成器，但在数学和编程任务上被后者超越，这突显了在推理任务中，适应性胜过规模。
  • 组件分析： 实验发现优化器感知的的影响力得分和 DuGRPO 归一化都是必不可少的；移除它们会导致性能退化到冻结生成器的水平。
• 扩展应用：
  • 指令微调锚点： INFUSER 成功提升了指令微调后的锚点模型（OLMo-3-7B-Instruct-SFT），在 13 个基准测试中的 10 个上取得了领先。
  • 混合 RLVR： 将基于文档的自我进化与基于规则可验证的数学 RLVR 相结合，稳定了仅进行科学训练时观察到的“响应长度坍缩”现象，降低了数学性能的种子方差。

5. 重要性与主张

论文声称 INFUSER 提供了一条通过将丰富的非结构化语料库转化为结构化、效用对齐的训练信号，从而实现更强推理能力的扩展路径，且无需依赖精选数据集或教师模型。

• 范式转变： 它将生成器的目标从“增加难度”转向“增加效用”，利用影响函数将课程生成与求解器的学习轨迹对齐。
• 效率： 它证明了较小的、协同进化的生成器可以超越规模更大的冻结生成器，这表明课程适应的过程比静态的大规模知识更具价值。
• 泛化性： 该框架被证明具有灵活性，既适用于基础模型也适用于指令微调模型，并能与其它 RLVR 信号（如数学验证器）集成，以稳定训练动态。

作者总结道，尽管该框架目前依赖于一个小型的开发集来锚定目标方向，但它代表了一个极具前景的方向，即通过将基于效用的课程生成与更大规模的文档池及更长的训练周期相结合，来扩展推理能力。