技术摘要：从饱和数据中学习

1. 问题陈述

大语言模型（LLMs）的快速发展导致许多标准基准测试和训练数据集出现了饱和现象。在这些“饱和”状态下，模型在训练问题上达到了近乎完美的经验准确率，这使得传统的二元正确性信号（正确/错误）无法用于进一步提升性能。由于给定问题的所有采样补全均为正确，基于正确性的标准监督微调（SFT）或强化学习（RL）无法区分高质量与低质量的解法，也无法从模型已能可靠解决的数据中提取额外的学习信号。

核心研究问题是：我们能否从模型经验上能够完美解决的问题中提取学习信号，以提升其在更难任务上的下游表现？

2. 方法论

作者提出了一种框架，通过细粒度的质量信号而非二元正确性来区分正确的补全结果。该方法包含三个核心组件：

A. 难度划分

训练数据根据模型的经验解决率（$\hat{p}(x)$）进行划分。

• 饱和集 ($D_{saturated}$)：模型对 100% 采样的补全结果均表现为正确的题目。
• 严格更易集 ($D'_{strict}$)：来自更简单分布的题目，模型同样达到了 100% 的准确率。
• 目标：目标是利用仅来自饱和子集的训练数据，来提高模型在非饱和部分分布（$D \setminus D_{saturated}$）上的表现。

B. 质量信号

引入了两种互补的机制来对正确的补全进行排序：

1. LLM-作为-自我评判 (LLM-as-a-Self-Judge)：模型对自身的补全进行两两比较，以确定每个解法的“胜率”。这生成了一个无需外部标签的偏好排序。
2. 逆向 Token 级熵 (Inverse Token-Level Entropy)：通过测量输出分布的平均 token 级熵来衡量模型的不确定性。较低的熵（更高的置信度）被视为高质量解法的代理指标。得分定义为 $r_H = 1 / \max(\bar{H}, \epsilon)$。

C. 训练算法

这些质量信号被集成到两种训练范式中：

1. 直接偏好优化 (DPO)：基于质量排序（最优 vs 最差）构建选择-拒绝对，并优化策略以偏好选中的补全。
2. 逻辑加权 RRHF ($\sigma$-RRHF)：这是 Rank Response to Align Language Models with Human Feedback (RRHF) 的一种变体。不同于将所有样本对同等对待的标准 RRHF，$\sigma$-RRHF 对秩损失应用逻辑权重函数 $\sigma(r_j - r_i)$。它在利用所有样本的同时，为具有更大质量差距的样本分配更高的重要性，而非仅仅使用最优-最差对。

3. 实验设置

• 基座模型：Qwen3-1.7B-Base。
• 任务：
  • Chain Sum：来自 ReasoningGym 的合成算术任务，具有可控的难度（项数和位数）。
  • GSM8K：标准的初中数学应用题数据集。
• 基线模型：使用随机评分、自我评判、强外部评判（Qwen3-30B）以及逆向熵的标准化 SFT、DPO 和 RRHF。

4. 关键结果

A. Chain Sum (合成算术)

• 由易到难的迁移：仅在饱和的 Chain Sum 问题上进行训练，显著提升了模型在更难的非饱和问题上的表现。
• 逆向熵的优越性：在饱和子集上，使用逆向熵训练的 $\sigma$-RRHF 取得了最强结果，相比基座模型将 pass@1 提升了 18.6%，并大幅超越了 SFT。
• 自我评判的局限性：虽然自我评判 $\sigma$-RRHF 也优于基座模型，但通常逊于基于熵的方法。
• 严格更易集的迁移：即使在比评估集更简单的题目（$D'_{strict}$）上进行训练，逆向熵 $\sigma$-RRHF 仍实现了比基座模型 +11.7% 的提升，展示了鲁棒的迁移能力。

B. GSM8K (真实数学任务)

• 收益有限：GSM8K 的结果较为平庸，且高度依赖于质量信号。
• 评分器的可靠性至关重要：
  • 逆向熵：在使用 DPO 时，提供了适度的提升（pass@1 提升 +3.3%）。
  • 自我评判失效：自我评判信号与强外部评判器之间的表现出极差的一致性（Spearman 相关系数为 -0.2），这意味着在 GSM8K 上，使用自我评判信号进行训练会导致性能下降至基座模型以下。
• 算法敏感性：$\sigma$-RRHF 在 GSM8K 上的表现通常不如 DPO，这可能是因为 $\sigma$-RRHF 依赖拟合完整的排序，从而放大了噪声评分器中的系统性偏差，而 DPO 的 KL 约束限制了发散。

C. 指令微调模型

当应用于模型的指令微调版本时，逆向熵 DPO 未能提升性能，甚至导致了性能下降。这表明指令微调已经最小化了熵，使得进一步降低熵成为一种糟糕的质量代理指标。

5. 核心贡献

1. 识别了饱和训练：本文识别了饱和问题（即准确率为 100% 的问题）是一个可行的训练场景，挑战了此类数据无用的观点。
2. 基于质量的信号：证明了基于质量的信号（特别是逆向熵和自我评判）可以从饱和数据中提取有用的学习信号，以提升下游表现。
3. 评分器可靠性瓶颈：研究强调，从饱和数据中学习的有效性完全取决于质量评分器的可靠性。对于合成任务，逆向熵被证明是一种鲁棒的、无需评判器的信号；而对于像 GSM8K 这样复杂的自由形式推理任务，自我评判则显得不可靠。

6. 重要性与主张

论文声称，通过质量差异化的补全结果，可以将训练过程从饱和点向后推进，但这是以评分器的可靠性为前提条件的。

• 主要发现：对于受限任务（如 Chain Sum）上的基座模型，基于质量排序的训练（特别是逆向熵）可以显著优于标准 SFT，并能迁移到更难的问题。
• 警示：对于复杂、开放式的任务（如 GSM8K），该方法非常脆弱。如果质量信号（如自我评判）存在噪声或与真实质量不一致，它会主动损害性能。
• 结论：从饱和数据中学习的主要瓶颈不在于缺乏数据，而在于质量评分器的校准。作者总结道，虽然该方法前景广阔，但在应用于复杂任务时，需要仔细的验证和进一步的研究，以确保信号不会产生误导。