🤖 machine learning

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

该论文提出了一种名为 RIFT 的高效对齐框架，通过引入奖励感知的重加权损失函数，将传统方法中丢弃的负样本转化为学习信号，从而在无需昂贵专家数据的情况下，利用自生成的混合质量数据显著提升了模型在数学基准测试中的表现。

原作者： Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RIFT（奖励知情微调）的新方法，旨在让大型人工智能（LLM）变得更聪明、更听话。

为了让你轻松理解，我们可以把训练 AI 想象成教一个学生做数学题。

1. 以前的方法：要么“只看好书”，要么“只挑好答案”

在 RIFT 出现之前，教 AI 主要有两种主流方法，但它们都有点“浪费”：

方法一： supervised Fine-Tuning (SFT) —— “只给满分试卷”
- 做法：老师（人类专家）只把那些完全正确的解题步骤抄下来，让 AI 照着背。
- 缺点：找这些“满分试卷”非常贵，而且如果 AI 只背正确答案，它可能根本不知道为什么其他答案是错的。就像学生只背了标准答案，一旦题目稍微变个样，或者自己算错了一步，他就不知道哪里出了问题。
方法二：Rejection Sampling Fine-Tuning (RFT) —— “挑挑拣拣”
- 做法：让 AI 自己做题，做 10 道题，然后老师只把做对的那几道留下来，做错的 9 道直接扔进垃圾桶，只拿做对的去训练。
- 缺点：太浪费了！那些“做错的题”里其实藏着巨大的价值。它们告诉 AI：“嘿，你刚才在这个步骤掉坑里了，下次别这么干。”直接扔掉，AI 就学不到怎么避坑。

2. RIFT 的创意：把“错题本”变成“提分神器”

RIFT 的核心思想是：别扔错题！把错题也利用起来，但要换种方式用。

想象一下，RIFT 就像一位高明的教练，他手里拿着 AI 做的所有题目（无论对错），并给每道题打分：

做对了：奖励 +1 分（大声表扬：“干得漂亮，继续保持！”）。
做错了：惩罚 -0.2 分（温和地提醒：“这里错了，下次注意，但别灰心，继续学。”）。

关键创新：如何“温和地”处理错题？

这里有一个巨大的技术陷阱。如果直接让 AI 去“惩罚”错题（比如强行让 AI 觉得那个错误答案的概率是 0），AI 可能会因为压力太大而崩溃（数学上叫“梯度爆炸”），就像学生被骂得太狠，直接不想学了，甚至把以前学对的东西也忘了。

RIFT 的聪明之处在于它用了一个“线性近似”的魔法：

对于做对的题，它依然用传统的“背诵法”（对数损失），让 AI 牢牢记住。
对于做错的题，它不用那种“要把概率压到 0"的暴力手段，而是用一种温和的线性惩罚。
- 比喻：这就好比老师对学生说：“这个答案不对，我们稍微减一点点分，让你知道它不好，但不会让你觉得天塌了。”
- 这样，AI 既能学到“什么是对的”，又能学会“什么是错的”，而且不会崩溃。

3. 为什么 RIFT 这么厉害？（实验结果）

论文在数学推理任务（比如做奥数题）上测试了 RIFT，发现它比以前的方法都要强：

更省钱（数据效率高）：以前要把错题扔掉，现在全都要。这意味着不需要人类专家花大价钱去标注那么多数据，AI 自己生成的“错题”也能变成营养。
更聪明（泛化能力强）：因为 AI 既学了“正路”，也学了“弯路”，它在遇到没见过的难题时，更能判断哪种思路是行不通的，从而做出更正确的选择。
更稳定（不崩溃）：通过那个“温和惩罚”的数学技巧，RIFT 在训练过程中非常稳定，不会出现以前那种“越学越乱”的情况。
更省内存：相比其他高级方法（如 DPO），RIFT 不需要加载额外的参考模型，就像学生不需要带两个书包上学，只需要背一个，跑得更快。

总结

RIFT 就像是一个懂得“错题价值”的超级老师。

它不再把 AI 做错的题当成垃圾扔掉，而是把它们变成宝贵的教材。通过一种巧妙的数学方法，它让 AI 在学习正确答案的同时，也能温和地吸取错误教训，最终让 AI 变得更聪明、更稳健，而且不需要花那么多钱去请人教它。

简单来说：别只盯着满分卷，把错题本用好，才是进步最快的秘诀。

1. 研究背景与问题 (Problem)

在大语言模型（LLM）的对齐（Alignment）过程中，**监督微调（SFT）和拒绝采样微调（RFT）**是两种主流方法，但它们存在显著的数据效率瓶颈：

SFT 的局限性：依赖昂贵的高质量专家标注数据。此外，预训练数据分布与 SFT 数据分布的不匹配可能导致灾难性遗忘（Catastrophic Forgetting）或对齐税（Alignment Tax）。
RFT 的局限性：RFT 通过从模型采样多个响应，仅保留超过质量阈值的“正样本”进行训练，直接丢弃所有低于阈值的“负样本”。
- 数据浪费：丢弃负样本浪费了生成过程中消耗的计算资源。
- 学习机会缺失：负样本包含了模型失败模式的重要信息。完全丢弃它们使得模型难以学习区分正确与错误的输出，限制了模型对细微错误的修正能力。
现有尝试的缺陷：直接引入奖励信号（Reward）到损失函数中（如简单的加权对数似然），会导致数学上的优化不稳定性。当模型试图抑制负样本（概率趋近于 0）时，负奖励与对数概率的乘积会导致梯度爆炸和损失函数无下界，引发训练崩溃。

2. 核心方法：RIFT (Methodology)

为了解决上述问题，作者提出了 RIFT (Reward-Informed Fine-Tuning)。这是一种简单但高效的框架，旨在利用所有自生成的样本（包括正负样本），通过奖励信号重新加权损失函数。

2.1 核心思想

RIFT 不再像 RFT 那样通过硬阈值（Hard Thresholding）丢弃负样本，而是保留所有采样轨迹，并根据质量评估指标赋予其标量奖励（Scalar Reward）：

正样本（ $r > 0$ ）：鼓励模型增加其生成概率。
负样本（ $r < 0$ ）：抑制模型生成该轨迹，但通过特殊的损失函数设计避免梯度爆炸。

2.2 理论分析与损失函数设计

作者首先分析了 naive 的加权损失函数 $L_{naive} = -E[r \cdot \log \pi_\theta(y|x)]$ 的问题：

问题：当 $r < 0$ 且 $\pi_\theta(y|x) \to 0$ 时，梯度 $\frac{\partial L}{\partial \pi} = -\frac{r}{\pi}$ 趋向于无穷大，导致数值溢出和训练崩溃。
解决方案：RIFT 提出了一种混合损失函数，针对正负样本采用不同的处理策略：
1. 正样本 ( $D^+$ )：保留标准的对数似然损失（Log-Likelihood），即 $-r \cdot \log \pi_\theta(y|x)$ ，以最大化似然估计（MLE）信号。
2. 负样本 ( $D^-$ )：将无界的对数项替换为有界的线性近似项。利用泰勒展开 $\log u \approx u - 1$ $lo g u \approx u - 1$ （在 $u \approx 1$ $u \approx 1$ 附近），RIFT 使用线性项 $-r \cdot \pi_\theta(y|x)$ $- r \cdot π_{θ} (y ∣ x)$ 来惩罚负样本。
  - RIFT 损失公式：
    $L_{RIFT}(\theta) = -E_{(x,y) \sim D^+} [r \cdot \log \pi_\theta(y|x)] - E_{(x,y) \sim D^-} [r \cdot \pi_\theta(y|x)]$
  - 优势：对于负样本，当 $\pi_\theta \to 0$ 时，线性项的梯度是常数（有界的），从而避免了梯度爆炸，确保了训练的数值稳定性和收敛性。

2.3 理论保证

有界性：由于概率 $\pi \in [0, 1]$ ，负样本的损失贡献被限制在 $[r, 0]$ 之间，防止了损失发散到 $-\infty$ 。
奖励下界最大化：优化 $L_{RIFT}$ 等价于最大化期望奖励 $J(\theta)$ 的一个有界下界（Surrogate Lower Bound）。

3. 主要贡献 (Key Contributions)

提出 RIFT 框架：一种简单且无需参考模型（Reference-free）的对齐方法，能够同时利用正负样本进行微调，显著提高了数据效率。
解决训练稳定性难题：通过理论分析揭示了直接加权对数似然的缺陷，并创新性地提出了分段损失函数（正样本用 Log，负样本用 Linear），在数学上保证了优化过程的稳定性，避免了梯度爆炸。
无需参考模型：与 DPO（Direct Preference Optimization）等需要额外加载参考模型的方法不同，RIFT 仅依赖策略模型本身，大幅降低了显存占用。
广泛的实验验证：在多个数学推理基准（MATH, GSM8K, Olympiad 等）和不同规模的模型（Qwen2.5, Qwen3, DeepSeek-R1-Distill）上进行了验证。

4. 实验结果 (Results)

实验在多个数学基准测试（Mean@8 和 Pass@8）上进行，对比了 SFT, DFT, RFT, DPO, SimPO, KTO 等基线方法。

性能提升：
- RIFT 在所有设置下均取得了最高的平均准确率。
- 在 Qwen2.5-Math-1.5B 上，RIFT 相比 RFT 提升了 11.4% 的平均准确率；在 7B 模型上提升了 2.9%。
- 在 Pass@8（生成 8 次中至少有一次正确的概率）指标上，RIFT 也显著优于 DPO 和 RFT，证明了其能更好地探索解空间。
资源效率：
- 显存占用：DPO 由于需要加载参考模型，峰值显存占用超过 41GB；而 RIFT 仅需 20-22GB（与 SFT/RFT 相当），比 DPO 节省了约 50% 的显存。
- 训练稳定性：即使在中等能力的模型或混合质量数据（包含大量负样本）上，RIFT 也能保持稳定，而 RFT 在数据质量不高时性能下降明显。
泛化能力：
- 在通用偏好对齐任务（如 UltraFeedback 数据集）上，RIFT 也优于 DPO，尽管提升幅度不如数学任务显著（受限于偏好数据的噪声）。
- 在 DeepSeek-R1-Distill 等具有内省推理能力的模型上，RIFT 避免了 SFT 导致的推理能力退化，同时保持了高准确率。

5. 意义与影响 (Significance)

数据效率的革命：RIFT 证明了“负样本”并非垃圾数据，而是宝贵的学习资源。通过复用负样本，模型可以在不增加数据收集成本的情况下，显著提升对齐效果。
降低对齐门槛：RIFT 不需要昂贵的专家数据（如 SFT 所需），也不需要参考模型（如 DPO 所需），使得在资源受限的环境下进行高效的大模型对齐成为可能。
理论指导实践：该工作不仅提出了一个工程方法，还从优化理论角度深入分析了奖励信号与损失函数结合的稳定性问题，为未来的奖励驱动微调（Reward-driven Fine-tuning）提供了重要的理论参考和损失函数设计范式。
可扩展性：RIFT 框架简单，易于集成到现有的训练流程中，且对模型规模具有良好的扩展性，适用于从 1.5B 到 7B 甚至更大规模的模型。

总结：RIFT 通过巧妙的损失函数设计，成功解决了利用负样本进行微调时的稳定性难题，提供了一种比 RFT 更充分利用数据、比 DPO 更节省资源的对齐方案，是大模型后训练（Post-training）领域的一项重要进展。