🤖 machine learning

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting

RAFT 是一个两阶段框架，它通过利用模型兼容的重写来精炼训练数据，并采用以答案为条件的策略性蒸馏，在提升领域内性能的同时保留模型的原始通用能力，从而缓解领域特定微调过程中的灾难性遗忘。

原作者： Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、博学多才的图书管理员（AI 模型），他几乎无所不知：历史、烹饪、编程和诗歌。这位图书管理员非常擅长回答各种通用问题。

现在，想象你想训练这位图书管理员成为一名专门研究法律的专家。你给了他一叠法律教科书，并对他说：“去学习这个！”

问题所在：“专家陷阱”
如果你只是强迫这位图书管理员死记硬背这些法律书籍（这个过程在论文中被称为标准 SFT），他会成为一名优秀的律师。但问题在于，他会忘记如何做一个优秀的通用图书管理员。他可能会忘记如何写诗、如何遵循简单的指令，或者如何聊聊天气。他会变得过于专注于新的规则，从而失去了原有的个性及其广泛的知识。这被称为**“灾难性遗忘” (Catastrophic Forgetting)**。

论文指出，这主要有两个原因：

“风格冲突”： 法律教科书的写作风格生硬、正式，与这位图书管理员平时的说话方式不匹配。强迫他像教科书那样说话会让他的表达变得笨拙，并破坏他自然的语言流利度。
“单行道”： 这种训练只关注书中的“正确”答案。它并不关心当图书管理员尝试独立回答问题时是否会感到困惑。这就像一位老师只根据选择题来给学生评分，却从未观察过他们解决问题的思维过程。

解决方案：RAFT（“精炼且自适应”的教练）
作者提出了一种名为 RAFT 的新方法。你可以将 RAFT 看作是一个两步走的教练计划，旨在教导图书管理员法律知识，同时又不让他们忘记如何做一个“人”。

第一步：“翻译官”（数据精炼）

在图书管理员开始学习之前，RAFT 先充当一名翻译官。

问题： 法律书籍太生硬了。
解决方法： 要求图书管理员用他们自己自然的口吻重新改写法律答案，同时保持事实的准确性。
过滤器： 一位聪明的编辑会进行检查：“图书管理员在改变风格的同时是否改变了原意？”如果意思依然准确，则保留改写后的版本；如果变成了胡言乱语，则保留原始版本。
融合： 最后，一个超级聪明的“融合模型”（类似于资深编辑）会将原始法律答案和图书管理员改写的版本合并成一个完美的、高质量的答案——这个答案既符合事实，又易于被图书管理员理解。

类比： 与其强迫图书管理员阅读枯燥的法律合同，不如给他一份用白话文编写的“小抄”，其中依然包含了所有的法律事实。

第二步：“影子教练”（自适应蒸馏）

现在，图书管理员开始使用这些全新的、友好的“小抄”进行学习。但神奇的部分来了：

场景： 图书管理员尝试独立回答一个问题（生成一个“轨迹”或思维路径）。
教练： 原始的图书管理员（那个了解世界万物，而不只是法律的图书管理员）会观察这个过程。
秘密武器： 教练被赋予了“完美的小抄”（来自第一步）作为参考。当学生图书管理员卡住或偏离轨道时，教练会说：“嘿，基于我们已知的这些事实，这里有一种更好的表达方式，”但他们会表现得非常温和。
平衡： 教练不仅仅是说“错了”。他们使用一种特殊的技术（称为 Top-K Temperature）来提供几个好的选项，而不是强迫给出一个单一的答案。这能保持学生的创造力和多样性，而不是让他们变得机械化。
自动驾驶： 系统会自动调整它在多大程度上听从“法律”以及在多大程度上听从“通用知识”教练的指令。如果学生变得过于专注于法律而忘记了通用技能，教练会自动调高通用知识的“音量”。

类比： 想象一名学生正在学习驾驶赛车（法律）。传统的老师只会大喊：“看到红灯时向左转！”（强迫执行某个动作）。而 RAFT 就像是一位坐在副驾驶座上的驾驶教练，手里拿着地图（精炼后的数据），并温柔地引导学生：“你转弯太快了，记得在转弯的同时也要检查后视镜（通用技能）。”

结果

论文在三种不同类型的“图书管理员”（AI 模型）以及五个不同的主题（法律、科学、文化等）上测试了该方法。

胜任工作： 经过 RAFT 训练的图书管理员在回答法律问题方面比采用传统训练方法的图书管理员提高了 23%。
没有忘记其他知识： 至关重要的是，他们并没有失去通用技能。在通用推理和指令遵循能力的测试中，他们找回了通常会被丢失的技能中的 18% 和 10%。

总结：
RAFT 是一种训练方法，它首先将困难的新信息翻译成 AI 已经理解的语言，然后使用一个智能、自适应的教练来引导 AI 的学习过程。这确保了 AI 在成为专家的同时，不会忘记如何成为一名通才。这本质上是在教一个人掌握一门新职业的同时，不让他忘记如何做一个完整的人。

技术摘要：RAFT（用于缓解遗忘的领域微调数据精炼与自适应蒸馏）

问题陈述

领域特定监督微调（SFT）对于使大语言模型（LLMs）适应专业任务至关重要，但频繁导致灾难性遗忘，即模型的通用能力显著退化。作者确定了驱动这种退化的两个实际差距：

监督兼容性差距（Supervision-Compatibility Gap）： 领域真值答案在风格和推理格式上往往与模型的自然响应存在差异。强迫模型拟合这些差异化的目标会导致参数发生剧烈偏移，从而覆盖预训练知识。
轨迹保持差距（Trajectory-Preservation Gap）： 标准 SFT 仅针对固定的目标 token 进行优化，而未对模型自身生成的序列前缀进行约束。这种缺乏约束的状态导致在优化过程中无法保留模型原始的行为模式。

现有方法通常仅解决问题的一侧（例如，通过自我蒸馏进行数据精炼，或通过正则化/KL 散度进行训练约束），但很少同时处理两者，从而导致领域适应与通用能力保持之间的权衡并非最优。

方法论

RAFT 提出了一个两阶段框架，将数据精炼与**自适应在策略蒸馏（on-policy distillation）**耦合在一起，以同时解决上述两个差距。

1. 离线蒸馏（数据精炼）

此阶段构建与模型兼容的监督数据，以减少真值分布与模型输出分布之间的不匹配。

自我条件重写（Self-Conditioned Rewriting）： 原有的指令微调模型在以原始答案本身为条件的情况下重写真值答案（ $\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$ ），在保留事实内容的同时，使表达风格适应模型自身的分布。
语义过滤（Semantic Filtering）： 为防止语义漂移，计算原始答案与重写答案之间的余弦相似度。只有当重写内容的相似度超过阈值 $\tau$ 时才会被接受；否则，保留原始答案。
多专家最优选择（Multi-Expert Optimal Selection）： 对于被接受的重写内容，使用更强的融合模型（如 Qwen3-3B）结合原始答案与重写答案。多个判别模型会对融合后的输出进行评估，以确保其与原始答案的一致性，并选择得分最高的结果作为最终的精炼答案（ $\hat{y}_i$ ）。

2. 自适应在策略蒸馏（训练优化）

此阶段使用精炼后的数据集训练模型，同时通过蒸馏约束显式地保留通用能力。

答案条件的在策略蒸馏（Answer-Conditioned On-Policy Distillation）： 学生模型自回归地生成轨迹（ $z_i$ ）。原有的指令微调模型充当教师模型，提供软目标（soft targets）。关键在于，教师模型是以融合后的答案（ $\hat{y}_i$ ）为条件的，这为其提供了额外的上下文，使其能够对学生生成的轨迹提供更具信息量的引导。
Top-K 温度蒸馏（Top-K Temperature Distillation）： 为了防止过度平滑并保持输出多样性，KL 散度仅在教师分布的前 $K$ 个 token 上进行计算，并由温度参数 $T$ 进行缩放。
基于 EMA 的自适应平衡（EMA-Based Adaptive Balancing）： 该方法不使用固定超参数，而是利用指数移动平均（EMA）机制动态调整 SFT 损失（交叉熵）与蒸馏损失（KL 散度）之间的权重（ $\lambda$ ）。这确保了两个目标在整个训练过程中保持平衡，无需手动调优。

核心贡献

问题识别： 本文指出，监督分布不匹配与缺乏显式轨迹保持约束的耦合，是领域 SFT 中导致遗忘的根本原因。
离线蒸馏策略： 引入了一个利用余弦相似度过滤和多模型融合来生成高质量、分布一致的监督数据的流水线。
自适应在策略蒸馏： 提出了一种结合了“答案条件在策略蒸馏”、Top- $K$ 温度缩放和基于 EMA 损失平衡的新型训练目标。
实证验证： 通过证明耦合数据精炼与轨迹级保持能有效缓解遗忘，同时提升领域性能。

实验结果

RAFT 在三个指令微调基座模型（SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct）以及五个领域（商业、法律、科学、文化、网络）上进行了评估。

领域性能： 与标准 SFT 相比，RAFT 将平均领域准确率（D-Acc）提升了 23.2%。
通用能力保持： RAFT 恢复了 SFT 造成的显著退化部分：
- MS-Bench（主观问答）：相对于 SFT 提升了 18.2%。
- IFEval（指令遵循）：相对于 SFT 提升了 10.2%。
消融实验：
- 数据融合： 仅使用融合数据进行训练，其 D-Acc 和通用指标均优于原始数据，证实了风格适配的价值。
- 蒸馏： 在融合数据 SFT 的基础上加入自适应在策略蒸馏，在领域准确率和通用能力方面都带来了实质性的进一步提升。
- 自适应平衡： 基于 EMA 的策略优于固定的 KL 系数，后者要么抑制了领域适应，要么未能有效保持通用能力。
参数分析： 最佳性能出现在余弦相似度阈值 $\tau=0.8$ 、温度 $T=1.5$ 以及 Top- $K=512$ 时。

意义与主张

本文声称 RAFT 为缓解遗忘的领域微调提供了一套有效的“配方”。通过将数据精炼与训练约束视为耦合而非独立的两个问题，该框架使模型能够在获取领域特定知识的同时，不会覆盖其预训练的通用能力。

作者强调，该方法将教师模型从一个“保守的锚点”转变为一个“感知目标的向导”。结果表明，将兼容的监督与轨迹级保持相结合，是解决 LLM 专业化与泛化之间权衡问题的切实可行方案。本文在可扩展性方面保持了审慎态度，指出目前的评估局限于小规模模型和特定领域，而在更大规模模型或特定任务（如代码生成）上的表现仍需进一步研究。