技术摘要：注入、对齐、恢复 (IAR)

问题定义

本文探讨了大语言模型（LLMs）中文档知识内化的挑战。在标准的检索增强生成（RAG）中，模型依赖外部检索来回答基于特定语料库的问题。然而，在许多部署场景中（由于延迟、隐私或测试限制），检索是不可用的。其目标是将一个固定的、有界的文档集合转化为模型内部可用的参数化知识，使其能够在推理时无需访问源文档的情况下回答预留问题。

现有方法面临显著局限性：

• 基于问答对的有监督微调 (SFT)： 提供了正确的输入输出格式，但提供的学习信号较为稀疏，因为只有被 QA 生成器选中的事实才会贡献损失值。
• 持续预训练 (CPT)： 提供了更密集的文档文本暴露，但未能明确教导模型如何在指令遵循接口下进行回答。
• 权衡关系： 这两种方法通常都受到灾难性遗忘的影响，即使模型适应特定领域的过程会降低其通用的指令遵循能力以及在广泛基准测试上的表现。

方法论：IAR 框架

作者提出了 IAR (Inject, Align, Recover)，这是一个三阶段后训练框架，旨在解耦领域获取、任务对齐和通用能力恢复。

第一阶段：注入 (Inject)

该阶段并非简单的原始持续预训练，而是将源文档转换为结构化的、受指令约束的监督重建任务。其目标是注入比仅靠 QA 训练更密集的文档级监督，且不使用原始流式 CPT 损失。该阶段采用了三种特定的目标：

1. 续写 (Continuation)： 在给定指令约束的前缀下预测文档后缀。
2. 重写 (Rewrite)： 从生成的摘要、大纲或知识骨架中重建清洗后的文档。
3. 指令格式化重建 (Instruction-Formatted Reconstruction)： 从简短、通用的阅读指令中预测清洗后的文档。
   这些目标被混合成一个“配方”数据集，在保持指令遵循格式的同时，让模型接触到完整的文档结构。

第二阶段：对齐 (Align)

此时模型已包含注入的文档知识，随后在源自文档的问答对上进行微调。至关重要的是，该阶段使用仅答案的有监督微调。这使得注入的知识与 QA 接口对齐，教会模型检索并利用内化的事实来回答特定问题。此阶段产生了一个领域适配检查点 ($\theta_{IA}$)。

第三阶段：恢复 (Recover)

为了减轻灾难性遗忘，该框架执行事后模型合并。它将领域适配检查点 ($\theta_{IA}$) 与原始基础指令模型 ($\theta_0$) 进行合并。作者评估了多种合并算子，包括 SLERP、任务算术 (task arithmetic)、TIES 和 DARE。

• 选择策略： 最终的检查点不一定是领域准确率最高的那个。相反，作者选择了一个领域-通用前沿点 (domain-general frontier)。他们将领域准确率作为主要目标，同时使用通用基准测试（IFEval, MMLU, MSBench）作为“护栏”，以确保可部署性。

核心贡献

1. 问题形式化： 本文将针对固定语料库的无检索问答定义为一个领域通用操作点问题 (domain-general operating-point problem)，明确衡量了领域可及性与通用能力之间的权衡。
2. IAR 框架： 引入了三阶段分解过程（注入、对齐、恢复），将文档暴露、答案对齐和能力恢复分离。这使得能够隔离出哪些干预驱动了特定的增益或失败。
3. 全面评估： 该方法在两个语料库（Common Corpus/CC 和 CCI）和四个模型家族（Llama, Phi, Qwen, SmolLM）上进行了评估。它与广泛的基线进行了对比，包括 Vanilla SFT、CPT+SFT、LoRA、SDFT、Replay 和 FAPM。
4. 实证证据： 研究提供了强有力的证据和边界证据，阐明了初始化强度、数据配方或操作点选择在何时最为关键。

结果

实验表明，IAR 改善了无检索文档内化的领域-通用前沿面：

• 相对于 Vanilla SFT 的表现： 在所有四个报告的指标中，IAR 在 8 个数据集-模型设置中的 7 个设置中优于 Vanilla SFT。
  • 例外情况： 在 Phi-4-mini CCI 设置下，IAR 提升了 IFEval 和 MSBench，但相对于 Vanilla SFT 略微降低了领域准确率和 MMLU。
  • 平均增益： 在所有设置中，与 Vanilla SFT 相比，IAR 在领域 QA 准确率上平均提升了 3.6 个百分点，在平均通用性能（涵盖 IFEval, MMLU 和 MSBench）上平均提升了 12.1 个百分点。
  • 具体示例： 在使用 Qwen3-4B 的 CC 数据集上，IAR 将领域准确率从 42.4% (Vanilla SFT) 提高到 50.5%，同时提升了所有三个通用指标。
• 与 BudgetMatch 的比较： 与“BudgetMatch”基线（使用相同的 Token 预算但仅进行 QA 训练）相比，IAR 在四个设置中的三个设置中表现更优，这表明其增益不仅源于增加的 Token 数量，还源于阶段性的暴露和恢复过程。
• 扩展性： 在 CC 数据集上，扩展 Qwen3 模型（8B, 14B, 32B）显示，IAR 使领域准确率保持在最佳恢复前检查点 1.1 个点以内，同时恢复了 14.9–24.1 个点的平均通用性能。
• 边界情况： 文中指出，IAR 并非在所有设置下的所有指标上都统一占优（例如，Phi-4-mini 在 CCI 上的表现显示出领域准确率略降但通用指标提升），这强调了部署偏好决定了最优操作点。

意义与主张

本文主张 IAR 改善了无检索文档内化的操作点前沿。其意义在于证明了：

1. 分解是有效的： 将文档暴露、QA 对齐和恢复分离，比将这些功能合并为一个单一的微调配方更为有效。
2. 恢复至关重要： 事后合并是一种可行的策略，可以在不牺牲内化领域知识的前提下，恢复在领域适配过程中丢失的通用能力。
3. 可衡量的权衡： 文档暴露、答案对齐、数据配方和恢复应当分别进行衡量。本文反对将这些因素合并为一个单一的分数，因为不同的基线（如 LoRA 或 FAPM）可能在特定通用指标上获胜，但在领域内化方面表现不佳，而 IAR 提供了一个平衡且强大的以领域为主要目标的操作点。

作者总结道，IAR 代表了一个强有力的、取决于具体设置的操作点，而非一个普遍占优的单一配方，它为在保留通用模型效用的同时实现文档知识内化提供了一个稳健的框架。