Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge

想象一下，你正试图教一个才华横溢、博学多才的青少年如何经营一家非常具体且复杂的业务。这个青少年已经读遍了公共图书馆几乎所有的书籍，可以从历史聊到编程，无所不知。但他们从未见过这家公司的内部规则手册、安全手册或秘密项目文件。如果你只是让他们根据已有的知识去猜测答案，他们听起来可能很有自信，但细节会出错，或者更糟——编造出听起来很真实但并非事实的内容（专家称之为“幻觉”问题）。

这就是**企业级问答（Enterprise Question Answering）**面临的挑战。公司拥有海量的私有文档，其中包含了“真实”的答案，但其 AI 模型并不知道这些内容。目标是在教会 AI 这些公司秘密的同时，不让它忘记如何做一个得体、礼貌且逻辑清晰的通用助手。这是一个微妙的平衡：如果教得太多，它可能会失去作为通用助手的能力；如果教得太少，它就无法胜任工作。你即将阅读的论文探讨了一个巧妙的三步走方案来解决这个难题，将一个通用的 AI 转变为公司专家，同时又不至于让它“丧失理智”。

---

Wnuan 配方：教 AI 成为公司专家

认识一下 Wnuan，这是一个全新的训练流水线，旨在将通用 AI 转变为能够深入了解公司私有文档的专家。不要把 AI 仅仅看作是一个为考试死记硬背的学生，而要把它看作一名需要学习公司手册、安全协议和项目历史，同时还要记得如何做一个有礼貌的人类的入职新员工。

该论文的作者为他们的 AI 构建了一个名为 Wnuan 的三阶段训练营。以下是这一旅程的逐步展开过程。

第一步：将手册变成问答秀

首先，团队必须将成千上万份枯燥乏味的各种公司文档（如安全规则或技术规范的 PDF）转化为 AI 真正可以学习的形式。你不能直接把一份 500 页的手册喂给 AI 然后指望它记住。相反，他们使用了一种称为 文档转问答（Document-to-QA） 的过程。

想象一下，拿出一本厚重的规则书，让一位聪明的编辑将每一条规则都变成一张“问题与答案”形式的闪卡。如果规则说：“所有员工在 B 区必须佩戴安全帽”，系统就会创建一张卡片，提问“在 B 区必须佩戴什么？”，并提供答案。他们针对超过 22 万个示例进行了这样的处理！他们甚至让 AI 重写了一些答案，以确保其语气完全符合正在训练的特定 AI 的风格。这创造了一个量身定制的、针对公司秘密的庞大“定制题库”。

第二步：“复习”间歇

现在到了棘手的部分。如果你只学习公司手册，你可能会忘记如何与人交流或解决一般性问题。这被称为“灾难性遗忘”。为了阻止这种情况，团队使用了一种名为 通用数据回放（General-Data Replay） 的技术。

这就像是一次学习环节：学生学习一段时间的公司手册后，会停下来聊聊体育、科学或逻辑谜题等通用话题。论文发现，在公司数据中混入大约 48% 的通用对话数据是“黄金比例”。这让 AI 在学习公司规则的同时，依然保持聪明和礼貌。如果没有这个间歇，AI 可能会成为一名优秀的专家，却变成一个糟糕的对话者。

第三步：“残差错误”特训

经过前两步，AI 已经表现不错了，但它仍然会犯错。它能答对简单的题目，但在难题面前会栽跟头。这时，第三阶段——残差错误强化学习（Residual-Error Reinforcement Learning, RL） 就发挥作用了。

团队并没有重新学习整个题库，而是专门针对 AI 做错的题目（即“残差错误”）进行研究。他们把这些错误当作教练关注运动员弱点的方式。他们使用一种特殊的奖励机制，教导 AI 如何修复这些特定的错误。这就像是在说：“你已经掌握了基础数学题，但让我们针对这几道复杂的代数题进行专项练习，直到你彻底掌握为止。”

结果：小代价换取大回报

这三阶段训练的结果令人印象深刻。在进行任何训练之前，该 AI（称为 Wnuan-Base）在名为 Wnuan-Bench 的测试集上只能给出约 52.76% 的合格答案。

• 第二步之后（带有回放的 SFT）： 分数跃升至 80.06%。此时的 AI 已成为一名合格的员工。
• 第三步之后（残差错误 RL）： 分数进一步攀升至 91.51%。此时，AI 已经精通了公司的秘密。

团队还检查了 AI 是否忘记了如何担任通用助手。他们发现，虽然 AI 在遵循非常具体的复杂指令方面略有下降（在通用基准测试中下降了约 5 分），但它并未失去其通用的智能。这种权衡是值得的：AI 成为了更好的公司专家。

论文排除了哪些可能性（以及哪些没有）

作者非常谨慎地测试了他们的想法。他们不仅仅是猜测“专注于错误”更好，而是证明了这一点。

• 专注于错误确实有效： 他们将“残差错误”方法（仅关注错误答案）与另外两种方法进行了对比：一是学习“全部内容”（全集法），二是学习“随机混合”的问题。最终，“残差错误”方法胜出，比随机方法高出 2.97 分，比全集法高出 3.11 分。这表明，一旦 AI 掌握了基础知识，针对其特定弱点进行强化训练是最有效率的学习方式。
• 检索并非万能药： 团队还测试了一种常见的技巧——RAG（检索增强生成），即允许 AI 在测试期间在数据库中查找答案。令人惊讶的是，对于经过充分训练的 AI 来说，查找答案在某些情况下反而让表现变差了。由于 AI 已经如此深入地掌握了材料，尝试查找反而会让它感到困惑。这表明，对于这类特定类型的训练，将知识“内化”比实时查找更为有效。
• 它不是通用的灵丹妙药： 论文承认，这种方法非常适用于这家公司的内部文档。它并不声称能解决世界上所有的 AI 问题。此外，该 AI 仍被设计为一个由人类监督的辅助工具，而不是独立做出最终安全或招聘决策的机器人。

总结

Wnuan 论文为打造 AI 专家展示了一条清晰的路径。通过将文档转化为问答、混入通用对话以保持平衡，并针对其错误进行专项强化，你可以将一个通用的机器人转变为一名高度熟练的公司内部专家。

作者指出，这种“分阶段”的方法是关键：先教基础，再精炼弱点。虽然 AI 在遵循复杂指令的能力上略有损失，但其准确率的大幅提升（从 52.76% 到 91.51%）使得这一策略对于需要 AI 精通业务规则、流程和秘密的公司来说，是一个极其成功的方案。它提醒我们，有时候，最好的学习方式不是重新学习所有内容，而是专注地攻克那些你做错的地方。