Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
本文识别并量化了工具增强型大语言模型（LLM）训练中的一个关键缺陷，即标准序列构建策略会切断助手目标与其来源工具观测值之间的联系，并提出了一种重构策略，旨在显著提高监督覆盖率和上下文完整性，同时减少 Token 冗余。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
现代人工智能助手正日益被设计成能够通过调用外部工具来解决问题的智能体。当用户提出问题时，模型可能会决定调用数据库、查询天气服务或检索订单状态。为了教会模型如何这样做，研究人员为其提供了数以千计的这类交互示例。这些示例不仅仅是简单的问答；它们是复杂的对话，包含了用户的请求、模型调用工具的决策、工具返回的原始数据，以及最后模型利用该数据来回答用户的响应。训练的目标是向模型展示整个故事的全貌，以便它学会将工具的输出与最终答案之间的逻辑联系起来。
然而，在这个过程中存在一个隐藏的步骤，发生在对话被记录下来之后、模型真正开始学习之前。为了将这些长篇故事放入计算机内存中，训练软件必须对其进行切割、重排或裁剪，以符合特定的尺寸限制。本论文研究了当这种切割和重排出现错误时会发生什么。研究人员提出了一个简单但至关重要的问题：当计算机为了适配一个训练槽位而切割对话时，它是否有时保留了最终答案，却意外地丢弃了作为该答案依据的工具数据？如果模型正在根据一个答案接受评分，但该答案背后的证据在它的视野中却缺失了，那么模型学到的就不是逻辑过程，而是一个魔术技巧。
研究人员检查了三种常用于训练此类系统的、大型工具使用对话数据集。他们构建了一个追踪系统，能够跟踪原始对话中的每一段文本在经过切割和重排过程后的去向。他们专门寻找那些模型本应从工具返回的数值（例如特定的订单号或错误代码）中学习的时刻，并检查当模型学习编写答案时，该数值是否仍然对模型可见。他们在不同大小的训练块（从极短到相当长）上进行了测试，并使用了几种不同的方法来决定软件如何切割和打包文本。
结果揭示了当前某些训练数据准备方式中存在的显著问题。当软件使用一种将长对话拆分为较小片段以适配固定尺寸的方法时，经常会将答案与其所依赖的工具数据分离。在他们研究的一个数据集中，近百分之四十的保留答案在教学时，并没有附带解释这些答案的工具观察结果。在另一个数据集中，约有百分之二十的答案也遭遇了类似的“孤儿化”。这意味着模型正在被奖励去生成它根本无法知晓的内容，因为它所需的证据已被切断，并被放置在了模型在当前时刻无法看到的序列中。
研究还发现，数据的切割方式会改变模型实际学到的内容。一种常见的打包方法试图将尽可能多的示例放入单个块中而不进行拆分，这种方法完全避免了这种分离问题。然而，这种方法过于严格，以至于会丢弃大部分训练数据，仅保留原始对话中极小的一部分。研究人员表明，这里存在一种权衡：既能保留几乎所有数据的方案往往会破坏工具与答案之间的联系，而能保持联系完整的方案则往往会丢弃过多的数据而变得不再有用。
为了解决这个问题，研究人员提出了一种重建训练示例的新方法。他们建议不要盲目地切割文本，而是将同一对话中的相关部分组合在一起，从而确保工具数据和答案始终处于同一个观察窗口内。他们发现，通过仔细分组这些部分，他们可以在使用更少计算机内存的同时，保留相同数量的正确答案，并消除数以千计的重复片段。他们还发现，对于某些数据集，描述如何使用工具的规则列表占据了过多空间，从而将实际对话挤出了窗口。通过简化这些规则列表，使其仅显示单次调用所需的特定部分，他们得以在训练过程中容纳更多有用的示例。
最后，研究人员检查了许多开发者用于准备此类数据的软件代码，并发现了一个广泛使用的版本中存在的隐藏错误。这个错误导致软件在处理大规模数据批次时，会意外地重复文本部分或打乱单词顺序，从而创造出一个与原始对话完全不符的信息流。这一发现强调了问题不仅在于数据本身，也在于用于准备数据的工具。论文得出结论：训练数据的构建方式与数据本身同样重要。如果在准备过程中破坏了工具输出与模型答案之间的联系，那么无论模型看到多少数据，它都无法学会正确使用工具。研究人员敦促，未来的训练系统必须验证：在模型进行学习时，回答所需的上下文确实是存在的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。