💬 NLP

Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents

本文提出了一种用于生成合成训练数据的创新方法，该方法在不依赖手工规则的情况下优化了语言和论证的多样性，使得函数调用智能体在实现卓越的分布外性能的同时，在 BFCL 基准测试上比最先进的基准模型提高了 7.4% 的准确率。

原作者： Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Dan Greenstein, Zohar Karnin, Chen Amiraz, Oren Somekh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明的机器人助手如何使用一个装满了数千种不同工具（比如天气应用、股票市场追踪器或日历调度器）的巨大工具箱。为了教这个机器人，你需要展示一些人们寻求帮助的例子，以及机器人如何正确选择合适的工具。

根据这篇论文，问题在于用于训练这些机器人的“教科书”（数据集）往往过于重复。它们就像是一个烹饪课程，每个学生只被教会如何制作一份加了意大利香肠的芝士披萨。如果一位顾客要求“一份额外的罗勒素食深盘披萨”，机器人就会感到困惑，因为它从未见过这种特定的请求。

以下是作者如何解决这一问题的，使用了简单的类比：

1. 问题所在：“数据回声室”

以往创建训练数据的方法虽然能确保机器人知道存在许多不同的工具，但它们在两个重要方面失败了：

语言多样性（Linguistic Diversity）： 它们只教会了机器人在人们以完全相同、僵硬且正式的方式提问时如何回答。它们没有教会机器人如何处理俚语、随意的聊天或奇怪的句子结构。
参数多样性（Argument Diversity）： 它们只教会了机器人关于最热门选项的内容。例如，如果工具是关于股票的，训练数据只会提到“苹果”（AAPL）和“微软”（MSFT）。如果有人询问一家微小的、名不见经传的公司，机器人就不知道该做什么了。

2. 解决方案：“多样性大厨”

作者构建了一种新的方法来生成合成训练数据。你可以把这种方法想象成一位**“多样性大厨”**，他并不只是照本宣科。相反，这位大厨有一个特别的规则：“每当我做出一道新菜时，它的味道必须与我之前做的最后 100 道菜都不一样。”

没有死板的规则： 不同于其他依赖固定“人群类型”列表（例如：“商人”、“学生”）的方法，这位大厨不需要预先写好的列表。它能自动找出如何使请求产生变化。
“边际贡献”技巧： 大厨会观察已经做好的菜堆。在考虑一道新菜时，它会问自己：“如果我把这道新菜加入到这堆菜里，它会让整个收藏变得更有趣吗？” 如果答案是肯定的，它就会保留这道菜；如果这道菜只是已有内容的副本，它就会将其丢弃。

3. 他们实际做了什么

研究人员使用这个“多样性大厨”来创建了一套新的函数调用智能体（function-calling agents）训练示例。他们专注于两个主要成分：

请求（订单）： 他们生成的用户问题在表达方式上千差万别（短句、长句、正式、俚语、混乱的表达）。
参数（食材）： 他们确保请求中使用的具体数值是多样化的。与其总是使用“纽约”作为城市，不如使用“内罗毕”、“雷克雅未克”和“布宜诺斯艾利斯”。与其总是使用“USD”作为货币，不如使用“NOK”、“RUB”和“XRP”。

4. 结果：一个更好的机器人

他们将这种“多样性大厨”数据与其他的顶尖方法（如 ToolAce 和 APIGen）进行了对比测试。

多样性得分： 他们的数据具有显著的多样性。这不仅仅是有一点点不同，而是一个全新的多样化世界。
“分布外”测试（Out-of-Distribution Test）： 这是最重要的部分。他们用这些数据训练了一个机器人，并在它从未见过的全新问题（来自其他数据集的问题）上对其进行测试。
- 类比： 想象你只用 2020 年的数学题训练一名学生，然后给了他一份 2025 年的测试卷。
- 结果： 在使用作者的多样化数据进行训练后，机器人在这些新的、未见过的测试中的表现要好得多。与使用旧的、多样性较低的方法训练出的机器人相比，它在主要基准测试（BFCL）上的正确率提高了约 7.4%。

总结

该论文声称，通过使用一种智能的自动化过程来确保训练数据在语言上多样化（说话方式不同）和参数上多样化（具体数值不同），你可以构建一个更加鲁棒的 AI 智能体。这个智能体不仅仅是记忆特定的例子，它学会了如何处理人类真实交谈和需求中那种混乱且不可预测的现实情况。

他们并没有声称：

他们并未声称这适用于多轮对话（长期的来回聊天）；他们专注于单轮请求。
他们并未声称这适用于英语以外的语言。
他们并未声称这是解决所有 AI 问题的“万灵药”，而是专门针对“教导智能体正确调用工具”这一任务。

技术摘要：函数调用智能体合成数据中的语言与参数多样性

问题陈述

开发函数调用智能体（使大语言模型能够与外部 API 和工具交互）目前受到高质量、多样化训练数据匮乏的阻碍。尽管先前的研究已经解决了函数本身（覆盖不同领域）、调用结构（单轮与多轮）以及响应类型（调用与不调用）的多样性问题，但仍有两个关键维度尚未得到充分探索：

语言多样性（Linguistic Diversity）： 用户请求在形态、风格和语义表达上的变化。现有数据集通常依赖于浅层变化或固定的提示词模板，无法捕捉用户表达相同意图时的全谱系方式。
参数多样性（Argument Diversity）： 参数值（例如特定的城市名称、股票代码、日期）的变化。生成的数据集往往集中在“头部”值（如“New York”、“AAPL”），导致模型可能无法应对较不常见的“尾部”值，从而限制了其在分布外（OOD）场景下的鲁棒性。

方法论

作者提出了一种全新的数据生成流水线，该流水线通过优化边际多样性贡献度指标来优化多样性，而不依赖于手工设计的规则、预定义的分类法或静态角色池。其核心方法是贪婪多样化生成程序，通过迭代选择项目来最大化边际多样性贡献度指标。

核心组件

多样化生成框架：
- 系统按轮次运行，生成候选项目，并根据多样性得分 $D(c; E)$ 选择前 $b$ 个候选项目。该得分定义为将候选项目 $c$ 添加到现有集合 $E$ 时，集合级多样性指标 $\tilde{D}$ 的边际增量。
- 该过程使用 LLM 根据指令 $I$ 和现有示例 $E$ 生成候选项目。
- 至关重要的是，指令会在后续轮次中根据前一轮候选项目的得分以及用于剔除无效或错误项目的过滤过程 $F$ 进行更新。这创建了一个反馈循环，引导生成过程向数据空间中未被充分覆盖的区域靠拢。
参数值生成：
- 预处理： 基于语义相似性（使用嵌入技术）对不同 API 的参数进行聚类，以识别各类组（例如“城市名称”、“股票代码”）。
- 优化： 对于数值型和字符串型参数，系统采用“虚拟增强”策略。LLM 生成大量的候选池（例如 25 个），从中选择一个子集以最大化聚类熵（Cluster Entropy）。该指标衡量了值在语义聚类中的分布熵，鼓励选择尾部值而非频繁出现的头部值。
- 一致性： 对于顺序 API 调用，参数会从最后一个 API 向前进行逆向生成，以确保逻辑连贯性；而对于并行调用，则确保跨 API 共享上下文（例如相同的地理位置）。
查询（请求）生成：
- 给定目标函数和参数值，系统生成自然语言查询。
- 多样性通过由**倒数排名融合（RRF）**衍生的复合指标进行优化。该指标融合了来自多个独立指标的排名：
  - 词汇层面： 类型-标记比（TTR）、压缩率。
  - 句法层面： 解析树熵、查询长度方差。
  - 语义层面： 改写多样性（嵌入相似度）、Chamfer 距离、Vendi 分数。
- LLM 裁判负责验证生成的查询是否在逻辑上合理地解释了特定的 API 调用及其参数。
干扰项选择：
- 为了创建真实的训练示例，系统检索“硬负样本”干扰项（无关的 API），这些项在语义上接近查询，但并非正确答案。这是通过基于嵌入的检索，结合 LLM 驱动的合理性过滤器，并使用“肘部法则（elbow method）”来确定相关性得分的截断点来实现的。

主要贡献

一种新型多样性组件： 一种通用的、无规则的机制，通过优化边际多样性指标来生成多样化项目。该组件无需手动重新配置即可适配新领域。
合成数据生成技术： 将该组件应用于函数调用数据，特别针对查询中的语言变化和参数中的参数值多样性。
全面的分析： 通过深入评估证明，增加这些特定的多样性维度可以提高模型性能，尤其是在 OOD 设置下。

结果

作者使用其方法与最先进的基准模型（特别是 ToolAce 和 APIGen）以及 BFCL 基准测试进行了评估。

内在评估（数据质量）

参数多样性： 与 ToolAce 和 APIGen 相比，所提方法实现了显著更高的 NCD 多样性 和 聚类熵 分数。例如，在货币参数方面，基准模型主要受“USD”主导，而所提方法则产生了涵盖各种货币的平衡分布。
语言多样性： 在几乎所有的语言学指标（辛普森指数、树编辑距离、语义跨度、Vendi 分数）上，生成的数据集均以统计学显著性优于基准模型。唯一的例外是查询长度方差，基准模型存在离群值。
正确性： 人工检查和自动化评判确认，多样性的增加并未损害数据的正确性；生成的示例保持了现实性和有效性。

外在评估（模型性能）

作者使用其数据集对 Llama-3.1-8B-Instruct 进行了微调，并将其与使用 ToolAce 和 APIGen 数据微调的模型进行了对比。

分布外（OOD）性能： 使用所提数据集训练的模型在测试未训练数据集时表现出卓越的泛化能力。
- 在 APIGen 测试集上，所提模型比使用 ToolAce 训练的模型高出 4.2 个百分点。
- 在 ToolAce 测试集上，所提模型比使用 APIGen 训练的模型高出 3.8 个百分点。
BFCL 基准测试： 在 Berkeley 函数调用排行榜（非实时子集）上进行评估时，使用所提数据集训练的模型达到了 85.2% 的准确率，显著优于 ToolAce (77.8%) 和 APIGen (77.1%) 的对应模型。这代表了相对于基准模型约 7.4% 的准确率提升。

意义与主张

论文声称，当前合成数据中缺乏语言和参数多样性是函数调用智能体鲁棒性的瓶颈。通过使用这种通用的、基于指标的方法直接优化这些维度，作者证明了：

多样性驱动泛化： 训练数据中多样性的增加会导致 OOD 性能的可衡量提升，这表明使用多样化数据训练的模型能更好地处理未见的表达方式和罕见的参数值。
自动化优于人工策展： 所提方法无需编写手动规则或定义固定角色，即可实现卓越的多样性，具有高度的可扩展性和对新领域的适应性。
实际影响： 该技术提供了一条生成高质量训练数据的路径，能够弥合合成基准测试与真实世界智能体性能之间的差距，这一点已通过 BFCL 基准测试中的显著收益得到了证实。

作者对局限性保持了谦逊的态度，指出目前的分析仅限于英语，生成过程依赖于强大的（因此成本较高的）LLM 进行过滤，且研究侧重于单轮交互，将多轮对话的多样性作为未来的研究方向。