💬 NLP

SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations

本文介绍了 SynAE，这是一个多轴评估框架，旨在通过分析任务指令、工具调用、输出及下游性能，评估工具调用智能体所用合成数据集的有效性、保真度与多样性，并证明单一指标不足以表征合成数据的质量。

原作者： Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuaiqi Wang, Aadyaa Maddi, Zinan Lin, Giulia Fanti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图完善一道新菜谱。通常，你会用从市场买来的真实食材来品尝你的菜肴。但有时，你无法使用真实市场（也许太昂贵，或者食材是秘密）。于是，你决定使用合成食材——在实验室里制作的假蔬菜和人造肉。

问题在于？你不知道这些假食材是否真的尝起来像真货，或者它们是否会让菜肴分崩离析。

本文介绍了SynAE，一个专为在将合成食材端给顾客（在此案例中为 AI 智能体）之前检查其质量而设计的“试味”框架。

以下是 SynAE 的工作原理，分解为简单概念：

1. 问题：“假数据”的盲区

AI 智能体（能够使用搜索引擎或计算器等工具的聪明程序）需要被测试。通常，开发者会在真实数据（真实用户寻求帮助的记录）上测试它们。但真实数据往往涉及隐私、敏感，或者样本量太小，不足以测试所有情况。

因此，开发者创建合成数据——由计算机生成的假对话和任务，以模仿现实生活。

风险：仅仅因为假数据看起来像真实数据，并不意味着它表现得像真实数据。它可能看起来完美，但当 AI 尝试使用它时却会失败。
差距：直到现在，还没有一个标准的“尺子”来精确衡量这种假数据的好坏程度。

2. 解决方案：SynAE（质量控制检查员）

SynAE 是一个框架，它将真实数据集（黄金标准）与合成数据集（假数据）进行比较。它不仅仅说“好”或“坏”；它衡量三种具体质量：

A. 有效性：“它真的能行吗？”

类比：想象一个假菜谱写着“加入 5 杯糖”。如果你照做，你的蛋糕会烧焦。那就是无效的。
SynAE 检查的内容：它问：“如果 AI 遵循这些假指令，它真的能完成任务吗？”它检查工具调用（如点击按钮）和最终答案是否合理并解决了问题。如果指令令人困惑或导致死胡同，SynAE 会将其标记为“无效”。

B. 保真度：“它感觉像真货吗？”

类比：想象一个蜡制水果。它看起来像苹果，但如果你咬一口，它又硬又无味。它缺乏真实苹果的“保真度”（忠实度）。
SynAE 检查的内容：它将假数据与真实数据进行比较，看它们有多相似。
- 结构：假对话是否具有与真实对话相同的来回节奏？
- 模式：假智能体使用工具的顺序和频率是否与真实智能体相同？
- 内容：假问题和答案在语义上是否与真实问题接近？
- 如果假数据与现实世界差异太大，它的保真度就很低。

C. 多样性：“它是无聊还是有趣？”

类比：想象一个播放列表，同一首歌播放了 100 次。这没有多样性。现在想象一个包含 100 种不同流派的播放列表。那就有多样性。
SynAE 检查的内容：它衡量合成数据是否涵盖了广泛多样的场景。如果假数据只是反复重复几种相同类型的问题，它的多样性就很低。这很糟糕，因为 AI 将无法学会如何处理新的、奇怪的情况。

3. 他们如何测试它

作者们不仅仅是谈论它；他们建立了一个“压力测试”实验室。他们利用真实数据集，并故意以特定方式破坏它们，以观察 SynAE 是否能发现错误：

“填空”测试：他们取真实指令并隐藏随机单词，迫使 AI 猜测其余部分。随着隐藏单词增多，数据变得更糟。SynAE 正确检测到保真度下降（它不再看起来像真实事物），但多样性上升（猜测变得五花八门）。
“复制粘贴”测试：他们取几个真实示例并复制 100 次。SynAE 正确标记出多样性崩溃（全是相同的），即使保真度保持高位（它看起来仍然像真实事物）。
“损坏工具”测试：他们保留了指令，但给 AI 提供了错误的工具来使用。SynAE 发现有效性已丧失，因为任务无法完成。

4. 重大发现

最重要的发现是，没有任何单一数字能讲述完整的故事。

你可以拥有非常有效（能工作）但多样性低（很无聊）的数据。
你可以拥有非常多样（令人兴奋）但保真度低（看起来不像现实世界）的数据。
你可以拥有看起来完美（高保真度）但损坏（低有效性）的数据。

结论

SynAE 就像 AI 开发者的多轴仪表盘。与其只是猜测他们的假数据是否良好，他们可以使用 SynAE 来确切看到它在哪里失败。它是否太重复？它是否与现实差异太大？它是否真的坏了？

该论文得出结论：在你信任合成数据来测试你的 AI 智能体之前，你需要这种详细的、多维度的检查，以确保你不是在用一种看起来像真货但毫无味道的“蜡制水果”来训练你的 AI。

技术摘要：SynAE——用于工具调用智能体评估的合成数据质量衡量框架

1. 问题陈述

工具调用智能体正越来越多地使用静态执行轨迹数据集（包含用户输入、智能体响应、工具调用和最终输出）进行评估。然而，由于隐私限制、专有数据顾虑或数据稀疏性，从业者在利用真实生产数据进行测试时往往面临重大障碍。因此，人们越来越依赖合成数据集来替代或增强真实数据，以用于评估目的。

identified 的核心问题在于缺乏系统性的方法来量化这些合成数据集与其旨在复制的真实数据之间的关系。当前关于使用合成数据测试智能体的文献几乎未提供任何量化方法来评估此类数据的质量，导致操作者对评估缺口缺乏可见性。现有的评估指标通常侧重于智能体在基准测试中是否表现正确，而非评估基准测试本身的有效性、保真度和多样性。

2. 方法论：SynAE 框架

作者引入了 SynAE，这是一个全面的评估框架，旨在评估合成轨迹在多大程度上复制和增强了真实数据轨迹的特征。SynAE 的运作方式是接收一个真实基准数据集（ $D$ ）、一个合成数据集（ $D'$ ）以及可选的指标配置（包括先验知识和特定的 LLM 智能体）作为输入。

该框架通过四个不同的评估方面，对合成数据的三个主要属性进行评估：

任务指令与响应
工具调用
最终输出
下游评估

2.1 评估支柱

SynAE 将其指标分为三大支柱：

A. 有效性 (Validity)
有效性评估合成工具调用和输出是否成功完成了给定的指令。

指标： 有效性率 (VR)。
方法： 默认情况下，使用“作为裁判的 LLM"（Mistral-7B-Instruct）来判断工具调用或输出是否完成了任务。在可用的情况下使用基于规则的检查器。仅当工具调用或输出完全满足指令时，样本才被视为有效（部分正确性将被拒绝）。

B. 保真度 (Fidelity)
保真度衡量合成数据与真实数据之间的相似性，当合成数据因隐私限制而替代真实数据时，这一点至关重要。

指令与响应：
- 关键节点依赖性 (KND)： 通过嵌入余弦相似度测量指令与响应之间的语义依赖关系。
- 属性匹配 (AM)： 计算属性（如轮次数量和令牌长度）上的分布距离（数值型使用 Wasserstein-2，分类型使用总变差）。
- KNN-精确率/召回率与 FID： 使用嵌入距离测量语义质量和覆盖率。
工具调用：
- 工具使用匹配 (TUM)： 比较整体工具使用分布。
- 工具调用数量匹配 (TCNM)： 比较每个样本的工具调用次数分布。
- k 步工具规划匹配： 测量给定前 $k-1$ 次工具调用后，下一个工具的条件分布的相似性。
输出： 相对于真实数据集使用 KNN-精确率、KNN-召回率和 FID。
下游评估：
- 任务难度差异 (TDD)： 测量多个智能体在真实任务和合成任务之间完成任务表现的绝对差异。
- 排序发散 (RD)： 计算斯皮尔曼等级相关性，以确定智能体性能排名是否得以保留。

C. 多样性 (Diversity)
当合成数据用于提高覆盖率（例如添加异常值）时，多样性至关重要。这些指标是无参考的（不需要真实数据）。

Vendi 分数 (Vendi)： 基于相似性矩阵（文本使用余弦相似度，工具调用序列使用 Levenshtein 距离）特征值的指数熵计算多样性。
属性多样性 (AD)： 测量用户指定的属性分布（例如景点类型、城市）的熵。

3. 实验设置

作者在三个被视为“真实”数据集的近期智能体基准测试上评估了 SynAE：

T1： 多轮景点推荐（225 个样本）。
BFCL： 跨文件操作和旅行等领域的多轮函数调用（200 个样本）。
ACP： 包括交通和机器人动作的规划领域（260 个样本）。

合成数据生成方法：
为了测试 SynAE 的敏感性，作者使用以下方法构建了合成数据集：

受控修改：
- 空白填充： 随机掩码指令中的令牌以降低保真度。
- 过采样： 复制样本以减少多样性。
- 上下文生成： 改变上下文示例的数量和随机性。
- 无效化： 用错误的工具调用/输出替换有效的工具调用/输出以降低有效性。
行业标准： 使用 NVIDIA NeMo Data Designer，结合各种后端模型（GPT-4o-mini, Llama3.1, Nemotron, Mistral）和温度参数。

4. 关键结果

细粒度检测： SynAE 成功捕捉了有效性、保真度和多样性中的细粒度变化。例如，在“空白填充”中增加掩码概率会降低保真度指标（KNN-精确率），同时增加多样性（Vendi 分数）。相反，“过采样”降低了多样性和覆盖率（KNN-召回率），同时保留了一定的保真度。
无效化敏感性： 该框架检测到随着无效样本比例的增加，有效性率单调下降，证实了其识别不可用数据的能力。
权衡： 实验表明，没有任何单一的指标类别能够完全表征合成数据。例如，增加上下文示例的数量（ $k$ ）并未在所有保真度指标上均匀改善；它在某些情况下提高了 KNN-精确率，但降低了 KNN-召回率。
下游影响： 该框架表明，即使在指令方面具有高保真度的合成数据集，如果工具规划模式出现发散，仍可能在下游评估中失败，这突显了多轴评估的必要性。
迭代优化案例研究： 在一个模拟工作流中，SynAE 帮助从业者诊断了一个有偏差的数据集（低多样性），尝试通过“重新标记”进行修复（这提高了多样性但破坏了有效性），最终通过使用具有高性能后端（GPT-4o-mini）的 NVIDIA NeMo 实现了平衡结果，在提高多样性的同时保持了有效性和保真度。

5. 意义与主张

该论文声称，没有任何单一指标足以完全表征用于智能体测试的合成数据质量。SynAE 的意义在于其能够提供多轴评估，从而：

量化差距：在语义、结构和统计维度上量化合成数据与真实数据之间的差距。
检测特定故障模式：识别单指标方法可能遗漏的特定故障模式（例如，幻觉工具名称、缺乏多样性或退化的规划模式）。
支持迭代优化：允许从业者根据定量反馈诊断瓶颈并调整生成策略（例如模型选择、温度或增强技术）。

作者将 SynAE 定位为智能体工作流的即插即用组件，使操作者能够在部署前自动评估合成基准数据集的质量。他们承认了局限性，指出当前的重点是多轮工具调用设置，将框架扩展到交互式环境或多智能体协调是未来的工作方向。