💬 NLP

From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents

本文介绍了一种可复现且与数据集无关的框架，该框架无需重新标注即可将基于文本的工具调用基准测试转化为音频评估，揭示了文本与语音之间显著的模型依赖型性能差距，同时验证了开源大语言模型作为有效且保护隐私的评估者的可行性。

原作者： Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在构建一个既能与你对话，又能执行任务（如查看日历或预订航班）的智能助手。你有两种主要方式来构建它：

“翻译器”方法（级联式）： 助手聆听你的语音，雇佣一个类人的“翻译员”将你所说的内容逐字记录下来，然后由一个超级智能的文本阅读器阅读该记录，以决定采取何种行动。
“超级聆听者”方法（全模态）： 助手直接聆听你的语音，并在不将其先转化为文字的情况下，直接推断出需要采取的行动。

核心问题是：“超级聆听者”实际上是否表现更好，还是“翻译器”方法依然胜出？

本文介绍了一种巧妙且可复现的“测试赛道”，旨在无需从头构建一套全新的语音录音，即可回答上述问题。

问题所在：“纯文本”陷阱

目前针对这些智能助手的测试大多基于文本。你输入命令，计算机作答。但在现实世界中，人们是开口说话的。

现有的测试就像在完美平滑、空无一人的赛道上开车（文本）。
现实生活则像是在拥挤、颠簸且下着雨的道路上开车（语音）。

研究人员想知道：如果我们把这些完美的文本测试转化为语音测试，性能会下降多少？

解决方案：“语音翻译器”框架

与其录制成千上万人的真实语音（既昂贵又杂乱），作者构建了一套方案，将现有的文本测试自动转化为语音测试。

可以这样理解：

他们取了一份书面指令列表（文本基准测试）。
将其输入高科技的“文本转语音”机器（如一个非常先进的机器人语音），生成音频文件。
添加了背景噪音（如繁忙的咖啡馆或汽车引擎声），使其更逼真。
关键在于： 他们保留了“答案密钥”（黄金标签）完全不变。

这使得他们能够针对同一个问题测试两次：一次作为文本，一次作为语音。这让他们能够精确衡量语音给系统带来了多少“噪音”。

竞赛：谁赢了？

他们在两类不同的任务上测试了七种不同的“超级聆听者”模型（来自 OpenAI、Google 和阿里巴巴等公司）：

Confetti： 助手必须选择正确的工具并准确填写细节的任务（例如：“预订周二飞往伦敦的航班”）。
When2Call： 助手必须决定是否需要使用任何工具，或者是否只需进行闲聊的任务。

结果如下：

没有万能方案： 不存在单一的“最佳”模型。
- 在"Confetti"任务中，Gemini-3.1-Flash-Live 是冠军。
- 在"When2Call"任务中，GPT-Realtime-1.5 夺魁。
“语音税”： 所有模型从文本切换到语音时，表现都略有下降。
- 某些模型（如 Qwen3）仅损失了极少的准确率（就像跑步者在雨中稍微减速）。
- 其他模型（如 GPT-Realtime-1.5）则损失了显著的准确率（就像跑步者在泥潭中滑倒）。
“翻译器”与“超级聆听者”的对决：
- 对于某些模型，“翻译器”方法（语音 -> 文本 -> 行动）实际上略优于或等同于“超级聆听者”。
- 对于其他模型，“超级聆听者”则表现更好。
- 结论： 你不能简单地假设某种架构总是更优。这完全取决于你使用的是哪个模型以及执行什么任务。

它们在哪里失败了？

研究人员分析了错误，发现了一个有趣的模式：

“听错细节”问题： 大多数情况下，模型把握住了大局（它们知道需要预订航班），但在细节上搞砸了（它们预订了错误的日期或错误的城市）。
这就像一位服务员听懂了你想要“晚餐”，却因为你听错了订单而给你端来了“早餐”。

“裁判”问题

在现实世界中，公司往往没有“答案密钥”来检查 AI 是否完成了正确的工作。因此，本文测试了使用其他 AI 模型作为“裁判”来评估表现。

他们发现，只要具备足够的“脑力”（至少 80 亿参数），开源裁判（免费、注重隐私的模型）就能像昂贵、专有的裁判一样准确地评估工作。这对于担心隐私的公司来说是个好消息。

核心启示

如果你正在构建语音助手，不要仅凭猜测来决定是使用“超级聆听者”还是“翻译器”。

在你的自有数据上测试： 利用此框架将你的文本日志转化为语音测试。
检查“语音税”： 观察你的特定模型在加入语音后，性能下降了多少。
警惕歧义： 如果你的用户提出模糊的问题，无论系统是文本还是语音，其失败率都会更高。

简而言之： 本文为公司提供了一种“压力测试”，以评估其语音助手是否已准备好应对现实世界，证明最佳选择取决于具体的模型和具体的任务，而非通用的经验法则。

技术摘要：从文本到语音：一种可复现且可验证的工具调用大语言模型智能体评估框架

问题陈述

尽管大语言模型（LLM）在基于文本环境中的工具调用和函数执行方面取得了显著进展，但主流基准测试（如 Confetti、When2Call、BFCL）仍仅限于文本。这给部署语音智能体的组织带来了挑战，它们必须在级联架构（ASR $\rightarrow$ 文本 LLM）和端到端全模态架构（语音 $\rightarrow$ 工具调用）之间做出选择。现有的音频基准测试通常需要从头构建包含新工具模式和黄金标签的新语料库，成本高昂且难以应用于专有企业数据。此外，全模态模型在真实音频条件下的可靠性，以及语音模态引入的具体性能下降，尚未得到充分表征。

方法论

作者提出了一种与数据集无关的框架，可将现有的基于文本的工具调用基准测试转换为受控的音频评估，而无需重新标注工具模式或黄金标签。

1. 转换流程

该框架利用现成的文本转语音（TTS）模型生成配对的文本 - 音频实例：

TTS 模型：使用了三种模型：Gemini-2.5-Flash-TTS、Gemini-2.5-Pro-TTS 和 GPT-4o-Mini-TTS。
说话人变化：从每个提供商中选择了不同的男性和女性说话人声音（例如，Gemini 使用 Kore/Orus，GPT 使用 Coral/Ash）。
噪声注入：从 DEMAND 数据集中注入环境噪声，信噪比（SNR）分别为 5、10、15、20 dB，以模拟部署条件。
保留：原始的工具模式、黄金标签和评估协议从源文本数据集中被严格保留。

2. 评估协议

该框架在两个数据集上评估了来自四个提供商（OpenAI、Google、Qwen、Microsoft）的七个全模态模型：

Confetti：侧重于函数选择和参数提取的准确性（313 个需要工具调用的示例）。
When2Call：侧重于决定是否需要工具调用的决策能力（300 个示例）。

评估比较了三种条件：

纯净文本：使用原始文本输入的基线性能。
直接语音：使用 TTS 生成的音频输入并由全模态模型处理的性能。
级联（ASR $\rightarrow$ 文本）：由 GPT-4o-Transcribe 转录音频并传递给仅文本 LLM 的性能。

3. 额外分析

误差分解：配对的文本 - 音频失败被归类为决策错误、工具选择错误、参数模式错误和参数值错误。
无参考评估：测试了基于 LLM 的裁判协议（使用 GPT-5、Gemini-2.5-Pro 和开源 Qwen3 模型）与黄金标签的对比，以评估其在缺乏标注的生产数据中的可行性。
压力测试：进行了基于歧义的查询改写测试，以衡量对未充分指定的用户请求的鲁棒性。

关键结果

模型与任务依赖性

性能高度依赖于特定模型和任务，而不仅仅是架构本身：

Confetti：Gemini-3.1-Flash-Live 得分最高（70.4%），其次是 Qwen3-Omni（60.4%）。
When2Call：GPT-Realtime-1.5 表现最佳（71.9%），而 Gemini-3.1-Flash-Live 降至第 4 位（63.4%）。
文本到语音差距：从文本转向语音时的性能下降因模型而异。在 Confetti 上，差距从 1.8 分（Qwen3-Omni）到 4.8 分（GPT-Realtime-1.5）不等。

架构比较（级联 vs. 全模态）

Gemini-3.1-Flash-Live：级联架构略优于直接语音（71.3% vs. 70.4%），表明 ASR 加上强大的文本 LLM 可以恢复性能。
GPT-Realtime-1.5 和 Qwen3-Omni：直接语音分别比级联架构高出 0.4 分和 1.5 分。
结论：没有一种架构能普遍占优；最佳选择取决于模型和任务。

误差分析

参数值：音频引起的错误中最常见的失败模式是参数值错误（字段值不正确或不完整），占 Gemini-3.1-Flash-Live 失败的 57.2%，占 GPT-Realtime-1.5 失败的 54.3%。这表明模型通常保留了工具调用结构，但误解了语音内容。
决策错误：观察到了显著的决策错误（30–37%），表明音频输入改变了高层工具使用决策（例如，是否调用工具）。
When2Call 特异性：模型在“无需工具调用”的案例中通常比“需要工具调用”的案例更困难，突显了知道何时不采取行动的难度。

评估与扩展

LLM 裁判：无参考 LLM 裁判显示出与有参考裁判相比稳定的模型排名。具有 $\ge$ 8B 参数的开源 Qwen3 裁判与专有裁判的 agreement 超过 80%，支持隐私保护的评估。
文本扩展：在仅文本模式下，准确率随模型规模扩展（例如，Qwen3 从 0.6B 的 26.6% 上升到 32B 的 70.7%）。较小的文本模型（例如 8B–14B）可作为有竞争力的级联后端。
歧义压力测试：歧义查询导致性能显著下降（例如，Qwen3-Omni 下降了 24.6 分），表明查询构建是与音频无关的主要方差来源。

意义与主张

该论文声称提供了一种用于语音智能体部署的可验证且可复现的初步诊断。其主要贡献包括：

基准转换：一种将可信的文本基准转换为音频评估的方法，无需重建黄金标签或模式，允许企业测试专有数据。
诊断信号：证据表明“文本到语音”的差距并非全模态推理的固定属性，而是随模型和任务变化，需要特定的诊断而非一般性假设。
误差隔离：配对的文本 - 音频设计支持反事实误差分析，揭示音频失败通常源于参数值误解，而非结构性的工具选择失败。
实用评估：验证了无参考 LLM 裁判（包括开源选项）可以在缺乏黄金标签的生产环境中有效评估工具调用。

作者将该框架定位为对专用音频语料库的补充，提供了一种受控的方式来隔离模态引起的失败，并在部署自然语音之前为架构选择（级联 vs. 全模态）提供依据。他们承认局限性，指出 TTS 音频是一种受控代理，并未完全捕捉自发人类对话的伪影。