💬 NLP

SEATauBench: Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages

本文介绍了 SEATauBench，这是首个针对东南亚主权 AI 的评估框架，它将 TauBench 适配至五种区域语言，并揭示了尽管英语智能体的能力能很好地迁移至本地化对话，但随着任务上下文和工具规范被完全本地化，其性能和鲁棒性会显著下降。

原作者： My Chiffon Nguyen, Aulia Adila, Saksorn Ruangtanusak, Kittiphat Leesombatwathana, Vissuta Gunawan Lim, Patomporn Payoungkhamdee, Samuel Cahyawijaya

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： My Chiffon Nguyen, Aulia Adila, Saksorn Ruangtanusak, Kittiphat Leesombatwathana, Vissuta Gunawan Lim, Patomporn Payoungkhamdee, Samuel Cahyawijaya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常聪明、训练有素的机器人助手。你已经用英语对它进行了广泛的测试，它在预订机票、购买衣服和管理手机套餐方面表现得非常出色。它看起来就像个超级英雄。

但随后，你尝试把这个同样的机器人派往东南亚工作，那里的人们说着泰语、越南语、印尼语、菲律宾语和中文。你会问自己：“如果它在英语中表现得这么好，它在这些其他语言中也能直接上手吗？”

这篇名为 SEATauBench 的论文，就像是一个巨大的、现实的压力测试，旨在寻找这个答案。研究人员构建了一个特殊的“训练场”，来观察当周围的一切都被翻译成当地语言时，这些 AI 智能体实际上处理现实任务的能力如何。

以下是他们发现的故事，通过简单的形式进行了拆解：

1. 设置：“三层蛋糕”式的难度

研究人员并没有一次性翻译整个内容。他们构建了一个包含四个等级的测试，就像爬梯子一样，以观察机器人在哪里开始踉跄。

第 1 层（英语基准）： 机器人说英语，工具是英语，规则也是英语。这是“简单模式”，用于观察机器人的核心能力。
第 2 层（对话切换）： 机器人和人类用户开始使用当地语言（如泰语）交谈，但机器人的内部工具和规则手册仍然是英语。这就像是和朋友用西班牙语聊天，但地图上的指令仍然是英语。
第 3 层（工具切换）： 现在，对话是用英语进行的，但机器人的工具（如“搜索航班”按钮或“检查余额”菜单）是用当地语言描述的。这就像是一个遥控器，上面的所有按钮都用泰语标注着。
第 4 层（全沉浸式）： 一切都是当地语言。聊天内容、工具、规则和数据库全部被翻译了。这是“困难模式”，机器人必须完全在一种新的语言中思考、阅读和行动。

2. 大惊喜：“玻璃天花板”

研究人员发现了一些非常有趣的事情。

在第 2 层（仅限交谈）： 机器人表现得相当不错！如果你只是要求它用越南语或泰语聊天，它处理对话的能力几乎可以媲美英语。它就像一个学会了几句短语并能点餐的游客。
在第 3 层和第 4 层（工具与规则）： 这是机器人撞上“玻璃天花板”的地方。一旦工具和规则被翻译，机器人的性能就会大幅下降。
- 想象一位厨师，他能说完美的意大利语，但看不懂意大利的食谱，也无法使用意大利的量具。他可能聊得很开心，但却无法做出菜肴。
- 论文发现，当“食谱”（工具规范）和“厨房规则”（领域策略）处于当地语言时，机器人犯错的情况明显增多。它们会感到困惑，导致无法预订航班，或者给出了错误的手机套餐。

3. “语言漂移”之谜

研究人员还检查了机器人是否在应该说泰语或菲律宾语时，“滑坡”并意外地说了英语。

发现： 机器人确实会出错，有时会说英语，尤其是在最困难的情景下。
转折： 出人意料的是，这种“滑坡”并不是它们失败的主要原因。即使机器人完美地使用了正确的当地语言，如果工具令人困惑，它仍然会失败。
比喻： 这就像一名司机在正确的车道上行驶得非常完美（说着正确的语言），但仍然因为看不懂当地的交通标志（工具）而发生了车祸。问题不在于他们所说的语言，而在于他们理解当地环境的能力。

4. “并非一招鲜吃遍天”的问题

论文还观察了不同类型的机器人（不同的 AI 模型）。

有些机器人可能比其他机器人更擅长某些特定语言。例如，一个在英语中表现出色的机器人，并不一定仅仅因为其本身很聪明，就能在泰语中也表现出色。
他们发现菲律宾语是一个非常好的“测试案例”。如果一个机器人在菲律宾语中表现良好，它很可能在其他东南亚语言中也会表现良好。这就像是找到了整个地区的“矿井里的金丝雀”。

5. 主要启示

论文得出结论：我们不能假设一个在英语中聪明的 AI 会自动准备好应对东南亚。

旧方式： 我们过去认为：“如果它在英语中行得通，那么它在任何地方都行得通。”
新现实： 论文表明，“仅限英语”的测试就像是在平坦的高速公路上测试一辆车。当你把这辆车放到布满坑洼、路标采用当地语言的非铺装路面上时，它就会崩溃。

简而言之： SEATauBench 是一个诊断工具，它证明了我们需要专门为当地语言和工具构建并测试 AI，而不是仅仅翻译英语测试并寄希望于此。在“掌握语言”与“用语言开展工作”之间存在着巨大的鸿沟，而这个基准测试帮助我们精确测量这一鸿沟到底有多大。

技术摘要：SEATauBench

问题陈述

尽管东南亚（SEA）的 AI 开发正在迅速扩张，但 AI 智能体在区域语言中的能力仍未得到充分理解。现有的基准测试主要评估静态模型行为（如推理、翻译或知识检索），而非现实世界中用于商业、旅游和服务等领域的、具有动态性、多轮对话及工具介导特性的交互能力。此外，目前的智能体评估框架高度以英语为中心，这导致了一个差距：以英语为中心的评估可能无法准确反映智能体在语言多样化、低资源的东南亚语境下的实际表现。目前迫切需要一种诊断框架，用于评估当不仅对话语言发生变化，且工具规范和任务领域也进行本地化时，智能体的表现如何。

方法论

作者推出了 SEATauBench，这是首个针对东南亚主权 AI 的面向智能体的评估框架。该框架将基于英语的 $\tau^2$ -Bench（Yao 等人，2024；Barres 等人，2025）适配到了五种目标语言：中文、越南语、泰语、印尼语和菲律宾语。

适配流水线

为了在本地化界面的同时确保任务语义保持一致，作者开发了一个两阶段、非破坏性的翻译流水线：

离线翻译： 对静态领域资产（任务定义、策略、数据库内容、工具文档字符串和模式/schema）进行翻译。至关重要的是，该流水线屏蔽了可执行标记（ID、状态码、工具名称和枚举字面量），以防止翻译破坏执行层。采用“模式优先”的方法建立术语表，以确保术语的一致性。
运行时本地化： 在推理过程中，环境会对智能体的视图进行补丁处理。工具模式（描述、枚举选项）以目标语言 ( $L_2$ ) 进行渲染，但智能体提供的参数会被归一化回规范的英语值，以便进行工具执行。随后，工具输出会被本地化回 $L_2$ 以供用户交互。这确保了智能体在单语 $L_2$ 的语境下运行，同时保持与英语基准的可比性。

评估场景

SEATauBench 通过四个递进本地化的场景来评估智能体，以隔离特定的能力差距：

S1 (仅限英语)： 英语基准性能。
S2 (L2 交互)： 用户与智能体的对话使用 $L_2$ ，但工具、策略和上下文仍为英语。
S3 (L2 工具)： 工具模式被翻译为 $L_2$ ，而对话和领域上下文保持为英语。这包括单语和混合语言的工具设置。
S4 (L2 领域)： 全本地化设置，对话、工具模式、策略、任务描述和数据库内容全部为 $L_2$ 。

实验设置

研究评估了三个近期的大语言模型（LLM）智能体：

GPT-5-Mini： 一款专有模型。
Qwen3-235B-A22B-Instruct： 一款代表性的开源模型。
Kimi-K2.5： 一款更大规模的开源模型。

性能通过 pass@1（质量/成功率）和派生的 鲁棒性指标 ( $\rho_3$ ) 来衡量，后者衡量了在三次独立试验中保持一致成功的概率。评估涵盖三个领域：零售、航空和电信。

关键结果

本地化设置中的性能退化

结果显示，随着评估设置偏离纯英语环境，智能体的性能呈现出持续且剧烈的下降：

交互 vs. 全本地化： 虽然当仅改变对话语言时（S2），智能体的迁移能力尚可，但当工具接口和任务上下文也被本地化时（S3 和 S4），其质量和鲁棒性显著下降。
领域适配： 最严重的性能下降发生在 L2 领域 (S4) 场景中。例如，在泰语和菲律宾语中，相比于较高的英语基准，pass@1 分数降至 0.4 左右的低水平。
语言差异： 退化程度因语言而异。泰语和菲律宾语表现出最大的下降，这可能是由于独特的书写系统或较低的资源覆盖率。然而，即使是像菲律宾语这样的拉丁字母语言，在智能体必须针对本地化对话和模式进行推理时，也表现出明显的弱点。

质量与鲁棒性的分歧

研究发现，质量 (pass@1) 与鲁棒性 ( $\rho_3$ ) 并不总是相关。在某些语言（如印尼语、菲律宾语）中，虽然 L2 领域的 pass@1 下降了，但鲁棒性保持相对稳定，这表明虽然智能体解决的任务总量减少了，但其成功的尝试是可复现的。相反，泰语在两项指标上均有所下降，表明其在平均成功率和一致性方面都出现了崩溃。

模型与领域差异

模型差异： 没有单一模型在所有东南亚语言中都占据主导地位。Kimi-K2.5 在越南语、菲律宾语和中文中表现最好，而 GPT-5-Mini 在印尼语和泰语中领先。Qwen3-235B 一致表现出较低的 pass@1，但在低资源设置中通常表现出更强的鲁棒性。
领域难度： 零售领域在所有语言中始终是最具挑战性的，因为它涉及复杂的策略和状态更新。值得注意的是，在英语中的领域特定优势（例如 Qwen 在零售领域的出色表现）并不一定能迁移到本地化设置中。

错误分析与语言漂移

错误类型： 关键错误（偏离用户意图）在 L2 设置中显著增加，尤其是在泰语和菲律宾语中。
语言漂移： 虽然智能体会表现出“语言漂移”（在对话中途切换到英语），但分析显示，语言正确性与任务成功率之间的相关性非常弱 ( $R^2 = 0.014$ )。这表明任务失败更多是由无法对本地化模式和策略进行推理驱动的，而非简单的语言切换。
混合语言工具： 同时引入多种语言的工具对性能的影响较小，仅导致轻微下降，这表明智能体可以处理一定程度的多语言工具多样性。

意义与主张

论文声称 SEATauBench 揭示了东南亚评估资源增长与当前智能体对于主权 AI 部署就绪度之间的关键差距。其主要贡献包括：

诊断基准： 它提供了第一个系统性评估智能体在东南亚语言中能力的框架，通过从静态基准转向交互式、工具介导的任务，实现了跨越。
英语代理的不可靠性： 研究证明，仅凭英语评估无法可靠地代理东南亚语言的能力。高水平的英语表现并不保证在本地化环境（特别是工具模式和领域策略被翻译时）中的鲁棒性。
适配流水线： 作者提供了一个可复用的、非破坏性的翻译流水线，可以在保持执行完整性的同时，快速将工具-智能体基准适配到新语言。
建议： 基于相关性分析，作者建议 SEATauBench 中的 菲律宾语 子集可以作为估计其他东南亚语言性能的代表性代理，从而为该地区提供更高效的评估策略。

最终，SEATauBench 为构建可靠的多语言智能体奠定了坚实基础，强调了主权 AI 不仅仅需要翻译，更需要对工具接口和领域推理能力的稳健适配。