🤖 AI

Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations

本文表明，在智能体评估中，由大语言模型模拟的用户并非真实人类的可靠代理，因为它们表现出显著的鲁棒性问题、系统性的校准误差，以及针对非裔美国英语（AAVE）和印度英语使用者等多样化人群的放大偏见，最终存在误导智能体能力表征并掩盖现实世界部署挑战的风险。

原作者： Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文《迷失在模拟中》（Lost in Simulation）进行的解释。

核心理念：“测试假人”问题

想象你是一家汽车制造商。在向公众销售新车之前，你需要测试它在不同驾驶员手中的表现。你决定不雇佣真人来驾驶，而是使用一个你编写了程序、模仿人类行为的机器人驾驶员。你心想：“这个机器人很完美；它从不疲倦，遵守规则，而且运行成本很低。”

这篇论文指出，使用 AI 机器人（大语言模型/LLMs）来模拟人类用户以测试 AI 助手是一个坏主意。 那些“机器人驾驶员”并不会像真实人类那样驾驶。它们太有礼貌了，问的问题太多了，而且会根据你使用的机器人模型不同而产生不同的反应。因此，你的测试结果具有误导性，你可能会误以为你的车对真人来说很安全，但实际上并非如此。

实验过程：“角色扮演”测试

研究人员想要观察一个 AI “用户”（一个模仿人类的机器人）是否能准确预测真实人类如何与 AI “代理”（一个试图帮助完成任务，如订机票或退货的机器人）进行交互。

他们设计了一个大规模实验：

任务内容： 他们使用了一个名为 $\tau$ -Bench 的标准测试，涉及购物任务（例如更改订单或退货）。
参与者： 他们让来自美国、印度、肯尼亚和尼日利亚的真实人类与 AI 代理进行交互。
对比方式： 他们将这些真实交互与“用户”仅为另一个 AI（即一种模拟）的交互进行了对比。

研究发现（三大问题）

1. “机器人选择”问题（鲁棒性）

类比： 想象你用一个名叫“Robo-1”的机器人驾驶员来测试你的车。它说车子的安全性是 70%。然后你用“Robo-2”进行测试，它突然说车的安全性是 80%。哪一个才是正确的？你无法得知。

研究发现： 研究人员发现，仅仅改变用于模拟用户的 AI 模型，就会显著改变结果。取决于你使用哪种“机器人用户”，AI 代理的成功率变化最高可达 9 个百分点。这意味着测试结果是不稳定的；你不能指望依靠单一的机器人来告诉你真相。

2. “虚假自信”问题（有效性）

类比： 想象一位老师在给学生评分。老师（AI 代理）认为自己做得非常好，因为学生（机器人学生）非常礼貌且提问清晰。但当一个真实、脾气暴躁或困惑的学生出现时，老师却表现得一败涂地。

研究发现：

困难任务： 当任务非常困难时，机器人用户会让 AI 代理看起来比实际情况更差（低估了性能）。
中等难度任务： 当任务难度适中时，机器人用户会让 AI 代理看起来比实际情况更好（高估了性能）。
“礼貌”缺陷： 真人有时会说话很直接、没耐心或表达模糊。然而，机器人用户始终表现得过于礼貌，并且提问过多。这创造了一种与现实不符的“虚假”对话。

3. “不公平的镜子”问题（公平性）

类比： 想象你有一面镜子，如果你穿着西装（标准英语），它会让你看起来很帅；但如果你穿着便装（非裔美国英语 AAVE 或印度英语），它就会让你看起来很邋遢。这面镜子并没有坏，它只是偏爱西装。

研究发现： 机器人用户在模拟特定人群方面表现极差。

AAVE 使用者： 机器人模拟在处理非裔美国英语（AAVE）使用者时准确度最低。AI 代理在面对真实的 AAVE 使用者时，表现明显比机器人模拟预测的情况要差。
年龄差距： 随着年龄增长，这种差距变得更加严重。机器人模拟无法捕捉到老年人（55岁以上）面临的挑战，尤其是当他们使用 AAVE 时。
全球偏差： 模拟在面对年轻的、使用标准美式英语的人群时效果最好，而在面对来自印度、肯尼亚和尼日利亚的人群时效果最差。

“谁该负责”的意外发现

当测试出错时，研究人员调查了责任归属：

面对真实人类： 如果任务失败，通常是因为人类被误解了、表达含糊不清或没有完全遵循指令（占失败原因的 62%）。这是正常的行为。
面对机器人用户： 如果任务失败，几乎总是因为 AI 代理 出错了（占失败原因的 49%）。

为什么这很重要： 机器人用户“太完美了”。它们严格遵守指令，以至于没有给 AI 代理提供练习处理现实世界混乱情况的机会。这使得 AI 代理看起来比实际应有的失败频率更高，或者失败的方式与面对真人时完全不同。

总结

论文的结论是：我们不能依赖 AI 机器人来测试其他的 AI 机器人。

如果公司继续使用这些“机器人用户”来评估其 AI 助手，它们将面临以下风险：

误以为其 AI 比实际情况更好或更差。
部署出的 AI 系统可能对某些人表现出色，但对另一些人（尤其是老年人和非标准英语使用者）却表现糟糕。
因为“机器人用户”过于礼貌且具有可预测性，从而错失了发现现实世界问题的机会。

核心启示： 要构建真正有用的 AI，我们需要用真实、多样化的人类来测试它，而不是仅仅用更多模仿人类的机器人。

技术摘要：迷失在模拟中

问题陈述
智能体基准测试正日益依赖于由大语言模型（LLM）模拟的用户来大规模评估 AI 智能体的性能，以取代成本高昂的人类评估。然而，这种方法的鲁棒性、有效性和公平性尚未得到检验。目前的实践通常依赖于单一的用户模拟模型，将用户视为同质群体，忽略了语言和文化的多样性。这引发了关键问题：模拟用户能否可靠地预测现实世界中的智能体表现？它们是否会引入系统性偏差，从而误导对不同人群中智能体能力的描述？

研究方法
作者进行了一项全面的用户研究，使用 $\tau$ -Bench 零售任务集来评估 LLM 模拟用户作为真实人类代理的效用。

参与者： 研究从美国、印度、肯尼亚和尼日利亚招募了每组约 40 名参与者。美国参与者按方言（标准美式英语 [SAE] 与非裔美国人英语 [AAVE]）和年龄（18–34 岁、35–54 岁、55+ 岁）进行了分层。非美国参与者则招募自 18–34 岁年龄组。
任务设计： 从 $\tau$ -Bench 的 115 个零售任务中，作者选择了一个难度平衡的子集，包含 18 个任务（每个难度等级 3 个任务，难度等级由基于模型的成功率指标定义）。
实验设置： 参与者通过聊天界面与固定的智能体模型（GPT-4o）交互以完成任务。这些交互被用来与“用户”由各种 LLM（GPT-4o、Sonnet 3.7、Sonnet 4.5、Kimi-K2-Thinking）模拟的情况进行对比。
评估指标：
- 成功率： 智能体正确执行所需动作并传达必要信息的任务百分比。
- 期望校准误差 (ECE)： 借鉴自概率分类器，用于衡量在不同难度水平下，使用模拟用户与使用真实人类用户时，智能体成功率之间的加权绝对偏差。
- 交互分析： 对对话结构（轮次、提问、礼貌标记）进行定量分析，以及对错误归因（论证错误、缺失动作、输出错误）进行定性分析。

核心贡献与结果

缺乏鲁棒性：
智能体的成功率会根据所选用户模拟模型的不同而发生显著变化。虽然某些模型的成功率聚集在 67–71% 之间，但将用户模型从 Sonnet 3.7 切换到 Sonnet 4.5 会导致成功率出现 9 个百分点 的差异。这表明，单一模型的模拟对于建立鲁棒的性能基准是不可靠的。
系统性失校准（有效性）：
模拟用户并不能作为真实人类的可靠代理。即使是在美国背景下（即 LLM 通常被认为校准度最高的场景），期望校准误差 (ECE) 仍高达 15.1。
- 任务难度偏差： 模拟用户在最具挑战性的任务（0% 难度区间）上会系统性地低估智能体的表现，而在中等难度的任务（60% 难度区间）上则会高估其表现。
- 对话人工痕迹： 模拟用户表现出与人类不同的行为模式，包括显著更高的提问率（18.8% 对比人类的 9.8%）和礼貌标记使用率（39.2% 对比人类的 19.9%）。
人口统计学差异（公平性）：
用户模拟的可靠性在不同人口统计群体之间存在巨大差异，揭示了显著的公平性问题：
- 方言偏差： 智能体在 SAE 说话者中的成功率为 50.6%，但在 AAVE 说话者中仅为 39.4%。AAVE 说话者的校准误差 (ECE) 几乎是 SAE 说话者 (11.7) 的两倍 (20.3)。
- 年龄交互： 差异随年龄增长而复合。SAE 与 AAVE 说话者之间的性能差距从 35–54 岁年龄组的约 12 个百分点，扩大到了 55 岁以上组别的 19 个百分点。
- 地理偏差： 模拟用户作为 AAVE 和印度英语说话者的代理效果最差（ECE $\approx$ 18.9），而对 SAE 说话者的表现最好（ECE = 13.0）。
迥异的失效模式：
人类交互与模拟交互中的错误性质不同。
- 错误归因： 在人类对话中，用户是失败的主要来源（62.2%），通常是由于歧义或部分遵循指令。在模拟对话中，智能体则是大多数失败的责任方（48.9%）。
- 错误类型： 智能体在与模拟用户交互时，更容易出现输出错误（遗漏或包含了错误的输出），但发生的缺失或多余动作错误较少。这表明模拟用户可能过于精确地遵循指令，未能显现出真实用户所带来的歧义和误解。

意义与主张
本文认为，目前依赖 LLM 模拟用户的评估实践存在误导智能体能力描述的风险，尤其是在面对多样化用户群体时。通过针对模拟用户进行优化，开发者可能会在无意中创造出在基准测试中表现强劲、但在现实世界用户（尤其是 AAVE 说话者或非西方背景用户）面前表现极差的系统。作者得出结论：用户模拟目前尚不能作为独立的评估范式；相反，智能体基准测试必须通过人口统计多样化的人类数据来验证模拟结果，并报告多个模拟模型的结果，以确保鲁棒性和公平性。