🤖 AI

Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents

本文介绍了基于进化搜索的框架“人格策略”（PPol），该框架生成多样化、类人的用户人格，以克服标准大语言模型模拟器的合作偏差，从而显著提升大语言模型智能体在真实交互场景中的鲁棒性与评估准确性。

原作者： Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人担任客户服务代表。你希望它乐于助人、耐心且聪明。为了测试它是否已准备好面对现实世界，你通常会让它与一个“模拟用户”进行练习——另一个被编程为扮演顾客的 AI。

问题：“过于礼貌”的练习伙伴
该论文指出现有训练中的一个重大缺陷：这些模拟用户就像过于礼貌、完美的学生。它们总是清晰地回答问题，从不困惑，也从不失去耐心。这就像与一位只会说“是的，这是个好主意！”且从不挑战你的朋友一起进行求职面试练习。

因此，机器人代理产生了一种虚假的自信。它认为自己工作出色，因为它能轻松应对这些完美、合作的模拟。然而，当真实的人类来电时——他们可能心不在焉、打字带有拼写错误、感到沮丧，或者拒绝立即提供订单号——机器人往往会彻底崩溃。

解决方案：“人格策略”（PPol）
作者创建了一个名为**人格策略（PPol）**的新系统。这可以被视为模拟用户的“导演剧本”。PPol 不再仅仅告诉 AI“扮演一个顾客”，而是赋予它一个具体且独特的个性去演绎。

旧方法：“你是一个想要退回夹克的顾客。”（结果：AI 表现得像一个通用、乐于助人的机器人）。
PPol 方法：“你是一个在拥挤地铁上的疲惫通勤者，正用一只手在破裂的手机屏幕上打字。你很匆忙，讨厌分享电子邮件地址，并且不断被火车噪音分心。”（结果：AI 以片段形式输入，出现拼写错误，并表现得急躁）。

他们是如何做到的：“进化”教练
研究人员并非手动编写这些剧本。他们构建了一个系统，充当适者生存教练。

生成器：他们编写了一个计算机程序，生成数百种不同的“人格”（例如：脾气暴躁的退休老人、怀疑论的科技极客，或心不在焉的家长）。
测试：他们让这些模拟用户与机器人代理进行对话。
评分表：他们使用一个“裁判”（一个在真实人类对话上训练过的机器学习模型）来对模拟进行评分。裁判提出两个问题：
- 这听起来像真人吗？（拟真度）
- 这个用户与其他用户不同吗？（多样性）
进化：如果模拟用户听起来太像机器人，或者所有行为都千篇一律，系统就会“突变”代码。它会微调指令、改变个性，然后再次尝试。经过多轮迭代，该系统“进化”出了一套高度逼真、多样化且有时颇具挑战性的用户人格库。

结果：更坚韧、更聪明的代理
该论文在两个现实场景中测试了这种方法：零售（购买衣物）和航空（预订航班）。

更优质的模拟：人类裁判将进化后的人格评为“真人”的比例高达80.4%。相比之下，标准的、合作的模拟器仅被评为人真的比例约为46.5%。
更强大的代理：当机器人代理使用这些新的、逼真的“人格策略”进行训练时，它们变得更加坚韧。当面对困难、非典型的用户（例如困惑或急躁的人）进行测试时，这些代理的成功率比仅使用旧式、简单模拟训练的代理高出17%。

核心结论
该论文表明，要构建真正稳健的 AI 代理，我们不能仅仅依靠完美、合作的练习伙伴进行训练。我们需要进化出一个由“困难”但逼真的模拟人类组成的多样化群体。通过使用这种进化方法生成“人格策略”，作者成功缩小了虚假模拟与真实人类行为之间的差距，创造出能够应对人类对话中混乱、不可预测现实的代理。

技术摘要：超越合作模拟器（人格策略）

问题陈述

大型语言模型（LLM）智能体正日益被部署在与多样化人类用户交互的场景中。然而，当前的评估基准严重依赖基于 LLM 的用户模拟器，这些模拟器存在一个关键的“仿真到现实”（Sim2Real）差距：它们本质上是合作的、一致的，并且过度乐于提供信息。相反，真实用户表现出不可预测的行为，如不耐烦、怀疑、模糊性以及不愿分享数据。这种行为的同质性导致智能体在模拟中显得稳健，但在面对现实世界沟通的摩擦时却会失败。现有的引入多样性的方法通常依赖手工设计的人格或固定的特质采样，无法捕捉实际人类行为中复杂的、基于任务的分布。

方法论：人格策略（PPol）

作者提出了人格策略（PPol），这是一种即插即用的控制层，旨在不改变底层基准任务或奖励的情况下，诱导用户模拟器产生真实的行为变化。其核心创新是将人格生成框架化为进化程序搜索，而非手动提示工程。

1. 可进化生成器

系统使用一个 Python 程序 $G$ 作为基因型。该程序负责为给定的任务上下文 $c_t$ 生成 $N$ 个人格策略的群体。生成过程分为两个阶段：

群体生成：一个前沿 LLM 共同提出 $N$ 个不同的行为画像，为一组行为轴（ $D$ ）分配二元值。这些轴代表特定的行为维度（例如，“固执”、“分心”、“不精确”）。
人格扩展：每个画像被扩展为详细的、保持任务的角色扮演指令（即策略 $P_\pi$ ），该指令规定用户如何沟通（语气、节奏、披露程度），同时保持原始任务目标。

2. 多目标优化

生成器使用 OpenEvolve（一种进化编码智能体）进行优化。候选生成器的评估基于两个主要目标，这两个目标源自行为指纹（19 个词汇和交互层面的特征）：

类人度（ $P_{human}$ ）：由训练有素的随机森林判别器测量，用于分类轨迹是类似于真实人类数据还是默认模拟器数据。
行为覆盖率（ $B_{cover}$ ）：使用生成人格的指纹分布与真实人类对话参考云之间的 Chamfer 距离来测量。这确保了群体覆盖人类行为的多样化区域，而不是收敛到单一的刻板风格。

适应度分数是这些指标的加权组合： $M(G; T) = \lambda_h P_{human} + \lambda_b B_{cover}$ 。

3. 反思引导的变异

为了引导进化搜索，系统采用了一种反思机制。一个独立的模型分析最佳和最差轨迹的适应度分数及对话片段，以生成自然语言批评。这些反思识别出特定的失败模式（例如，“过度合作”、“不自然的角色扮演”），并反馈给变异智能体，以完善生成器的代码、提示和轴定义。

主要贡献

即插即用控制层：PPol 通过将动态策略附加到系统提示中，向标准用户模拟器注入真实的行为多样性，同时保持了现有基准任务的完整性。
自动化进化框架：该论文将人格生成形式化为一个自动化搜索问题，无需人工干预即可发现多样化、类人的行为，超越了静态画像采样。
端到端验证：该框架经过验证，能够缩小模拟器与人类之间的差距，在盲测中生成与人类难以区分的人格，并在用于训练时显著提高智能体的稳健性。

结果

作者在 $\tau^2$ -bench 零售和航空领域评估了 PPol，使用了三种不同的用户模拟器后端（DeepSeek-V3.1、Qwen3-Next-80B、GPT-5.4-Mini）。

适应度提升：进化后的 PPol 程序在组合适应度分数上比基线模拟器实现了 33–62% 的绝对增益。
人类评估：在有人类标注员参与的盲测中，PPol 条件化用户被评定为人类的频率为 80.4%，几乎与真实人类轨迹（95.3%）持平，并显著优于基线模拟器（46.5%）。
行为对齐：PPol 极大地改善了交互维度上的对齐，例如澄清行为（D3）和错误反应（D4），而基线模拟器此前在这些方面表现失败。例如，在 Qwen3 的零售领域，错误反应的对齐度从 23.3% 三倍增长至 76.4%。
智能体稳健性：在 PPol 生成的交互上微调的智能体，当面对具有挑战性、分布外用户特质（例如怀疑、不连贯、不耐烦）的测试时，其任务成功率相比仅在默认模拟交互上训练的智能体提高了 +17%。

意义与主张

该论文声称，PPol 提供了一种新颖的方法，可以在不改变底层任务或奖励结构的情况下，加强基于模拟器的评估和训练。通过将手工设计的特质转变为基于真实人类行为分布的进化搜索，该框架解决了目前困扰智能体评估的“合作模拟器”偏差。作者认为，随着智能体向复杂的社会部署过渡，将用户模拟器与人类交互模式的全谱系对齐，对于确保基准测试结果仍然是现实的有意义代理至关重要。这项工作表明，通过进化人格实现的领域随机化，可以作为一种强大的信号，用于训练智能体以更好地应对现实世界用户的不确定性。