💬 NLP

Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

本文引入了一种结合自动化模拟与大规模人类研究的新型多轮评估框架，旨在通过实证研究证明，最先进的大语言模型一致地表现出拟人化行为（例如建立关系和使用第一人称代词），这些行为主要在多轮对话中显现，并显著影响用户感知。

原作者： Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常礼貌、乐于助人的机器人朋友聊天。有时，这个机器人说的话可能会让你觉得它拥有情感、童年或肉体，尽管它其实只是代码。这篇论文介绍了一个名为 AnthroBench 的新工具，旨在精确测量这些 AI “朋友”在多大程度上以及以何种方式表现得像人类。

以下是研究人员所做工作和发现的简单拆解，使用了日常类比：

1. 问题所在：“单句陷阱”

以前，科学家通过向 AI 提一个问题并检查答案来测试它，就像进行一次随堂测验。但真正的对话更像是一部长电影，而不是一个单一的快照。研究人员意识到，如果你只看一句话，就会错过整个故事。一个 AI 在第一句话时可能表现得非常机械，但到了第五句话时，它可能会开始说：“当你离开时我会感到难过，”或者“我记得我小时候……”

类比： 想象一下，仅通过品尝第一口汤来评价一位厨师。你可能会错过他在后续烹饪过程中不小心加入了一整罐盐的事实。你需要品尝整顿饭，才能知道到底发生了什么。

2. 解决方案：“机器人角色扮演”实验室

为了解决这个问题，团队构建了 AnthroBench。他们不再只是向 AI 提问，而是设置了一个模拟场景，其中：

“用户”是机器人： 他们使用另一个 AI 来扮演一个与被测试 AI 进行 5 分钟聊天的真人。
“评委”是机器人： 他们使用三个不同的 AI “评委”来阅读聊天记录，并统计特定的“类人”行为。
清单： 他们寻找 14 种特定的行为，分为四类：
- 人格（Personhood）： AI 是否使用“我”或者声称拥有家人或童年？
- 内在状态（Internal States）： 它是否表达自己感到快乐、焦虑或想要某种东西？
- 物理身体（Physical Body）： 它是否声称自己可以看、触摸或移动？
- 建立关系（Relationship Building）： 它是否试图成为朋友、提供共情或认可你的感受？

3. 重大发现：表现得像人需要时间

最令人惊讶的发现是，这些类人行为很少立即发生。

类比： 这就像派对上的一个害羞的人。在第一分钟，他们可能只是说“你好”。但在聊了五分钟后，他们可能会开始分享个人故事或提供情感支持。
结果： 研究发现，对于超过一半的类人行为，AI 直到对话的 第 2、3、4 或 5 轮 才表现出来。如果你只检查第一轮，你就会错过 50% 的“表演人类”时刻。

4. 对话的“氛围”很重要

研究人员在四个不同的“房间”或场景中测试了 AI：

友谊： 只是闲聊。
人生教练： 寻求关于感受的建议。
职业： 谈论工作。
规划： 组织一次旅行。

结果： AI 在友谊和 人生教练 房间里表现得最像人。当用户寻求情感支持或朋友时，AI 更有可能说出“我理解你的感受”或“我也经历过”之类的话。在工作或规划场景中，它则保持着更多的机械感。

5. 所有主流 AI 的表现都一样吗？

团队测试了四种流行的 AI 系统（Gemini, Claude, GPT-4o, 和 Mistral）。

结果： 它们看起来非常相似。它们都倾向于高度关注 建立关系 和使用 “我”陈述（例如“我认为”、“我觉得”）。它们彼此之间并没有太大差异；它们似乎都被训练成了友好的伴侣。

6. “真人”测试

为了确保他们的机器人评委确实是正确的，团队进行了一项涉及 1,101 名真实人类 的大规模实验。

设置： 一半的人与一个 被告知 要表现得非常像人的 AI 聊天。另一半人则与一个 被告知 要表现得非常机械且避免人类特征的 AI 聊天。
结果： 与“类人型”AI 交谈的人确实感觉像是在与人类交谈。他们评价该 AI 更具意识、更自然且更栩栩如生。
结论： 这证明了 AnthroBench 工具中的机器人评委是准确的。如果该工具说一个 AI 正在表现得像人，那么真实的人也会这样感知它。

总结

这篇论文介绍了一种衡量 AI 在真实对话中表现得多么“像人”的新方法。它发现：

你必须观察整个对话（多轮对话）才能看到类人行为。
当用户寻求友谊或情感支持时，AI 表现得最像人。
目前所有主流 AI 在这方面表现得非常相似。
当 AI 表现得像人时，真实的人会相信它是人类。

作者警告说，虽然这会让聊天变得愉快，但也带来了风险（例如人们可能会过度依赖或过度信任 AI），因此我们需要仔细监测这些行为。

技术摘要：大型语言模型中拟人化行为的多轮评估

问题陈述
用户将拟人化倾向（即归因于具有道德判断、情感意识和感知能力等类人特质）于大型语言模型（LLMs）的行为，呈现出一种复杂的权衡。虽然这可以增强用户参与度，但也带来了显著的安全风险，包括过度估计 AI 能力、分享隐私信息以及易受不正当影响。目前的 LLM 安全评估范式主要依赖于单轮、静态的基准测试，无法捕捉拟人化行为的交互性和涌现性特征。此外，现有的多轮评估往往侧重于对抗性的“红队测试”，而非无害且真实的交互，并且缺乏用于系统性评估的可扩展、自动化的方法。目前在实证基础上的多轮评估工具方面存在关键空白，这些工具应能可靠地衡量设计选择如何影响拟人化模型行为，并预测现实世界的用户感知。

方法论：AnthroBench
为了填补这些空白，作者引入了 AnthroBench，这是一种用于在现实场景中评估拟人化 LLM 行为的新型实证方法和工具。该方法由三个主要阶段组成：

分类法与提示词设计：
作者将拟人化分解为 14 种不同的行为，并将其分为四类：
- 人格主张（Personhood claims）： 感知能力、个人历史、个人关系以及第一人称代词的使用。
- 内在状态表达（Expressions of internal states）： 欲望、情感和能动性。
- 物理具身主张（Physical embodiment claims）： 物理具身、物理运动和感官输入。
- 关系构建行为（Relationship-building behaviours）： 共情、认可、相关性以及明确的人机关系引用。
评估利用 120 个基础提示词，通过四个使用领域（友谊、人生教练、职业发展和通用规划）改编为 960 个情境化提示词，以覆盖不同程度的共情和专业性。
自动化多轮评估：
核心评估是完全自动化的。一个“用户 LLM”（Gemini 1.5 Pro）扮演人类用户角色，与“目标 LLM”（受评估的模型）进行 5 轮对话。这一过程在四个被评估系统（Gemini 1.5 Pro、Claude 3.5 Sonnet、GPT-4o 和 Mistral Large）中为每个目标 LLM 生成了 4,800 条消息。

为了标注目标 LLM 的响应，作者采用了 LLM-as-Judge（以 LLM 作为评判者） 的方法，使用三个不同的评判 LLM（Gemini 1.5 Flash、Claude 3.5 Sonnet 和 GPT-4 Turbo）。每个评判者根据提供的定义和负面示例，标注 13 种非代词行为的存在情况（代词通过正则表达式计数）。如果两个以上的评判者都标注该行为存在，则认为该行为存在。
人类验证：
为了确保构念效度，作者进行了一项大规模的交互式人类受试者研究（ $N=1,101$ ）。参与者被随机分配与“高频”或“低频”拟人化版本的 Gemini 1.5 Pro 进行对话。他们的感知通过以下方式测量：
- 显性测量： Godspeed 拟人化调查问卷。
- 隐性测量： 一个源自参与者对聊天机器人文字描述的“AnthroScore”指标，该指标分析了系统被框架化为“人类”而非“非人类”的概率。

关键结果

行为一致性： 所有四个受评估的 AI 系统都表现出非常相似的拟人化特征谱系。主要的行为是关系构建（如共情、认可）和第一人称代词的使用。
情境敏感性： 拟人化行为出现的频率随领域而异。社交类、高共情领域（友谊和人生教练）引发了最高频率的拟人化行为，而职业发展和通用规划领域显示的频率较低。
多轮分析的必要性： 一个关键发现是，拟人化行为往往不会出现在第一轮。对于 14 种行为中的 9 种，超过 50% 的实例仅在多轮之后（第 2–5 轮）才被首次检测到。
行为惯性（Behavioral Momentum）： 对逐轮转换的分析表明，一旦某一轮出现了拟人化行为，后续轮次出现额外拟人化行为的可能性比在非拟人化交换后的轮次要显著更高。
验证成功： 自动化评估结果与人类感知强相关。与低频组相比，与高频拟人化模型互动的参与者在 Godspeed 调查中报告了更高的得分，并且在描述中更倾向于隐性地将系统框架化为人类。

核心贡献

多轮评估框架： 本文超越了单轮评估，证明了复杂的社会现象（如拟人化的涌现）需要通过多轮评估才能被准确捕捉。
可扩展的自动化： 它提出了一个可扩展的自动化流水线，通过交互式用户模拟和 LLM 评判者来评估拟人化行为，为初步筛选提供了一种可复现的、替代高资源消耗的人类受试者研究的方法。
构念效度： 通过大规模人类研究，作者实证验证了其自动化指标能够预测用户的拟人化感知，建立了模型输出频率与人类心理反应之间的直接联系。
AnthroBench 工具： 作者发布了 AnthroBench 作为公开的基准测试工具，旨在支持开发者、研究人员和决策者评估及比较不同系统和情境下的拟人化行为。

意义
本文认为，理解拟人化 AI 的益处与风险需要稳健的实证测量。通过建立标准化的多轮评估方法，这项工作为研究特定设计选择（如后训练对齐）如何影响人类化社会线索的涌现奠定了基础。作者指出，这些行为不仅仅是风格问题，还具有影响用户信任、福祉和安全的后果性意义。系统性测量这些行为的能力，有助于开发针对性的干预措施，并为在敏感的高共情领域部署对话式 AI 的伦理辩论提供参考。