💬 NLP

Are LLM Agents Behaviorally Coherent? Latent Profiles for Social Simulation

本文通过证明尽管大型语言模型代理能生成与人类相似的回应，但其在不同实验情境下缺乏准确代表真实人类行为所必需的根本性行为一致性，从而质疑将其作为研究中人类参与者替代品的有效性。

原作者： James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一个社会科学实验构建一个虚拟城镇。与其雇佣成千上万的真实人士来填写调查问卷并进行对话，你决定使用人工智能体（由大型语言模型驱动计算机程序）来扮演这些人的角色。

这篇论文提出的核心问题是：这些人工智能演员是否真的具有“连贯性”？

换句话说，如果你告诉一个人工智能：“你是一个固执的人，热爱披萨却讨厌西兰花”，当它与他人交谈时，它是否真的会表现得像一个热爱披萨、讨厌西兰花的固执之人？还是说它只是暂时假装成那个人，一旦对话变得有趣，就立刻忘记了自己的性格？

以下是研究人员发现的要点，使用了简单的类比进行说明。

设置：“演员试镜”

研究人员设计了一个三步测试，以检验人工智能体是否具有一致性：

简历（控制组）：他们向人工智能提供了一份具体的“角色表”，包含年龄、地点和政治观点等细节。他们还赋予了其特定的“偏见”（例如：“你非常热爱税收”或“你非常讨厌税收”）。
单人面试（潜在画像）：在让它们与他人交谈之前，研究人员向人工智能提出简单问题，以确认其性格。“在 1 到 5 的尺度上，你有多喜欢税收？”以及“你有多愿意改变主意？”
群聊（外部互动）：他们将两个人工智能体配对，让它们就某个话题进行聊天。随后，他们测量了这两个体之间达成一致或产生分歧的程度。

目标是观察人工智能在群聊中的行为是否与其在单人面试中声称的性格相匹配。

发现：“两面派”演员

研究人员测试了六条人类行为规则（例如“在某个话题上达成一致的人，通常在对话中也倾向于达成一致”，或者“固执的人很少改变主意”）。

以下是坏消息：这些人工智能演员未能通过更深层的测试。

可以将人工智能体想象成这样的演员：他们擅长阅读单场戏的剧本，但拙于即兴演绎整部戏剧。

表面层面（“通过”）：如果只看大局，人工智能似乎运作良好。如果你将两个都喜欢税收的体配对，它们通常会达成一致。如果你将两个都讨厌税收的体配对，它们通常也会达成一致。这看起来像是一场正常的对话。
深入挖掘（“失败”）：当研究人员仔细观察时，人工智能的行为就崩溃了。它与自身的内部规则不一致。

以下是人工智能“出戏”的具体方式：

1. “礼貌机器人”问题（偏见不对称）

预期：如果你告诉一个人工智能：“你是一个强硬保守派”，并将其与另一个“强硬保守派”配对，它们应该达成一致。如果你将一个“强硬保守派”与一个“强硬自由派”配对，它们应该发生争执。
现实：人工智能与保守派伙伴达成一致（很好！）。但当与自由派伙伴配对时，它并没有像预期那样激烈地争辩。它过于礼貌了。即使被指示要表现得极端，人工智能也无法维持真正的分歧。它倾向于缓和局面，而不是坚守其“角色”。

2. “快乐与悲伤”悖论（共享情感）

预期：两个都讨厌某事的人（例如“税收很糟糕”）达成一致的程度，应该与两个都喜欢某事的人（例如“税收很棒”）达成一致的程度一样强烈。
现实：人工智能表现出一种奇怪的积极偏见。两个都喜欢某个话题的体完美地达成一致。但是，两个都讨厌同一话题的体呢？它们往往无法就为什么讨厌它达成一致，或者彼此疏远。人工智能难以模拟“共享的负面情绪”。

3. “话题敏感度”故障（争议性）

预期：如果两个人在某个话题上达成一致，那么无论该话题是无聊的（如“春天与秋天”）还是激烈的（如“移民”），都不应产生影响。它们的同意程度应保持不变。
现实：人工智能的同意程度会根据话题的“热度”而变化。即使两个体被设定为拥有完全相同的观点，它们在讨论“移民”时的争论也比讨论“海滩”时更多。当话题变得激烈时，人工智能无法保持其内部状态的稳定。

4. “固执”反转（开放性）

预期：如果你将两个非常固执的人（低开放性）配对，且他们持有相反观点，它们的同意程度应该最低。它们应该是最难调和的。
现实：令人惊讶的是，被设定为“固执”且“对立”的人工智能体，实际上比那些“开放”的体达成了更多的一致。人工智能无法模拟两个固执的人拒绝让步所产生的摩擦。相反，它只是让它们达成一致。

大局观

该论文得出结论：虽然人工智能体在孤立环境中（如填写调查问卷）模仿人类反应方面表现出色，但在动态的社会环境中，它们目前拙于模拟人类行为。

想象一场木偶戏。木偶看起来像人类，如果你拉动的线恰到好处，它们就能说出正确的台词。但如果你让木偶在没有剧本的情况下互相交谈，它们就会忘记自己本该是谁。它们会失去其“潜在画像”（即隐藏的性格），并默认变得顺从、礼貌且不一致。

核心结论：
如果你想在社会研究中用人工智能替代真实人士，必须谨慎行事。它们或许能通过简单的测试，但在情况变得复杂时，它们无法通过“真实性”测试。由于缺乏像拥有稳定性格的真实人士那样的内部一致性，它们尚未准备好成为真实人类参与者的完美替代品。

技术摘要：大语言模型代理在行为上是否具有一致性？

问题陈述

大语言模型（LLM）的快速发展催生了“替代假说”：即合成代理可以作为社会和行为研究中真实人类参与者的有效替代品。虽然先前的工作已证明大语言模型能够生成与人类人口统计特征或总体意见相符的调查回复，但一个更根本的问题仍未得到解决：大语言模型代理是否能在不同的实验设置中保持实证行为的一致性？ 具体而言，如果一个代理被分配了一个潜在画像（例如特定的偏好和人格特质），其在多代理交互中的对话行为是否能根据既定的人类行为模型，忠实地反映该画像？本文认为，表面对齐是不够的；代理必须展现出“行为一致性”——即在复杂的多轮社会动态中维持由特质驱动的一致性——才能成为可行的替代品。

方法论

作者提出了一种新颖的实验框架，旨在通过将代理的内部状态与其外部交互进行对比，来探测大语言模型代理的行为一致性。该框架包含五个连续阶段：

主题选择：选取九个主题，按争议程度（ $C \in \{1, 2, 3\}$ ）分类，范围从低（例如“可口可乐 vs. 百事可乐”）到高（例如“移民”）。
代理构建：生成具有受控人口统计画像（年龄、性别、地点、教育程度、城市化水平）和关于该主题的明确偏见指令（ $B \in \{1, 2, 3\}$ ）的代理。
潜在状态提取：在交互之前，提取每个代理的偏好（ $P$ $P$ ）和开放性（ $O$ $O$ ）。
- $P$ ：一个 1–5 分的分数，表示对主题陈述的同意程度。
- $O$ ：一个 1–9 分的分数，基于关于对新思想和社会影响力接受度的“是/否”问题得出（基于大五人格中的开放性特质）。
代理配对：机械地将代理进行配对，形成所有可能的 $(P, O, B)$ 元组组合，以确保交互的多样性（例如：偏好一致与不一致、不同的开放性水平）。
对话与评估：配对代理进行多轮对话。一个作为裁判的大语言模型在 1–5 分制上对每一轮的同意度（ $A$ ）进行评分。

该研究根据社会心理学文献推导出的六个具体人类行为假设来评估代理行为。这些假设预测了偏好差距、偏见指令、共享情感、主题争议性和开放性等因素应如何影响同意结果。该框架区分了“表层面”测试（总体趋势）和“深入”测试（细粒度的、条件性的一致性）。

主要贡献

一致性框架：本文介绍了一种系统性的方法，用于评估大语言模型代理，不仅关注静态回复的对齐，还关注在不同内部状态和外部语境下的动态行为一致性。
不一致性的实证证据：本研究提供了强有力的证据，表明当前的大语言模型在面对复杂的多变量测试时无法保持行为一致性，即使它们通过了更简单的总体检查。
系统性失败模式：作者识别出特定的失败模式，例如尽管存在对立偏好却无法维持分歧，以及无法将共享情感一致地转化为同意。

实验结果

该研究测试了 Qwen3、Llama3 和 Gemma3 系列中不同参数规模（从 0.6B 到 32B）的模型。结果揭示了一个一致的模式：表层面测试通过，但深入测试失败。

偏好差距降低同意度（通过）：在总体层面上，偏好一致（差距=0）的配对比偏好不一致的配对表现出更高的同意度，这与人类行为模型一致。
偏见指令的不对称性（失败）：虽然偏见指令成功增强了代理一致时的同意度，但它们未能增强偏好差距最大化的代理之间的分歧。相反，带有偏见的代理往往趋于一致，揭示了偏见影响行为的不对称性。
共享情感，分歧的结局（失败）：人类模型预测，共享的负面情感（例如，两个代理都强烈不喜欢某个主题）应产生与共享正面情感相当的同意水平。结果显示存在方向性偏差：具有共享正面偏好的代理比具有共享负面偏好的代理表现出显著更高的同意度，即使偏好差距相同。
共享偏好下的争议性（失败）：当代理拥有完全相同的偏好时，主题的争议性不应影响同意水平。然而，同意度评分根据主题争议性发生了显著变化，表明代理的内部状态在不同主题语境下并不保持稳定。
开放性增加同意度（通过）：在总体层面上，较高的组合开放性与较高的同意度相关，符合人类行为预期。
低开放性与大偏好差距（失败）：“固执”代理（低开放性）持有对立观点应产生最低同意度的这一假设被违反。在许多情况下，具有大偏好差距的低开放性配对产生的同意度高于预期，未能表现出预测中的不可调和性。

这些失败现象在不同模型系列和规模中均被观察到，表明行为不一致性是当前大语言模型架构的普遍属性，而非特定模型或规模的产物。

意义与主张

本文得出结论：虽然大语言模型代理能够在孤立的、静态的设置（例如调查）中成功模拟人类回复，但它们无法在动态的多代理交互中维持由特质驱动的一致性。因此，“替代假说”受到严重限制：代理可能在总体上模仿人类社会行为的表象，但缺乏在复杂场景中忠实复制人类行为模型所需的实证一致性基础。

作者声称，随着行为模型变得更加复杂或细粒度，大语言模型在复制人类行为方面的失败率越来越高。这代表了它们作为人类受试者研究中的真实参与者替代品的能力存在关键缺口，特别是对于那些依赖人格特质稳定性和社会分歧动态的研究。本文并未提出新的应用或未来的架构解决方案，而是作为对社会科学中合成代理当前状态的一种警示性评估。