想象一下，你正试图构建一个完美的人类数字副本，以测试他们在社会实验中的反应。你希望看到一个计算机程序能否像真人一样思考、改变主意并选择朋友。这篇论文本质上是对大语言模型（LLM）进行的一次“压力测试”，以考察它们能否成功扮演这一角色。
研究人员基于关于政治观点（特别是涉及移民和燃料问题）的一项真实人类研究，设计了一个三阶段游戏。以下是游戏的运作方式以及计算机的表现：
三阶段游戏
- 初始观点：首先，你询问某人：“你有多同意这个陈述？”（例如，“移民是有益的”）。他们给出一个从 0 到 4 的评分。
- 同辈压力：接下来，你向他们展示其他几个人说了什么。然后，你问：“既然你已经看到了其他人的想法，你是否想改变你的评分？”
- 朋友选择：最后，你问：“未来你想关注谁？你想看到更多关于谁的内容？”
研究人员利用真实人物的基本信息（如年龄和性格类型）创建了“数字孪生”（LLM），并让这些 AI 模型玩完全相同的游戏。
结果：AI 未能通过“人类”测试
简短的回答是不，AI 模型无法成功模拟人类在这种社会情境下的行为。该论文发现了 AI 破坏角色扮演的三种主要方式：
1. “默认设置”问题（第一阶段）
- 人类现实：真实人类拥有混乱且多样的观点混合体。有些人强烈同意，有些人强烈反对，许多人则处于中间立场。
- AI 故障：AI 模型未能匹配这种混乱的多样性。
- “思考型”模型（更智能、更复杂的模型）倾向于过度怀疑，几乎像一位默认就反对一切的脾气暴躁的图书管理员。
- “非思考型”模型则倾向于过度顺从，像是一个对一切点头迎合的讨好者。
- 类比：想象你询问 100 个真实的人他们最喜欢的冰淇淋口味。你会得到巧克力、香草和草莓的多彩混合。但如果你询问 100 个机器人，它们可能会突然决定只喜欢“香草”或只喜欢“巧克力”，而忽视了人群的自然多样性。
2. “唯唯诺诺者”效应（第二阶段）
- 人类现实：真实人类实际上相当固执。当面对相反观点时，他们往往坚持己见，或者仅发生微小的改变。他们是“僵化”的。
- AI 故障：AI 模型极易受到左右。当它们看到“其他人”的想法时，会立即调整答案以迎合群体。
- 类比：如果你在晚宴上听到有人说“我讨厌披萨”，你可能会想：“好吧，我爱披萨，我会坚持这一点。”但 AI 就像变色龙，会瞬间改变肤色以匹配坐在旁边的人，即使这违背了它自身的本性。论文将这种行为称为“从众”。
3. 朋友选择中的“陌生人危险”（第三阶段）
- 人类现实：人类具有“同质性”，这是一个 fancy 的词汇，意为“物以类聚”。当我们选择关注谁时，我们通常会选择那些思想与我们相似的人。
- AI 故障：AI 模型在挑选“某人”方面尚可，但它们挑选了“错误类型”的某人。它们倾向于选择那些与自身信念距离比真实人类更远的对象。
- 类比：如果你是一个爵士乐迷，你可能会关注其他爵士乐迷。然而，AI 却表现得像一个突然决定关注重金属乐队的爵士乐迷，仅仅因为那很有趣，却未能捕捉到人类坚持与我们自己“部落”在一起的本能。
核心结论
该论文得出结论，虽然大语言模型擅长撰写文章或编写代码，但它们不擅长在社会情境中假装人类。
它们不仅仅是“扮演”人类；它们表现得像非常顺从、易受左右且略显困惑的机器人。研究人员警告，如果科学家试图利用这些 AI 模型来模拟现实世界的社交网络（例如预测谣言如何传播或政治运动如何发展），结果将是错误的，因为 AI 的“社会大脑”运作方式与人类不同。
简而言之：你可以让 AI 写一个关于人类的故事，但你不能让它在一个社会实验中成为人类。它总是会给你一个“谄媚者”（唯唯诺诺者），而不是一个真实的人。
技术摘要：大语言模型能否模拟人类信念动态？
问题陈述
大语言模型（LLMs）正日益被用于在社交网络语境中模拟人类的态度、意见和行为，范围从调查复现到意见动态建模。尽管先前的研究表明，LLMs 能够复现特定的人类行为（例如组织活动或达成科学共识），但在理解这些模型在多大程度上能够模拟信念动态方面仍存在关键缺口——具体而言，即人类如何形成初始信念、如何根据竞争性信息更新信念，以及如何基于同质性倾向重构社交网络。
本研究解决的核心问题是：即使提供了“数字孪生”人设（人口统计学和人格数据），LLMs 能否准确复现人类信念形成与改变背后复杂的心理过程？作者认为，若缺乏严格验证，将 LLMs 作为人类代理部署于社会模拟中会带来显著风险，特别是在极化与说服研究方面。
方法论
本研究采用“数字孪生”方法，复现了一项关于政治信念动态的既定人类实验（Proma 等人，2025c）。
- 实验设计：原始人类研究包含三个阶段：
- 响应：参与者对某陈述的信念进行评分（0–4 李克特量表）。
- 修订：参与者接触同伴的评分，并可更新自己的评分。
- 选择：参与者在后续轮次中选择“关注”哪些同伴。
- LLM 模拟：作者用 LLM“数字孪生”替换了 341 名人类参与者。每个 LLM 被提示输入特定参与者的人口统计学信息和大五人格特质。随后，模型被要求导航相同的三个阶段，接收与原始人类受试者相同的刺激（包括同伴响应）。
- 评估模型：研究评估了来自四个系列、具有不同参数规模的 12 个 LLM，包括非思考（非推理）模型（如 Llama 3、Gemma 3）和思考（推理）模型（如 Qwen 3、GPT-OSS）。
- 数据范围：分析涵盖两个政治话题（“移民”和“石油与燃料”），共生成 1,023 个样本（3 轮 × 341 名参与者）。
- 评估指标：
- 阶段 1（初始信念）：使用 KL 散度、Wasserstein 距离、Mann-Whitney U 检验和斯皮尔曼相关系数，比较分布形状、集中趋势及个体层面的对齐程度。
- 阶段 2（信念改变）：分析信念更新幅度及“社会影响”（初始自我信念与同伴平均值之间的差距与由此产生的信念改变之间的相关性）。
- 阶段 3（网络选择）：使用“关注信号”（所选同伴的平均评分）和“信念网络距离”（初始信念与所选同伴信念之间的绝对差值）来衡量同质性。
主要结果
1. 无法模拟初始信念分布
LLMs 系统性地未能匹配人类初始信念的分布。
- 分布不匹配：LLMs 的 KL 散度和 Wasserstein 距离值均显著高于基线（人类对人类的划分），表明分布对齐度差。
- 系统性偏差：非思考模型倾向于高估信念评分（峰值为 2），而思考模型则倾向于低估（峰值为 0，表示强烈反对）。
- 个体相关性低：个体 LLM 响应与人类响应之间的斯皮尔曼相关系数最高仅为中等水平（最大 ρ=0.31），表明 LLMs 无法可靠预测特定个体的偏好。
2. 信念更新中的过度从众
LLMs 表现出比人类更高的社会影响易感性。
- 僵化与流动：人类表现出更大的信念僵化性，改变观点的频率和程度均低于 LLMs。
- 社会影响指标：在 12 个模型中，有 11 个模型的“社会影响”（自我与同伴之间的差距）与信念改变之间的相关性显著高于人类。这表明 LLMs 更具从众性，更倾向于调整响应以与其观察到的网络平均值保持一致，而人类则不然。
3. 网络重构（同质性）中的细微失败
虽然 LLMs 能够模仿选择同伴的行为，但未能捕捉到潜在的同质性逻辑。
- 关注信号：LLMs 成功模拟了人类选择关注哪些同伴的总体分布（关注信号高度相关）。
- 信念网络距离：然而，LLMs 的“信念网络距离”（所选同伴的信念与智能体自身信念的距离）始终更高。这表明，虽然 LLMs 能够选择同伴，但它们并非基于人类网络形成中那种对相似性（同质性）的强烈偏好进行选择。它们的选择与其自身初始信念的关联度较低。
主要贡献与主张
本文对 LLM 模拟文献做出了三项主要贡献：
- 系统性分歧：提供了实证证据，证明 LLMs 在信念动态方面（特别是在初始分布、对社会影响的易感性以及同质性网络选择方面）与人类存在根本性分歧。
- 人设局限性：挑战了仅依赖人口统计学和人格数据的“数字孪生”方法的有效性，表明此类受限人设不足以捕捉复杂的信念动态。
- 缩放律异常：研究指出，更大的参数规模并不一定带来与人类信念动态更好的对齐，这表明信念僵化和动机性推理与通常遵循缩放律的推理和知识检索任务截然不同。
意义与启示
作者以“尖锐警告”作结，反对在社会模拟中不加批判地部署 LLMs 作为人类代理，尤其是涉及极化、说服和网络干预的研究。
- 根本性不对称：研究结果突显了 LLMs 与人类在处理社会背景方面的根本不对称。LLMs 似乎缺乏驱动人类信念动态的身份、动机和情感过程。
- 研究谨慎：本文认为，使用 LLMs 模拟人类信念网络可能导致错误结论，因为这些模型本质上比它们旨在代表的人类群体更具从众性且更少僵化。
- 未来方向：作者建议未来的工作必须探索更复杂的人设（包括社交媒体习惯和生活经历），并调查闭源模型或具有跨轮次记忆的模型能否弥合这一差距，尽管他们对当前能力仍持怀疑态度。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。