Distribution-First Population Simulation: Collapse, Calibration, and Recall in Non-WEIRD LLM Persona Modeling

想象一下，你正试图预测一整座城市的民众会对一项新规则（比如公交车票价的变化）做出怎样的反应。在过去，科学家可能会询问真实的人以获取他们的意见。但如今，随着超智能计算机程序——大语言模型（LLM）的兴起，研究人员正在尝试一种更疯狂的做法：让计算机同时扮演成数千个不同的人。他们给计算机一个“人格”（一个包含职业、年龄和性格的虚构身份），然后问：“你会怎么做？”如果你为 1,000 个虚构的人进行这样的操作，你就得到了一个“合成人口”。这种希望通过数字人群来模拟现实人群的做法，旨在帮助我们理解社会，而无需采访任何一个真人。但这里有一个巨大的疑问：如果你要求计算机扮演一群多样化的人，它真的能创造出一个多样化的群体，还是只会变成一个巨大的、乏味的“回声室”，让每个人都想得一模一样？

这篇论文深入探讨了这个谜团。研究人员利用来自土耳其的数据（以确保他们不是在单纯复制美国的习惯）测试了两种模拟人群的方法。他们想看看“独立智能体”方法（即每个虚构的人独立思考）是否真的有效，或者是否会失效。他们还寻找了一种更好的修复方法。他们的发现令人震惊：运行数千个独立 AI 智能体的流行方法从根本上是失效的。AI 智能体并没有形成多样化的群体，而是全部堆叠到了同一个单一答案上，就像一群羊盲目跟随领头羊跳下悬崖一样。然而，论文也提供了一个聪明且更廉价的修复方案：不要要求 AI 去“扮演一个人”，而是要求它扮演一名统计学家，一次性描述整个群体的行为。这种方法效果更好，尽管它也有自己的怪癖。

大规模 AI 人群坍缩

研究人员使用来自土耳其 2,414 名真实受访者的调查数据建立了一个测试。他们为这些人创建了“数字孪生”。随后，他们尝试了两条路径，观察这些数字人会如何回答问题。

路径 B：独立智能体（失效的方法）
在这种方法中，计算机将每个数字人视为一个独立的角色。它询问角色 1：“你怎么看？”然后询问角色 2：“你怎么看？”以此类推，进行数千次。其核心理念是，如果你拥有足够多的不同角色，他们的答案自然会扩散，从而匹配现实生活。
但结果是一场灾难。AI 智能体并没有呈现出意见的分散，而是全部坍缩到了一个单一的“默认”答案上。想象一下，你问一个房间里的 1,000 个人晚餐想吃什么，结果他们没有出现披萨、塔可或沙拉的混合选择，而是 85% 的人都突然决定吃同一种平庸的三明治，因为计算机认为这是最“安全”或最“正确”的答案。
数据非常直观：

• “坍缩”现象极其严重。在真实数据中，答案是分散的（熵值为 1.46）。而在 AI 模拟中，答案紧密地聚集在一起，导致多样性得分降至 0.77。
• 选择最受欢迎选项的人数比例从现实世界的 36% 跳升到了 AI 世界的 69%。
• 这种情况发生在四种不同的场景和五个不同的计算机“种子”（随机起始点）中，这意味着这并非偶然。发生的原因在于 AI 智能体太渴望找到“正确”答案，从而忽略了现实生活中人类有着不同口味和预算的混乱事实。

路径 A：言语化采样（更好的方法）
研究人员尝试了一种被称为“言语化采样”（Verbalized Sampling, VS）的新技巧。他们不再要求 AI 扮演一个人，而是要求 AI 扮演一名民意调查员。他们说：“不要为一个人选择答案。相反，请告诉我整个群体的概率分布。百分之多少的人会选择选项 A？选项 B？选项 C？”
这种方法效果显著。它解决了“欠离散”（即 AI 太过乏味）的问题。AI 开始给出一种现实的答案分布，看起来更接近真实的人类数据。

• 在三种不同类型的 AI 模型中，“保真度”（即 AI 与现实的接近程度）提高了 6 到 10 个点。
• 然而，这里有一个陷阱。在试图修复“过于乏味”的问题时，AI 走得太远，变得“过于混乱”了。它开始过度分散答案，以至于其多样性甚至高于现实生活（过离散）。这就像一个 DJ，为了避免重复播放同一首歌，最后竟然播放了一首谁都没听过的歌。

当调查答案无法转化为实际行动时

研究人员随后提出了一个更难的问题：如果我们修复了调查答案，是否意味着 AI 会在现实世界中做出正确的决策？他们将这些经过“调查校准”的 AI 人格放入了一个任务中：预订一张从伊斯坦布尔到柏林的机票。他们想观察 AI 会根据其虚构收入选择廉价航班还是舒适航班。

结果喜忧参半。

• 好的方面： AI 确实听从了收入的影响。低收入人格的角色几乎 100% 选择最便宜的选项，而高收入人格在选择舒适选项上的比例为 32%。性格特征确实“渗透”到了决策中。
• 坏的方面： AI 仍然受到“廉价默认值”偏差的支配。大约 80% 的情况下，无论收入如何，AI 都会选择最便宜的东西。调查数据并未完全覆盖 AI 追求节俭的天性。
• 陷阱： 研究人员还发现了一个关于测量方式的隐蔽错误。他们最初认为 AI 对环境（如飞行时长）是“盲目”的，因为 AI 在长途飞行中没有购买额外的餐食。但他们意识到自己设了一个陷阱：那些长途航班同时也极其昂贵。AI 并不是盲目，它只是在精明地省钱！一旦他们修正了测试，AI 展示了它能够完美理解环境背景。

记忆 vs. 推理：“召回”问题

AI 研究领域的一个重大担忧是：“AI 到底是在思考，还是仅仅在记忆其训练数据中的答案？”研究人员通过一个“记忆攻击”测试了这一点。他们要求 AI 根据人们的价值观来预测选举结果。

• AI 的“言语化采样”方法几乎完美地预测了全国选举结果（与真实结果的匹配得分高达 0.051）。
• 但通过深入观察，他们意识到 AI 并不是在模拟未来，而是在回忆过去。选举结果是一个已知的历史事实，AI 只是“召回”了答案，而非通过推理得出的。
• 当他们尝试预测特定群体的投票情况时，AI 失败了。它无法区分两个不同的政党，因为在 AI 的“价值空间”里，这两个政党的支持者看起来完全一样。这表明，虽然 AI 擅长把握宏观大局，但在处理个体细节方面却表现挣扎。

解决方案：做统计学家，而不是演员

那么，结论是什么？本文认为，通过运行数千个独立的 AI 智能体来模拟人口是错误的工具。它不仅成本太高（需要大量的计算能力），而且总是会坍缩成一个乏味的单一答案。

相反，作者提出了一个“分布优先”的方法：

1. 只问一次： 使用“言语化采样”方法，通过一次调用请求 AI 提供整个人群的分布。这既便宜又快速。
2. 一致分配： 然后，根据该分布和个人的特征，为具体的角色分配特定的答案。
3. 使用路由器： 如果你确实需要 AI 对某个特定时刻进行深度思考，请使用一个“具备预算意识的路由器”，来决定何时调用昂贵的 AI，以及何时仅使用简单的规则。研究人员找到了衡量这个路由器诚实度的方法，得到了 0.805 的得分（这很好，但并不完美）。

简而言之，如果你想模拟人群，不要试图让 AI 扮演 1,000 个不同的人。要让它扮演一名了解人群行为的聪明统计学家，并让这种知识来引导你的模拟。这种方法更便宜、更准确，并且能避免数字人群中每个人都想得一模一样的陷阱。