💬 NLP

Can LLMs Simulate Human Behavioral Variability? A Case Study in the Phonemic Fluency Task

该研究通过对比 34 种大语言模型与 106 名人类参与者在语音流畅性任务中的表现，发现尽管部分模型能近似人类的平均表现，但均无法复现人类行为所特有的多样性，且其检索结构与人类存在本质差异，从而揭示了利用大语言模型模拟人类认知与行为的关键局限性。

原作者： Mengyang Qiu, Zoe Brisebois, Siena Sun

发布于 2026-02-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mengyang Qiu, Zoe Brisebois, Siena Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一场**“人类 vs. AI 的词汇大比拼”**，目的是看看人工智能（大语言模型）到底能不能像真人一样，在说话时展现出丰富多彩的“个性”和“变化”。

为了让你轻松理解，我们可以把这项研究想象成一场**“字母 F 的单词接龙大赛”**。

1. 比赛规则：一分钟，只说以"F"开头的词

想象一下，裁判给你一分钟时间，让你尽可能多地说出以字母"F"开头的英语单词（比如 Fun, Fire, Fish）。

人类选手：106 位真人参加了比赛。
AI 选手：研究人员找了 34 种不同的 AI 模型（包括大家熟悉的 GPT、Claude、Gemini 等），让它们也参加同样的比赛。

为了让 AI 更像真人，研究人员给它们“喂”了一些背景资料，比如：“你今年 35 岁，受过大学教育，刚才真人选手说了 17 个词，你也试着说这么多。”

2. 核心发现：AI 很“稳”，但缺乏“灵魂”

比赛结果揭示了一个有趣的现象：AI 很擅长“凑数”，但很难模仿真人的“花样”。

数量上，AI 很听话：大多数 AI 都能很好地控制时间，说出的单词数量跟真人差不多，不多也不少。
质量上，AI 太“随大流”了：
- 真人选手：就像是一个热闹的菜市场。有人喊“鱼（Fish）”，有人喊“飞（Fly）”，还有人喊“费（Fee）”或者生僻的“弗吉尼亚（Virginia）”。每个人的想法都不一样，充满了多样性。
- AI 选手：就像是一个训练有素的合唱团。它们唱的歌（单词）都很标准，但大家都唱同一首热门歌。如果让 100 个 AI 唱歌，它们大概率都会唱《Fun》、《Fire》、《Family》。它们很少唱那些冷门、独特或者带有个人色彩的词。

结论：AI 可以模拟真人的“平均水平”，但无法模拟真人的“千差万别”。

3. 为什么 AI 这么“死板”？

研究人员发现了一些深层原因，我们可以用两个比喻来解释：

比喻一：AI 的“思维地图”太整齐了

真人的大脑：像是一个错综复杂的迷宫。当你想到"Fire"（火），你可能联想到“热”、“危险”、“壁炉”，甚至“火灾”。这种联想是跳跃的、个性化的，有时候甚至有点奇怪。
AI 的大脑：像是一个规划完美的网格城市。它知道"Fire"和"Hot"有关，但它更倾向于走“最短路径”，只输出那些概率最高、最标准的词。它缺乏那种“灵光一闪”的跳跃感。

比喻二：AI 的“词库”其实是“撞车”的

研究人员做了一个大胆的实验：既然单个 AI 太死板，那我把 34 个不同的 AI 凑在一起，让它们随机说话，能不能凑出真人的多样性呢？

结果：不行。
原因：这就像你找了 34 个来自同一个补习班的学生。虽然他们穿着不同的校服（不同的模型架构），但老师（训练数据）教给他们的核心词汇和思维方式几乎一模一样。
研究发现，这些 AI 模型之间，70% 到 90% 的常用词都是重复的。它们都在用同一本“标准答案书”，所以无论怎么组合，都变不出真人的那种“千奇百怪”。

4. 一个反直觉的惊喜

通常我们认为“越新的 AI 越聪明”，但在这项研究中，旧一点的模型（Claude 3.7 Sonnet）反而比最新的模型更像人。

最新的模型为了追求“逻辑严密”和“思考深度”（比如开启“思考模式”），反而变得更保守、更死板，说出的词更少、更重复。
这就像是一个老练的脱口秀演员（旧模型）可能比一个刚毕业的高材生（新模型）更懂得如何讲出让人意想不到的笑话。

5. 这对我们意味着什么？

这篇论文给那些想用 AI 代替真人做心理学实验的研究人员泼了一盆冷水：

AI 不能直接当“替身”：如果你需要研究“人与人之间的差异”（比如为什么有的人反应快，有的人反应慢，或者为什么有的人想法独特），AI 目前还做不到。因为它们太一致了，抹杀了人类最宝贵的“个性”。
AI 是个好“基准线”：AI 可以用来代表“人类知识的平均水平”或“标准反应”。如果你想研究“某个人为什么比标准反应更特别”，你可以用 AI 作为参照物，看看真人哪里“超标”了。

总结

这就好比AI 是完美的复印机，它能完美复制人类语言的“骨架”和“平均样貌”，但它还没有学会人类那种“即兴发挥”和“独一无二”的灵魂。

在需要展现人类多样性、创造力和个体差异的研究中，真人依然是不可替代的。AI 目前更像是一个优秀的“统计员”，而不是一个有血有肉的“参与者”。

论文技术总结：LLM 能否模拟人类行为变异性？——以音位流畅性任务为例

1. 研究背景与问题 (Problem)

大型语言模型（LLM）在认知科学和行为研究中日益被用作人类参与者的替代品。然而，LLM 是否具备模拟人类行为变异性（Behavioral Variability）的能力尚不明确。

核心问题：现有的 LLM 能否在认知任务中重现人类个体之间的差异（如词汇选择的多样性、检索策略的灵活性），还是仅仅输出高度一致、缺乏变化的“平均”回答？
研究缺口：以往研究多关注语义流畅性（Semantic Fluency），且常使用单一模型或虚构角色。本研究选择音位流畅性任务（Phonemic Fluency，即在规定时间内说出以特定字母开头的单词），因为该任务更依赖形式检索（正字法/语音）而非语义，能更严格地测试检索策略的刚性。

2. 方法论 (Methodology)

2.1 数据来源

人类数据：来自 Qiu & Johns (2021) 的公开数据集。包含 106 名母语为英语的参与者，在 1 分钟内说出以字母"F"开头的单词。
- 平均产出：16.89 个词（SD = 4.84）。
- 预处理：排除重复、非目标词、同词根变体等。
LLM 模拟：
- 模型范围：评估了来自 OpenAI、Anthropic、Google、xAI 及开源社区（Meta, Moonshot 等）的 34 个不同模型，共 45 种配置（包含开启/关闭“思考/推理”模式的不同参数）。
- 提示工程：每个模型被要求扮演具体的真实人类参与者。提示词包含该参与者的年龄、教育程度以及正确的回答数量（作为约束条件，防止模型过度生成）。
- 流程：每个模型独立运行 106 次（对应 106 个真实参与者），无记忆共享。

2.2 分析指标

产出数量控制：计算平均绝对误差（MAE），筛选出符合人类产出范围的模型配置。
变异性指标：
- 类型 - 标记比 (TTR)：独特词数/总词数，衡量词汇多样性。
- 独特类型 - 总类型比 (ITTTR)：仅由单个参与者产出的词（独特词）占总独特词的比例，衡量个体差异。
词频分布：拟合 Zipf 定律（幂律分布），分析斜率 $\alpha$ （ $\alpha$ 越大，高频词主导越强，长尾越短）。
语言变量回归：分析词频、词长、正字法邻域大小、语义邻域大小、习得年龄（AoA）对产出频率的预测能力。
网络分析：构建词共现网络，计算聚类系数（CC）和平均最短路径长度（ASPL），比较人类与 LLM 的检索结构。
集成分析 (Ensemble)：将不同模型的输出随机混合，试图通过“群体智慧”恢复人类水平的多样性。

3. 关键发现与结果 (Key Results)

3.1 产出数量与变异性

数量控制：大多数模型（33/45）能较好地遵循产出数量约束，但部分最新模型（如 GPT-4 Turbo, o3）出现严重过度生成。
变异性严重不足：
- 人类：TTR = 0.27，独特词占比 (ITTTR) = 0.42。
- 最佳模型 (Claude 3.7 Sonnet)：TTR = 0.13，ITTTR = 0.32。
- 结论：没有任何 LLM 接近人类的变异性水平。即使是表现最好的模型，其独特词数量也不到人类的一半。
- 趋势：开启“思考/推理”模式通常降低了变异性（模型变得更一致）；较新的模型往往比旧模型（如 Claude 3.7）更缺乏多样性。

3.2 词频分布与语言预测因子

Zipf 分布：人类数据符合 $\alpha \approx 0.89$ 的幂律分布。LLM 的 $\alpha$ 值普遍更高（1.19–1.53），表明 LLM 过度依赖高频词，长尾（低频/独特词）缺失。
预测因子差异：
- 人类：词频、正字法邻域大小（Orthographic Neighborhood Size）、习得年龄显著影响产出。人类更依赖形式关联。
- LLM (如 Claude 3.7)：虽然也受词频和习得年龄影响，但正字法邻域大小的影响消失，转而更依赖词长。这表明 LLM 的检索机制与人类存在本质不同。

3.3 网络结构差异

人类网络：具有更高的聚类系数 (CC) 和更长的平均最短路径 (ASPL)。这意味着人类检索倾向于形成紧密的局部簇（Local Clusters），但全局整合较弱，反映了人类记忆检索的“跳跃性”和策略性。
LLM 网络：CC 较低，ASPL 较短。LLM 生成的网络更加均匀连接，全局效率更高，缺乏人类特有的局部聚类结构。

3.4 集成模拟 (Ensemble) 的失败

尝试通过随机混合多个模型的输出来模拟人类多样性，结果失败。
原因：不同模型间的词汇重叠率极高（Anthropic 模型间重叠率均值达 0.90）。这意味着不同模型实际上是从同一个“高频核心词库”中采样，而非互补。集成方法只是放大了高频词，未能恢复低频或独特的长尾词。

4. 主要贡献 (Key Contributions)

大规模实证评估：首次对 34 个模型、45 种配置在音位流畅性任务上进行了系统性对比，超越了以往仅使用单一模型的研究。
揭示变异性瓶颈：证明了 LLM 在模拟人类个体差异（Behavioral Variability）方面存在根本性缺陷。LLM 倾向于输出“平均化”和“最优化”的答案，而非反映真实人类认知中的随机性和多样性。
机制差异分析：通过语言变量回归和网络分析，揭示了 LLM 与人类在检索策略上的本质区别（人类依赖形式关联和局部聚类，LLM 依赖表面特征和全局效率）。
集成方法的局限性：指出简单的模型集成无法解决“同质化”问题，因为不同模型共享了相似的训练数据和架构偏见。

5. 意义与启示 (Significance)

对认知科学的警示：在需要模拟人类行为变异性、个体差异或认知过程的研究中，不能简单地将 LLM 视为人类参与者的直接替代品。LLM 可能会系统性地低估人类群体的多样性，掩盖罕见但重要的认知模式。
模型选择建议：研究人员不应盲目使用最新模型。研究发现，较旧的模型（如 Claude 3.7 Sonnet）在某些指标上反而比更新的模型（如 Claude 4.x 或开启思考模式）更接近人类数据。
未来方向：
- 不应追求用 LLM 完全替代人类，而应将其作为捕捉语言知识“中心趋势”的基线系统，用于对比真实人类的独特性。
- 未来的模拟需要更复杂的个性化建模（如结合阅读暴露史、特定领域经验），而不仅仅是人口统计学信息。
- 需警惕 LLM 可能加剧语言偏见，抑制低频和独特表达，从而在模拟中边缘化真实人群的多样性。

总结：虽然 LLM 在流畅性和表面合理性上表现出色，但它们目前无法模拟人类认知中至关重要的行为变异性和检索动态。这一发现为 LLM 在行为科学中的应用划定了明确的边界。