💬 NLP

Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility

该研究发现，尽管大语言模型能大致复现人类对错误信息的反应分布，但其模拟结果会系统性高估态度与分享行为之间的关联，并过度依赖态度特征而忽视人际网络因素，因此更适用于诊断与人类判断的偏差而非直接替代人类调查。

原作者： Eun Cheol Choi, Lindsay E. Young, Emilio Ferrara

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Eun Cheol Choi, Lindsay E. Young, Emilio Ferrara

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章就像是一份"AI 模拟人类调查的体检报告"。

研究人员想知道：如果我们让大语言模型（LLM，比如现在的各种 AI）假装成普通人，去回答关于“你是否相信谣言”和“你是否愿意转发谣言”的问卷，它们能骗过我们吗？它们能像真人一样思考吗？

为了回答这个问题，研究人员做了一场"真人 vs. AI"的大比拼。

🎭 核心实验：让 AI“扮演”人类

想象一下，研究人员手里有三份真实的调查问卷，上面有几百个真人的资料：

基本信息：年龄、性别、收入。
性格态度：你信不信科学？你政治倾向是保守还是激进？
社交圈子：你平时和谁聊天？你的朋友里有多少人也信这些谣言？（这是网络特征，非常重要）。

然后，研究人员把这些资料“喂”给 AI，让 AI 扮演这些真人，回答同样的问题：“你觉得这个谣言是真的吗？”“你会把它转发给朋友吗？”

🔍 发现了什么？（三个主要“翻车”现场）

AI 的表现有点像"过度自信的演员"，它演得挺像，但细节全是错的：

1. 把“相信”和“转发”混为一谈（过度简化）

真人世界：有时候人们转发谣言，并不是因为他们真的信，而是为了搞笑、表达立场、或者仅仅是为了凑热闹。就像你在朋友圈转了一个段子，不代表你觉得段子是真的。
AI 世界：AI 觉得“相信”和“转发”是绑定的。它认为：“如果你信，你就一定会转；如果你转，那你肯定信。”
比喻：真人像是一个复杂的社交达人，转发可能只是为了“玩梗”；而 AI 像是一个死板的机器人，认为“转发=100% 相信”。

2. 忽略了“朋友圈”的力量（忽视网络）

真人世界：你信不信谣言，很大程度上取决于你身边的朋友信不信。如果你的朋友圈都在传，你更容易受影响。这叫“近朱者赤，近墨者黑”。
AI 世界：AI 几乎完全忽略了你的社交圈子。它只盯着你的个人性格（比如“你很保守”或“你不信科学”）来做判断。
比喻：真人做决定时，会看周围人的脸色（社交网络）；而 AI 做决定时，像是一个住在孤岛上的隐士，只跟自己对话，完全不管周围人在说什么。

3. 把“个人性格”看得太重（过度强调态度）

真人世界：性格、态度、社交圈子，这三者共同作用，而且充满了随机性和噪音（有时候人就是会犯错，或者没想清楚）。
AI 世界：AI 给出的答案太有规律了。只要它看到你的“政治立场”或“对科学的信任度”，它就能极其精准地猜出你会怎么回答，仿佛你的行为完全由性格决定，没有任何意外。
比喻：真人像天气，虽然有大趋势，但总有突发的小雨或晴天（不可预测）；AI 像天气预报里的完美模型，只要输入数据，就给出一个绝对确定的结果，反而显得不真实。

🧠 为什么会这样？（AI 的“大脑”里有什么？）

研究人员去检查了 AI 的“大脑”（训练数据和推理过程），发现：

AI 读过的书（训练数据）里，关于“谣言”的讨论，大多集中在“这个人很蠢”、“这个人不信科学”或者“这个人政治立场不对”上。
AI 很少读到关于“因为我的邻居都在转，所以我才转”这种社交互动的复杂描述。
所以，AI 学会了刻板印象：它认为谣言传播主要是个人的“性格缺陷”导致的，而忽略了“社交环境”的影响。

💡 结论：AI 能替代真人做调查吗？

答案是：不能直接替代，但可以用来“找茬”。

❌ 不能替代：如果你想知道真实的谣言传播规律，千万别只用 AI。因为它会高估个人性格的作用，低估社交网络的作用，导致你得出错误的结论（比如以为只要教育好个人就能消灭谣言，而忽略了群体效应）。
✅ 可以用来“找茬”：AI 是一个很好的诊断工具。如果你发现 AI 模拟的结果和真人数据不一样，这种差异本身就很有价值。它提醒我们：现实世界中有哪些复杂的社交因素，是我们之前可能忽略的？

📝 一句话总结

AI 就像一个“过度理性的书呆子”，它太相信个人的性格决定了行为，却完全不懂“近朱者赤”的社交魔法。用它来模拟人类做调查，就像用一张只有黑白两色的照片去还原五彩斑斓的世界——大轮廓像，但细节全错了。

这是一篇关于大型语言模型（LLM）在模拟虚假信息易感性（Misinformation Susceptibility）时存在的偏差的学术论文。该研究由南加州大学（USC）的学者完成，旨在评估 LLM 作为人类调查受访者的代理（Proxy）在复现人类对虚假信息的信念和分享行为模式方面的有效性。

以下是该论文的详细技术总结：

1. 研究问题与背景 (Problem & Background)

背景：随着 LLM 的发展，它们被广泛用于计算社会科学中，作为模拟人类判断的代理，特别是在社交网络和虚假信息传播的研究中。然而，LLM 是否能准确复现人类对虚假信息的**信念（Belief）和分享意愿（Sharing）**之间的复杂关系尚不清楚。
核心问题：
- LLM 能否复现人类对虚假信息信念和分享的实证分布？
- LLM 能否恢复社会预测因子（如人口统计、态度、行为、个人网络）与虚假信息易感性之间的关联结构？
- LLM 在估计特定特征对易感性的影响时，是否表现出系统性偏差？
现有局限：以往研究多关注人口统计或心理特征，往往忽略了个人网络结构（如讨论伙伴、网络密度）对虚假信息传播的关键作用。此外，LLM 是否过度依赖某些刻板印象而忽略社会情境，仍需验证。

2. 方法论 (Methodology)

研究采用“基于真实数据的模拟”方法，将 LLM 生成的响应与真实的人类调查数据进行直接对比。

数据集：使用了三个不同领域的在线调查数据集作为“地面真值”（Ground Truth）：
1. 公共卫生（美国，2023）：涉及疫苗、慢性病等 5 条虚假信息。
2. 气候变化（美国，2025）：涉及气候变化的 3 条基于图片的虚假信息（转为文本描述）。
3. 大流行政治（韩国，2020）：涉及新冠疫情期间的 5 条政治化虚假信息。
变量特征：每个受访者档案包含四类特征：
- 人口统计（年龄、性别、教育等）。
- 态度与行为（政治倾向、科学信任度、媒体使用等）。
- 个人网络特征（讨论伙伴的属性、网络密度、关系强度等）。
- 结果变量：对虚假信息的信念程度和分享意愿。
实验过程：
- 将真实受访者的结构化档案（包含上述特征）输入 LLM，要求 LLM 扮演该受访者回答相同的信念和分享问题。
- 鲁棒性测试：尝试了不同的提示顺序（网络特征在前/在后）和复合分数（Composite Scores）提示，以排除提示工程的影响。
- 模型选择：测试了多种 LLM（包括推理模型和对话模型，如 GPT-4/5, DeepSeek, Grok, OLMo 等）。
分析步骤：
1. 分布相似性：使用 Jensen-Shannon 散度 (JSD) 和 Earth Mover's Distance (EMD) 比较分布。
2. 相关性分析：计算 LLM 响应与人类响应之间的斯皮尔曼等级相关系数。
3. 预测建模：使用 Elastic Net 回归模型，基于特征预测信念和分享，比较 $R^2$ （解释方差）和特征重要性。
4. 偏差检测：构建包含“模拟指示器”及其与特征交互项的混合模型，检测 LLM 与人类在特征效应估计上的系统性差异。
5. 归因分析：分析 LLM 的**思维链（Chain-of-Thought, CoT）**推理路径，并利用 OLMoTrace 工具分析训练数据中相关概念的共现模式，以解释偏差来源。

3. 关键发现与结果 (Key Results)

(1) 分布与相关性 (RQ1)

LLM 能够捕捉到人类对虚假信息信念和分享的宏观分布趋势，与人类响应存在中等程度的相关性。
然而，没有任何单一模型或提示策略在所有指标上表现最佳，且分布相似性因领域和模型而异。

(2) 信念与分享的耦合偏差 (RQ2)

过度耦合：在人类数据中，信念和分享虽然相关，但在概念和经验上是可分离的（例如，人们可能为了娱乐或身份表达而分享不信任的内容）。但在 LLM 模拟中，信念与分享表现出近乎单调的强相关（相关系数高达 0.75-0.95，而人类数据仅为 0.34-0.61）。LLM 未能复现这种“信念 - 分享”的解耦现象。

(3) 解释方差与特征重要性 (RQ2)

解释方差膨胀：基于 LLM 模拟数据拟合的回归模型，其 $R^2$ 值（解释方差）远高于基于人类数据的模型（有时高出近一个数量级）。这表明 LLM 的响应比人类行为更具确定性和可预测性，缺乏人类行为中固有的随机性和噪声。
忽视网络特征：
- 人类数据：态度/行为特征和个人网络特征对预测结果都有显著贡献。
- LLM 模拟：态度和行为特征（如政治倾向、科学信任度）占据了主导地位，而个人网络特征（如网络密度、讨论伙伴属性）的贡献被严重低估，甚至在移除网络特征后对模型性能几乎没有影响。

(4) 系统性偏差与归因 (RQ3)

特征效应偏差：LLM 对某些显著的态度和行为预测因子（如“科学信任度”、“政治倾向”）赋予了过高的权重，导致这些特征与易感性之间的关联被夸大。
偏差来源：
- 推理路径：分析 LLM 生成的思维链发现，LLM 在推理时频繁引用态度和行为变量，而极少提及网络相关属性。
- 训练数据：对开源训练语料（OLMo）的分析显示，态度/行为变量与“虚假信息”概念在文本中共现频率更高，且关联方向更明确。相比之下，网络结构特征在文本语料中较少以叙事形式与虚假信息直接关联。这导致 LLM 倾向于依赖训练数据中更“显性”的统计刻板印象，而难以处理需要关系推理的复杂网络结构。

4. 主要贡献 (Contributions)

系统性评估：首次系统性地评估了 LLM 在模拟虚假信息易感性时，是否复现了个人网络这一关键社会因素的作用。
揭示结构性偏差：发现 LLM 模拟存在特定的结构性偏差——过度强调个体态度，忽视社会网络结构，且错误地将信念与分享过度耦合。
方法论框架：提出了一套结合分布指标、预测建模、交互效应分析以及推理/训练数据溯源的综合评估管道，用于诊断 LLM 社会模拟中的偏差。
警示意义：指出 LLM 生成的响应虽然表面分布相似，但在关系结构和因果机制上存在根本性差异，不能直接替代人类数据用于研究社会互动和网络扩散。

5. 意义与局限性 (Significance & Limitations)

意义：
- 对于计算社会科学而言，该研究警告研究者不要盲目使用 LLM 替代人类受访者，特别是在研究社交网络、群体动力和人际影响时。
- 建议将 LLM 用于诊断性目的（识别系统性偏差）或探索已知强预测因子的表现，而非作为生成新社会机制的替代工具。
- 指出了当前基于文本的 LLM 在处理关系性、高阶、非叙事性（如网络结构）信息时的固有局限性，暗示未来需要结合图神经网络或显式关系归纳偏置的架构。
局限性：
- 数据来源于在线面板，可能存在样本代表性问题。
- 部分调查涉及图像或特定语言（韩语），在转换为文本提示时可能丢失模态或语言线索。
- 对偏差来源的分析（训练数据与推理）主要是描述性和探索性的，尚未建立严格的因果链条。

总结：该论文揭示了 LLM 在模拟人类对虚假信息的反应时，虽然能捕捉宏观趋势，但系统性地夸大了个体态度的作用，忽视了社会网络的影响，并错误地简化了信念与分享的关系。这些偏差源于 LLM 训练数据中的统计模式及其推理机制对显性文本特征的依赖，而非隐性的社会关系结构。因此，LLM 目前尚不足以完全替代人类数据用于复杂的社会行为模拟。