Emulating Aggregate Human Choice Behavior and Biases with GPT Conversational Agents

这是一份关于论文《Emulating Aggregate Human Choice Behavior and Biases with GPT Conversational Agents》（利用 GPT 对话代理模拟人类集体选择行为与偏差）的详细技术总结。

1. 研究问题 (Problem)

尽管大型语言模型（LLMs）已被证明能够复现众所周知的认知偏差，但现有的研究主要关注 LLM 在孤立提示（single-shot prompts）下是否表现出偏差。本文提出了一个更关键且未被充分探索的问题：

• LLM 能否在模拟环境中，不仅复现人类的认知偏差，还能像人类一样，根据上下文因素（如认知负荷）与偏差的相互作用来动态调整其决策行为？
• 具体而言，当 LLM 代理被赋予人类的人口统计信息和对话历史，并在模拟的对话环境中进行决策时，它们能否精准地预测个体层面的选择，并在群体层面复现偏差随情境（如对话复杂度）变化的模式？

2. 方法论 (Methodology)

研究采用“人类基准实验”与"LLM 模拟实验”相结合的两阶段方法。

2.1 人类基准实验 (Human Experiment)

• 参与者：N=1100（通过 Prolific 招募）。
• 实验设计：2（对话复杂度：简单 vs. 复杂）× 3（现状偏差条件：中性、现状 A、现状 B）的组间设计。
• 任务流程：
  1. 前序对话 (Prior Dialogue)：
     • 简单对话 (Simple)：低认知负荷，涉及熟悉的领域（如音乐、房地产）的简单是非题。
     • 复杂对话 (Complex)：高认知负荷，采用嵌套指代结构（Nested Referential Structure），要求参与者进行算术比较、记忆多个实体属性及其相互关系（如不同艺术家/房产的对比），模拟认知负荷。
  2. 决策场景 (Decision Scenarios)：基于 Samuelson & Zeckhauser (1988) 的经典现状偏差（Status Quo Bias）任务，包括三个领域：
     • 预算分配 (Budget Allocation)
     • 投资组合 (Investment Portfolios)
     • 大学工作选择 (College Jobs)
     • 通过聊天机器人呈现，将选项框定为“现状”或“非现状”。
  3. 测量指标：选择结果、NASA-TLX（主观认知负荷）、回忆任务（记忆准确性）、反应时间。
• 统计模型：使用广义线性混合效应模型 (GLMM) 分析现状框架对二元决策结果的影响。

2.2 LLM 代理实验 (Agent Experiments)

• 模型：使用 GPT-4.1, GPT-4.1-mini, GPT-5, GPT-5-mini。
• 输入数据：
  • 人类参与者的人口统计信息（年龄、性别、国家等）。
  • 人类参与者的完整对话记录（包含前序对话和决策场景）。
• 提示工程 (Prompting)：设计了三个“类人程度” (Human-Likeness, HL) 级别：
  • HL1 (最小化)：仅指示“你是研究参与者”。
  • HL2 (自然化)：指示“像人类一样自然回答”。
  • HL3 (显式偏差)：指示“像人类一样，易受认知偏差（如现状偏差）影响，避免过度思考”。
• 评估指标：
  • 个体层面：预测准确率（Precision），即 LLM 预测的个体选择是否与实际人类选择一致。
  • 群体层面：效应量（Cohen's h）的对比，评估 LLM 是否复现了人类在简单/复杂对话下的偏差强度变化模式。
  • 消融实验：移除人口统计信息、前序对话中的记忆/算术组件，以识别驱动偏差模拟的关键因素。

3. 关键贡献 (Key Contributions)

1. 建立了对话环境下的现状偏差人类基准：首次在聊天机器人交互的语境下，实证验证了现状偏差的存在，并量化了对话复杂度（认知负荷）对偏差强度的影响。
2. 揭示了 LLM 模拟偏差的情境敏感性：证明了 LLM 不仅能复现静态的偏差，还能在特定提示（HL3）下，模拟出偏差随认知负荷变化的动态模式（尽管这种模拟存在过拟合风险）。
3. 区分了“统计模式匹配”与“个体特异性线索”：研究发现，LLM 在个体层面的预测主要依赖于任务结构和通用模式，而非对话中细微的个体特异性线索（扰动人类回答并未显著降低预测准确率）。
4. 提出了提示工程对偏差模拟的影响：发现显式指示模型“表现出偏差”（HL3）会导致模型过度模拟偏差（产生假阳性），而中性提示（HL1/HL2）在复现人类真实偏差模式上更为精准。

4. 主要结果 (Results)

4.1 人类实验结果

• 现状偏差显著：在预算分配（Budget Allocation）和大学工作选择（College Jobs）场景中，现状框架显著增加了该选项的选择率（效应量 Cohen's h 分别为 0.79 和 0.47）。
• 认知负荷的影响：复杂对话显著增加了参与者的主观认知负荷（NASA-TLX 评分）和反应时间。然而，认知负荷并未显著改变现状偏差的强度（即 H2 假设被拒绝）。在复杂对话下，偏差依然存在，但并未像预期那样显著增强。
• 投资场景例外：投资组合场景未表现出显著的现状偏差，与部分早期研究一致。

4.2 LLM 模拟结果

• 个体预测精度：GPT-4.1 在 HL2（自然化）提示下达到了最高的个体预测精度（约 68.5%），显著高于随机猜测。
• 群体偏差复现：
  • HL1/HL2：LLM 能够以高精度（Precision ≈ 1.0）复现人类在简单和复杂对话中的偏差模式，没有产生假阳性。
  • HL3：当显式要求表现出偏差时，LLM 在所有场景（包括人类未表现出偏差的投资场景）中都表现出强烈的偏差，导致假阳性增加，精度下降至 0.67。这表明模型出现了“对齐过拟合”（Alignment Overfitting），即过度响应指令而非模拟真实人类行为。
• 情境交互模拟：
  • 在人类实验中，复杂对话并未改变偏差方向。
  • 在 HL1/HL2 下，LLM 未能准确捕捉这种“无变化”的模式（在某些场景下错误地预测了偏差变化）。
  • 在 HL3 下，LLM 反而在部分场景中（如 College Jobs）表现出了与人类相似的偏差增强趋势（z-score 为正），但这主要是因为模型在所有情况下都过度放大了偏差。
• 消融实验：
  • 仅输入决策场景（无前序对话）时，LLM 仍能产生偏差，但无法模拟对话复杂度带来的交互效应。
  • 前序对话中的算术和记忆组件对于模拟人类在复杂对话下的行为模式至关重要。
  • 扰动测试：将人类对话中的回答替换为随机文本，LLM 的预测精度仅轻微下降，说明模型主要依赖任务结构和通用模式，而非具体的个体对话线索。

5. 意义与启示 (Significance)

• 对 HCI 和 AI 系统的启示：LLM 可以作为模拟人类决策行为的有力工具，特别是在评估自适应系统时。然而，设计者必须警惕“提示过拟合”风险——即模型为了响应“表现出偏差”的指令而生成不真实的行为。
• 对行为建模的启示：LLM 擅长捕捉群体层面的统计规律（“人类倾向于做什么”），但在捕捉个体层面的细微决策倾向（“这个人会做什么”）方面仍有局限，主要受限于对话中个体特异性线索的稀疏性。
• 未来方向：
  • 需要更精细的提示策略来平衡“真实性”与“偏差模拟”。
  • 未来的研究应扩展到更多类型的认知偏差，并探索在更真实的、领域特定的对话（如医疗、金融）中验证这些发现。
  • 需要结合生理指标（如眼动、EEG）来更精确地测量认知负荷，以验证 LLM 模拟的准确性。

总结：该论文通过严谨的实证研究，证明了 GPT 类模型在模拟人类认知偏差方面具有巨大的潜力，但也揭示了其在处理上下文交互和个体特异性时的局限性。研究强调了在利用 LLM 进行行为模拟时，提示工程（Prompt Engineering）和实验设计的重要性。