Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects

该研究通过对比五种大语言模型在司法量刑场景下的表现，发现模型虽表现出类似人类的“美德受害者”偏见且对“相邻同意”缺乏显著惩罚，但在职业、公司及学历光环效应上比人类偏见更弱（其中学历光环效应减弱尤为明显），表明尽管当前模型尚不足以直接用于司法决策，但其在减少部分偏见方面已展现出优于人类的潜力。

要点

这篇论文就像是在给未来的“电子法官”做一场压力测试。

想象一下，我们正站在法庭门口，手里拿着两个选择：一个是经验丰富的人类法官，另一个是刚刚上线的超级 AI 法官（也就是大语言模型，LLM）。我们最担心的是：AI 会不会像人类一样，因为一些不相关的“小细节”而偏心？比如，因为受害者长得可怜就判得更重，或者因为被告是大公司老板就手下留情？

为了搞清楚这一点，作者 Sierra S. Liu 设计了一场精彩的“模拟法庭实验”，让 5 个最火的 AI 模型（ChatGPT、DeepSeek、Claude、Gemini 等）扮演法官，去审理一些精心设计的虚拟案件。

以下是这篇论文的“大白话”版解读：

1. 实验设计：给 AI 出“脑筋急转弯”

作者没有直接问 AI 怎么判案，而是像变魔术一样，给 AI 出了几组几乎一模一样，但有一个关键细节不同的题目。这就像是在做科学实验，只改变一个变量，看看 AI 的反应会不会变。

他们主要测试了两个著名的“人类偏见”：

• 测试一：“完美受害者”效应 (Virtuous Victim Effect)

  • 场景 A（小伤害）： 一个学生借 iPad 给同学，结果同学把 iPad 弄坏了。
  • 场景 B（大伤害）： 一个女生在派对上被男生性侵。这里有个关键变体：如果女生之前同意过亲密行为，但后来反悔了，男生却强行继续，AI 会怎么想？
  • 人类的问题： 人类法官往往觉得，如果受害者之前“同意”过（哪怕后来反悔了），他们就不那么“无辜”了，甚至会觉得受害者也有点责任。这就是“完美受害者”陷阱。
  • AI 的表现： 好消息是，AI 没有掉进这个陷阱！ 无论受害者之前是否同意，AI 都觉得受害者是清白的，没有因为“之前同意过”就降低对受害者的同情。这点上，AI 比人类更“铁面无私”。

• 测试二：“光环效应” (Halo Effect)

  • 场景： 给被告贴上不同的“标签”。
    • 公司光环： 被告是普通小公司 vs. 高盛（顶级投行）。
    • 职业光环： 被告是医生 vs. 前台接待员。
    • 学历光环： 专家证人是耶鲁大学 vs. 普通州立大学。
  • 人类的问题： 人类法官容易“看人下菜碟”。如果被告是大公司、医生或名校教授，人类往往判得轻一点，或者觉得他们更可信。
  • AI 的表现：
    • 公司光环： AI 还是会偏袒大公司，但偏袒的程度比人类轻。人类觉得大公司该赔 3 倍，AI 平均只判了 1.5 到 2 倍。
    • 职业光环： 结果有点乱。有的 AI 像人类一样偏袒医生，有的则完全没反应，甚至有的判得比人类还奇怪。
    • 学历光环： 这是最大的惊喜！人类非常迷信名校专家，但 AI 对“耶鲁”和“州立大学”的区别几乎无感。AI 不会因为专家来自名校就轻易相信他。

2. 核心发现：AI 是“更公平的法官”还是“更奇怪的法官”？

• 优点：AI 在某些方面确实更公平。
  它不会像人类那样，因为受害者“不够完美”（比如之前同意过）就指责受害者；它也不太迷信名校光环。在这个意义上，AI 像是一个没有偏见、只看事实的机器人。

• 缺点：AI 太“情绪化”且“不稳定”。

  • 过度同情： 在“受害者”测试中，AI 对人类道德的评价普遍比人类高。人类觉得受害者道德分是 7 分，AI 觉得是 8.5 分。AI 似乎有点“圣母心”，过度美化受害者。
  • 像掷骰子： 这是最可怕的地方。如果你让同一个 AI 法官同一个案子判 10 次，它可能第一次判赔 2000 万，第二次判赔 200 万。这种不稳定性在法庭上是致命的。人类法官虽然也有偏见，但至少相对稳定；而 AI 今天的判决可能和明天的完全不同。
  • 模型差异大： 就像让 5 个不同的人当法官，结果天差地别。有的 AI（如 ChatGPT Instant）比较稳，有的（如 Gemini）简直像喝醉了，判罚金额忽高忽低。

3. 结论：现在能请 AI 当法官吗？

答案是：暂时还不能，但未来有希望。

• 现在的状态： 就像让一个刚学会走路的超级天才小孩去当法官。他可能比大人更讲道理（没有某些偏见），但他情绪不稳定，今天高兴判你无罪，明天不高兴判你重刑。这种不可预测性在司法系统中是绝对不允许的。
• 未来的潜力： 如果能把这些 AI 的“情绪”修好，让它们学会“稳定输出”，它们可能会成为法官的超级助手。比如，当人类法官因为太累（“饥饿法官”效应）或者太迷信名校而判偏了时，AI 可以跳出来提醒：“嘿，法官，这个案子其实和那个大公司的案子事实一样，您判重了哦。”

总结比喻

如果把司法系统比作一场篮球比赛：

• 人类法官是经验丰富的老裁判，但有时候会因为太累、太饿，或者因为球员长得帅、名气大（光环效应）而吹错哨。
• AI 法官是一个没有感情但有点神经质的机器人裁判。它不会因为球员名气大就偏袒，也不会因为受害者“不够完美”就吹黑哨。但是，它有时候会突然发疯，同一个动作，上一秒吹犯规，下一秒吹进球，而且不同型号的机器人裁判（ChatGPT vs Gemini）吹哨标准完全不一样。

这篇论文告诉我们： 别急着把裁判权交给 AI，但我们可以把 AI 训练成最犀利的**“裁判助理”**，帮人类法官发现那些连自己都意识不到的偏见。

技术摘要

论文技术总结：评估大语言模型在司法决策支持中的认知偏差（“美德受害者”与光环效应）

1. 研究背景与问题 (Problem)

司法判决的公平性长期以来受到认知偏差的威胁。人类法官和陪审团容易受到无关因素（如被告的外貌、社会地位、受害者是否有“前科”或“同意”历史等）的影响，导致判决不公。

• 核心问题：大型语言模型（LLMs）作为潜在的司法辅助工具，是能够比人类更一致、更少偏见，还是会复制甚至放大人类既有的认知偏差？
• 研究焦点：本文重点考察两种与司法高度相关的认知偏差：
  1. 美德受害者效应 (Virtuous Victim Effect, VVE)：倾向于认为受害者比非受害者道德更高尚。特别关注当存在“相邻同意”（adjacent consent，即受害者曾有过同意行为但随后被侵犯）时，这种效应是否会减弱（人类研究中，受害者常因“同意”历史而受到指责，道德评价降低）。
  2. 基于声望的光环效应 (Prestige-based Halo Effect)：被告或证人的社会地位（公司声望、职业声望、学历资历）如何影响对其罪行或可信度的判断。

2. 研究方法 (Methodology)

2.1 实验对象

研究评估了五个具有代表性的 LLM 模型：

• ChatGPT 5 Instant
• ChatGPT 5 Thinking
• DeepSeek V3.1
• Claude Sonnet 4
• Gemini 2.5 Flash

2.2 实验设计

• 情境设计 (Vignettes)：基于现有心理学文献设计案例，但修改了具体细节（人名、数值、背景）以防止模型直接检索训练数据中的记忆。
• 控制变量：在每组实验中，仅改变一个关键变量（如受害者身份、同意状态、公司类型、职业、证人学历），保持其他所有细节一致。
• 评估指标：
  • VVE：在 9 点李克特量表上评估受害者的“道德品格”和“可信度”。
  • 光环效应：评估赔偿金额（公司声望）、刑期长度（职业声望）或死刑判决可能性（证人资历）。
• 运行设置：每个提示词在独立会话中运行 10 次，取有效输出的平均值。若模型拒绝回答或输出非数值，则记录为 N/A。

2.3 基准对比

将 LLM 的结果与人类基准（Human Benchmarks）进行对比。人类基准数据来自已发表的心理学和法学实证研究（例如：人类在相邻同意情境下对受害者的道德评分下降约 1 分；高声望公司被判赔偿额通常是普通公司的 3 倍等）。

3. 主要发现 (Key Results)

3.1 美德受害者效应 (VVE)

• 总体趋势：所有模型均表现出比人类更强的 VVE。即模型倾向于给予受害者更高的道德评价，且这种提升幅度普遍高于人类基准（人类平均提升 0.5 分，部分模型如 Gemini 2.5 Flash 提升了 1.9 分）。
• 相邻同意 (Adjacent Consent)：
  • 人类基准：当受害者有“相邻同意”历史时，其道德评价会显著下降（惩罚效应）。
  • LLM 表现：模型未表现出这种惩罚效应。无论是否存在相邻同意，模型对受害者的道德评分基本一致（差异为 0 或极小）。这表明模型没有复现人类对受害者的“指责受害者”偏见。

3.2 光环效应 (Halo Effect)

• 公司声望 (Corporate Prestige)：
  • 模型表现出光环效应（高声望公司被判赔偿更多），但幅度小于人类。
  • 人类基准：高声望公司赔偿额约为普通公司的 3 倍。
  • 模型表现：平均偏差减少约 25%（倍数在 1.57 到 3.02 之间）。
  • 问题：模型输出方差极大（例如 Gemini 2.5 Flash 的赔偿额波动从 2000 万到 3.25 亿），缺乏一致性。
• 职业声望 (Occupational Prestige)：
  • 结果混合。DeepSeek V3.1 表现出类似人类的偏见（高声望职业刑期更长，约多 12 个月），但其他模型差异不明显或方向不一致。
  • 总体而言，模型的平均偏差小于人类基准（人类基准为 8 个月）。
• 资历声望 (Credential Prestige)：
  • 显著改善：模型在证人资历对死刑判决的影响上，表现出大幅减少的偏见。
  • 人类基准：高资历证人（常春藤盟校）使死刑可能性增加 1.5 分。
  • 模型表现：差异极小（0.1 到 0.6 分），表明模型受证人学历声望的影响远小于人类。

3.3 模型间差异

• ChatGPT 5 Instant：表现最一致，被认为是“最公平”的法官。
• Gemini 2.5 Flash：表现最差，方差最大，且在多个场景中排名靠后。
• Claude Sonnet 4：在部分涉及性暴力的场景中拒绝回答（Refusal），导致数据缺失。

4. 关键贡献 (Key Contributions)

1. 首创性评估：这是第一篇系统评估 LLM 在司法语境下“美德受害者效应”和“声望光环效应”的论文。
2. 偏差的双面性：
   • 积极面：LLM 在消除“受害者有罪论”（相邻同意偏见）和降低“资历/声望偏见”方面，表现优于人类。
   • 消极面：LLM 表现出比人类更强烈的“过度保护受害者”倾向（VVE 增强），且输出结果存在巨大的随机性（方差大），这可能导致新的不公。
3. 方法论验证：证明了通过精心设计的、去记忆化的情境测试（Vignettes），可以有效隔离并测量 LLM 的特定认知偏差。

5. 意义与局限性 (Significance & Limitations)

意义

• 司法辅助潜力：LLM 有潜力作为“偏见检测器”或辅助工具，帮助法官识别并减少人类特有的某些认知偏差（如过度看重证人学历或受害者过往行为）。
• 公平性改进：在特定领域（如资历偏见），AI 可能比人类更客观。

局限性与挑战

• 输出不一致性：模型在不同运行间（Run-to-run variability）的结果波动极大，这在需要确定性的司法判决中是不可接受的。
• 过度偏差风险：虽然减少了某些偏见，但 LLM 放大了“同情受害者”的倾向，这可能导致“同情疲劳”或将受害者简化为单一维度的“无辜者”，反而损害司法的客观性。
• 拒绝回答：部分模型在处理敏感话题（如性侵犯）时频繁触发安全机制拒绝回答，限制了其实用性。
• 模型差异：不同模型表现差异巨大，目前尚无单一模型能完全胜任司法辅助工作。

结论

尽管 LLM 在减少部分人类认知偏差方面显示出希望，但由于其输出方差大、VVE 过强以及模型间的不一致性，目前尚不具备直接用于司法判决支持的成熟度。未来的研究需要扩大数据集、测试更多偏差类型，并探索如何缓解 LLM 自身的偏差放大问题。