💻 computer science

Evaluating Prediction-based Interventions with Human Decision Makers In Mind

本文将人类在预测系统辅助下的各种决策模型形式化，旨在展示认知偏差和主体间依赖如何违反标准实验假设，从而损害自动化决策系统评估中因果效应估计的准确性。

原作者： Inioluwa Deborah Raji, Lydia Liu

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Inioluwa Deborah Raji, Lydia Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚一个新的“智能助手”（比如 GPS 或拼写检查器）是否真的能帮助人类做出更好的决策。你想进行一项测试，看看这个助手是否改变了结果。

这篇论文认为，大多数目前的测试都存在缺陷，因为它们把人类决策者视为一种每次反应都完全相同的机器人。而实际上，人类是复杂、感性且受测试设置方式影响的。

以下是使用日常类比对该论文主要观点的拆解：

1. 问题所在：“机器人”假设

论文的主张： 大多数实验假设，如果你向一个人展示一个预测（例如风险评分），他们的反应是一种固定的性格特征。他们认为：“法官 A 总是忽略电脑，而法‌ها B 总是听从。”
类比： 想象你在测试一种新型咖啡。你假设如果给 A 一个人一杯咖啡，无论如何他都会喝下去。但实际上，如果 A 感到疲倦，他可能会喝；但如果他已经饱了，他可能会忽略它。他们的反应取决于语境，而不仅仅是他们的性格。

作者指出，当我们测试这些用于刑事司法或医疗保健领域的“智能助手”时，我们经常忘记人类的反应会随着实验设计而改变。

2. 人类被测试“欺骗”的三种方式

论文提出，人类对算法的倾听程度会根据实验人员控制的三个特定因素而变化。可以将这些视为人类进入的三种不同“情绪”：

情绪 1：“熟悉度”效应（处理暴露）
- 定义： 如果人类经常看到算法的建议，他们会开始信任并遵循它。如果他们只是偶尔看到，他们可能会忽略它或感到困惑。
- 类比： 想象一个新安装的红绿灯。如果你每天都看到它，你最终会自动停下或行驶。如果你一个月才看到一次，你可能会忘记看它，或者认为它坏了。红绿灯的频率改变了你的驾驶方式，而不仅仅是红绿灯本身。
- 论文的观点： 如果实验只是随机地在 50% 的案例中展示该工具，人类可能无法习惯它，从而导致结果微弱。如果他们 100% 的时间都能看到它，他们可能会更加依赖它，从而显示出更强的效果。
情绪 2：“不堪重负”效应（容量限制）
- 定义： 如果算法频繁大喊“危险！”（预测高风险），人类会对警告感到厌烦，甚至开始忽略那些真实的警告。
- 类比： 想象一个烟雾报警器，每当你烤面包时就会响。久而久之，你会完全不再理会它，即使真的发生了火灾。如果算法预测“高风险”过于频繁，法官就会停止倾听。
- 论文的观点： 如果实验设置的算法非常“谨慎”（频繁预测风险），人类可能会对此失去兴趣，从而使该工具看起来毫无用处。
情绪 3：“狼来了”效应（低信任度）
- 定义： 如果人类看到算法犯错，他们就会停止信任。
- 类比： 如果你的 GPS 告诉你向左转，但你知道那里有一堵墙，那么你就会不再信任这个 GPS。如果算法经常出错，人类就会不再遵循它的建议。
- 论文的观点： 如果实验使用的模型准确性不高，人类就会忽略它，使得这项干预措施看起来无效。

3. 重大错误：“溢出”问题

论文的主张： 在标准科学中，我们假设 A 发生的事情不会影响 B。这被称为“稳定单位处理值假设”（SUTVA）。
类比： 想象你在测试一种新的减肥药。你假设 A 服用药物并不会改变 B 对药物的反应。
现实情况： 在这篇论文中，“药”就是算法。因为人类（法官）是为许多不同的案件做决策的同一个人，所以发生在“案例 #1”上的情况会改变他们对待“案例 #2”的方式。

如果他们连续看到算法对了 10 次，他们在案例 #11 中就会信任它。
如果他们看到算法错了 10 次，他们在案例 #11 中就会忽略它。

这意味着决策是相互关联的。论文证明，由于这些决策是相互关联的，用于计算“这个工具是否有帮助”的标准数学方法是失效的。它经常低估或高估了工具的实际帮助程度。

4. 解决方案：改变我们的测试方式

作者使用来自一项法院研究（法官使用风险评分）的真实数据进行了模拟。他们表明，如果你改变分配案例的方式：

场景 A： 给法官 1 提供 50% 的案例算法，同时给法官 2 提供 50% 的案例算法。
场景 B： 给法官 1 提供 100% 的案例算法，而给法官 2 提供 0% 的案例算法。

尽管总案例数量相同，但结果却大不相同。

在“熟悉度”模型中，场景 B（一直展示它）使该工具看起来更有效。
在“不堪重负”模型中，场景 B 使该工具看起来效果更差，因为法官对警告感到厌烦。

总结

这篇论文是对科学家和政策制定者的一个警告：你不能用测试机器人的方式来测试人类-AI 团队。

如果你想知道一个 AI 工具是否真的能帮助法官、医生或教师，你必须精心设计你的实验。你必须考虑到人类会习惯工具、会对警告感到厌烦，以及如果工具出错会失去信任。如果你忽略了这些人类的特性，你的测试结果将会是错误的，你可能会误以为一个有用的工具毫无用处（或反之亦然）。

技术摘要：以人类决策者为核心评估基于预测的干预措施

问题陈述

自动化决策系统（ADS）正越来越多地被部署于刑事司法、医疗保健和教育等具有重大影响的场景中，以支持人类决策。虽然机器学习研究通常侧重于根据基准数据集评估预测模型的准确性，但这些评估未能捕捉到人类与算法之间复杂的交互作用。具体而言，现有的用于评估基于预测的干预措施的实验设计，依赖于对人类决策过程的简化假设来推导因果估计。

识别出的核心问题是：特定的实验设计选择会诱发人类决策者的认知偏差，从而显著改变观察到的效应值。现有的范式通常假设一个“案例独立”模型，即一个决策对象的处理状态不会影响另一个对象（遵循稳定单位处理值假设，即 SUTVA）。然而，本文指出，人类决策者（例如法官）拥有会随着接触算法建议而演变的内部状态，这产生了决策对象之间的依赖关系，从而违反了 SUTVA，并导致处理效应估计出现偏差。

研究方法

理论框架

作者提出了一个全新的算法辅助人类决策因果模型，该模型明确考虑了决策者的内部状态。不同于标准的案例独立模型，该框架通过决策对象（ $i$ ）和决策者（ $k$ ）两个维度对决策进行索引。

该模型引入了两个潜在变量：

$J_{i,k}$ ：法官 $k$ 对处理单元 $i$ 的响应程度，代表法官遵循算法建议的概率。
$\epsilon_{i,k}$ ：从参数为 $J_{i,k}$ 的伯努利分布中抽取的随机变量，表示法官是否遵循建议。

决策函数 $D_{i,k}$ 被定义为法官的默认决策 $\lambda_k(X_i)$ 与受 $J_{i,k}$ 调节的算法建议 $\bar{D}(\hat{Y}_i)$ 的函数。

认知偏差模型

论文形式化了三种特定的认知偏差模型，这些模型使得法官的响应度（ $J_{i,k}$ ）是动态的，并取决于实验设计选择：

处理暴露模型（Treatment Exposure Model）： 随着平均暴露于预测辅助的信息量增加，响应度会提高。法官可能会依赖一致的信息，而不是为每个案例调整协议，从而在频繁暴露后产生更高的合规性。
容量约束模型（Capacity Constraint Model）： 随着正向（高风险）预测率的增加，响应度会降低。在高度敏感的环境中，决策者可能会达到一个阈值，在此之后对进一步的“高风险”警报反应度降低。
低信任模型（Low Trust Model）： 随着观察到的算法错误率增加，响应度会降低。如果法官观察到实现的结局并检测到预测错误（例如假阳性），其信任度和随后的合规性会降低。

实验分析

作者在数学上证明了，在这些模型下，决策 $D_{i,k}$ 在给定当前处理 $Z_{i,k}$ 的情况下，与先前的处理分配 $(Z_{1,k}, \dots, Z_{i-1,k})$ 不是条件独立的。这构成了对 SUTVA 的违反。

为了展示其实际影响，论文对比了两种随机化方案：

均匀随机化（Uniform Randomization）： 在个体层面进行案例随机化（单层级），导致每个法官面临混合的处理暴露。
两层随机化（Two-Level Randomization）： 将法官随机分配到处理集群中（例如，一个法官看到 100% 的处理案例，另一个则为 0%），从而创建截然不同的暴露剖面。

半合成实验

作者使用来自 Imi et al. [2020] 关于威斯康星州丹县公共安全评估（PSA）风险评分的真实世界随机对照试验（RCT）数据，验证了其理论发现。他们模拟了多个法官，并应用上述三种偏差模型来生成替代的决策序列。他们观察了修改实验设计选择（处理分配、模型阈值和准确性）如何改变平均处理效应（ATE）的估计。

核心贡献

响应度的动态形式化： 本文不再将法官的响应度视为一种静态的、固有的属性，而是将其形式化为处理分配（ $Z$ ）、模型正向预测率（ $P(\hat{Y}=1)$ ）和模型正确性（ $P(\hat{Y}=Y)$ ）的动态函数。
SUTVA 违反的证明： 作者通过数学证明，所提出的行为模型会导致决策对象之间的干扰，从而违反了因果推断中常用的 SUTVA 假设。这使得假设独立的标准估计器失效。
演示估计偏差： 论文表明，取决于激活的特定偏差模型，标准随机化方案（单层级）可能导致对平均处理效应（ATE）的显著低估或高估。例如，在处理暴露模型下，均匀随机化会低估 ATE；而在容量约束模型下，它可能会高估 ATE。
实证模拟： 通过基于 Imai et al. [2020] 的半合成实验，作者展示了修改设计选择（如改变每个法官的处理比例或算法阈值）如何使特定人口统计学子群体的因果效应估计值发生高达 10 倍的变化。

结果

SUTVA 违反： 理论分析确认，当法官的响应度取决于历史暴露时，一个案例的处理状态会影响同一法官处理的后续案例。以往研究（如 Imai et al., 2020）中使用的置换检验无法检测到这种干扰，因为它们保持了平均处理比例，使得案例顺序对检验统计量而言变得无关紧要。
偏差方向性：
- 处理暴露： 与两层随机化相比，均匀随机化会导致处理效应被低估。随着法官对过去暴露的敏感度增加以及默认决策与建议决策之间的差异增大，这种差距会进一步扩大。
- 容量约束： 均匀随机化会导致处理效应被高估。随着正向预测率的提高，这一差距也会随之增加。
- 低信任： 较低的算法准确性会导致响应度降低，从而导致处理效应被低估，尤其是在影响决策正确性的衡量指标方面。
模拟发现： 在半合成实验中，改变处理暴露机制（例如，将 100% 的案例分配给一名法官 vs. 50%）导致测得的 ATE 出现了显著偏差。具体而言，对于非白人女性受试者，估计的因果效应在不同暴露机制下的差异达到了 10 倍。

意义与主张

本文声称，由于忽视了人类决策的动态性质，基于干预的评估方案在评估 ADS 部署时的科学有效性目前正受到威胁。如果研究人员将基于预测的干预措施视为孤立的预测问题而非政策干预，则面临着得出错误结论的风险。

作者认为，未来的实验设计必须将“人类在环”（human-in-the-loop）视为一个受其自身实验塑造的动态主体。他们建议：

当旨在估计作为全面政策部署的预测系统的因果影响时，标准的单层级随机化是不够的。
必须采用两层随机化设计（在决策者层面进行随机化）或多因子设计，才能在存在法官偏差的情况下准确估计处理效应。
这些发现不仅适用于刑事司法，还扩展到了医疗保健和教育等其他领域，在这些领域中，类似的认知偏差和干扰效应很可能同样存在。

这项工作旨在呼吁研究界改进实验范式，使其更好地反映人类-算法交互的现实，从而确保因果估计能够真实反映预测干预对下游结果的影响。