想象一下，你正在雇佣一个非常聪明但有时会犹豫不决的机器人助手，来帮助你做出重要的决策，比如批准银行贷款或决定罪犯的刑期。这个机器人擅长数学，但它有一个“置信度计量器”。有时，它对答案百分之百确定；有时，它在瞎猜，它的置信度计量器也在摇摆不定。
这篇论文提出了一个重大问题：当机器人不确定时，我们该怎么办？
作者研究了人们处理这种“机器人不确定性”的两种常见方式，并解释了为什么其中一种在英国法律下比另一种更安全、更公平。
两种方法：“隐瞒真相” vs. “挥舞黄旗”
论文对比了处理机器人犹豫不决状态的两种策略：
1. 选择性弃权（“隐瞒真相”策略）
- 运作方式： 如果机器人的置信度计量器过低（它非常不确定），系统就会完全隐藏机器人的答案。它会告诉人类：“我不知道，你自己解决吧。”
- 类比： 想象一位老师在批改试卷。如果老师看到机器人对某个问题不确定，老师就把机器人的答案扔进垃圾桶，并说：“你，人类，在没有任何帮助的情况下自己批改这个题。”
- 问题所在： 论文认为这造成了一个不公平的“双轨制”系统。由于机器人训练数据中存在历史偏见，某些群体（如少数族裔或女性）往往更容易得到“摇摆不定”的答案。
- 结果： 这些群体的人会被送入“靠你自己”的轨道，面临更慢的处理速度和可能带有偏见的人类法官。而其他群体的人则能享受快速、一致的机器人答案。这就像是给一组人发了地图，却告诉另一组人“自己去找路”。
2. 选择性摩擦（“挥舞黄旗”策略）
- 运作方式： 系统始终显示机器人的答案，但如果机器人不确定，它会在答案旁边放一个巨大的黄色警告旗。它会说：“这是答案，但请小心，我对这个不太确定。”
- 类比： 老师仍然展示机器人的答案，但在上面贴了一张亮黄色的便利贴，上面写着：“注意：机器人在这里是在瞎猜！”人类仍然需要做最终决定，但他们拥有所有的信息以及一个提醒，让他们重新审视。
- 益处： 每个人都享有相同的流程。没有人被踢出“机器人辅助”的赛道。人类被提醒要运用自己的大脑，但他们并没有失去机器人的帮助。
为什么这很重要？（法律层面）
作者深入研究了英国法律（特别是《2010年平等法案》），以查看这些方法是否合法。
- “隐瞒真相”的方法具有风险。 尽管这条规则听起来很中立（“当机器人不确定时，我们会隐藏答案”），但它实际上会对特定群体造成更多伤害，因为这些群体更容易得到“不确定”的答案。论文认为这是间接歧视。这就像是一条看似中立的规则——“禁止任何留长发的人使用电梯”——但实际上却针对了特定群体。
- “黄旗”方法在法律上更安全。 它对待每个人的方式都是一样的（每个人都会得到答案 + 一个旗帜）。虽然在看到旗帜后人类仍有可能做出有偏见的决定，但系统本身并没有创造出一个针对某些人的、不公平的独立轨道。它更有可能通过“比例性”（即公平且必要）的法律测试。
人类因素：人们真的会听吗？
论文还警告说，仅仅设置一个黄色旗帜并不保证能产生完美的结果。
- “橡皮图章”问题： 人类通常很懒或者过度自信。他们可能会看到黄色旗帜，却忽略它，然后直接照抄机器人的答案。
- “过度修正”问题： 有时，人类看到黄色旗帜会感到害怕，于是拒绝了机器人的答案，即使那个答案其实是正确的。这会伤害到那些系统试图保护的人。
然而，论文的结论是，选择性摩擦（黄旗） 仍然是更好的选择。它让处于决策圈内的人掌握了所有信息，而“隐瞒真相”则是直接剥夺了信息，这是一种更大的损失。
总结
这篇论文并不是说 AI 是完美的，也不是说人类是完美的。它说的是：
- 不要仅仅因为机器人不确定就隐藏它的答案。 这会创造一个不公平的系统，让某些人掉队。
- 展示答案并附带警告。 让人类看到机器人的猜测和警告旗，这样他们才能做出更聪明、更公平的决定。
- 警惕偏见。 即便有了警告旗，人类仍可能做出不公平的选择，因此我们需要持续研究人类对这些旗帜的实际反应。
简而言之：不要因为担心水里的脏东西（不确定性），就把婴儿（机器人的帮助）也一起扔掉。相反，给婴儿贴上一个警告标签，然后让人类家长来做决定。
技术摘要：不平等的确定性：重新思考缓解人工智能歧视的算法干预措施
1. 问题陈述
本文探讨了在高风险决策（如消费信贷和刑事司法）中使用的预测不确定性所带来的法律与伦理风险。虽然机器学习（ML）模型通常表现出相似的总体性能，但预测不确定性往往在不同人口统计群体之间分布不均，由于数据稀疏性或历史偏差，这种不确定性往往集中在代表性不足的人口中。
核心问题在于如何在不加剧歧视的情况下管理这种不确定性。作者分析了两种旨在作为人类-AI交互“护栏”的常见算法干预措施：
- 选择性弃权（Selective Abstention）： 当不确定性超过阈值时，向人类决策者隐藏模型预测，迫使决策仅基于未经辅助的人类判断。
- 选择性摩擦（Selective Friction）： 向人类决策者展示模型预测，但在不确定性较高时附带警告（例如“黄牌”），从而在不移除预测的情况下促使人类进行反思。
本文认为，尽管这些干预措施旨在减轻错误，但它们可能会无意中产生违反英国法律的非法歧视，特别是通过创造程序性不对称，导致代表性不足的群体不成比例地承受未经辅助的人类判断或有偏见的覆盖（overrides）。
2. 研究方法
作者采用了一种结合正式技术定义、教义性法律分析和案例研究应用的混合方法。
2.1 正式定义与假设
- 任务： 二元分类 (y^∈{0,1})，其中模型 f 为输入 x 预测标签。
- 不确定性度量： 作者使用香农熵 (H(p^)) 来量化预测不确定性，其中 p^ 是模型的预测概率。熵在预测确定时为 0，在最大不确定性（p^=0.5）时为 1。
- 干预阈值： 设置一个阈值 τ，如果 H(y^)≥τ，则触发干预。
- 校准假设： 假设模型在总体层面是经过良好校准的，但在特定人口统计子群体内部可能校准较差（组内校准失效）。这会导致不同群体之间的熵值存在系统性差异。
- 人类决策者： 被建模为函数 r(x)（未经辅助）或 r(x;f(x))（经辅助）。本文假设决策者可能存在认知偏差，如自动化偏差（过度依赖）或不当的覆盖行为。
2.2 案例研究
这些干预措施被应用于两个特定领域，以分析对受影响群体的影响：
- 消费信贷： 预测贷款违约风险。研究考察了弃权或摩擦如何影响代表性不足群体的贷款审批/拒绝率及处理时间。
- 再犯风险： 预测刑事司法中的累犯可能性。研究分析了判刑结果（严厉型 vs 轻微型）以及公共部门平等义务（PSED）的影响。
2.3 法律框架
分析基于英国法律，特别是：
- 《2010年平等法案》（The Equality Act 2010）： 分析直接歧视和间接歧视，重点关注干预是否构成一种将受保护群体置于特定劣势地位的“规定、标准或做法”（PCP）。
- 公共部门平等义务（PSED）： 针对公共机构的第 149 条义务。
- 数据保护法： 英国 GDPR 以及新提议的《2025年数据（使用与访问）法案》（DUAA），特别是关于“有意义的人类参与”和纯自动化决策的相关规定。
3. 主要贡献
本文做出了两个主要贡献：
- 教义性法律分析： 提供了针对不确定性驱动的算法干预措施在英国法律下的首次教义性分析。它证明了形式上中性的不确定性阈值可能会产生歧视性后果，特别是在间接歧视的框架下。
- 干预措施的比较评估： 作者认为选择性摩擦在法律上优于选择性弃权。虽然两者都存在风险，但摩擦保留了获取模型预测的途径，并且更有可能满足《平等法案》要求的比例原则测试。
4. 结果与分析
4.1 选择性弃权的分析
- 机制： 当不确定性较高时，模型预测被隐藏，人类在没有 AI 辅助的情况下做出决策。
- 歧视风险： 由于代表性不足的群体通常具有较高的预测不确定性（由于数据偏差），他们会被不成比例地引导至“未经辅助”的决策路径。
- 法律发现： 这造成了程序性不对称。来自受保护群体的申请人面临更长的处理时间和个体人类判断的变异性，而其他申请人则接受标准化的 AI 辅助决策。作者认为这构成了《平等法案》下的间接歧视。由于存在更少歧视性的替代方案（如重新校准或摩擦）且这些方案不会丢弃模型信息，因此弃权很难被证明是“符合比例”的。
- 结果： 弃权并未消除歧视风险；它只是将不确定性的负担转移到了特定群体身上。
4.2 选择性摩擦的分析
- 机制： 模型预测始终显示，但高不确定性的预测会附带一个警告标志。
- 歧视风险： 风险在于人类如何解读该标志。如果决策者（如贷款官员或法官）系统性地以与受保护特征相关的方式（例如，拒绝带有警告标志的少数族裔申请人）覆盖不确定的预测，则会发生歧视。
- 法律发现： 选择性摩擦被认为比弃权更不容易被判定为违法。它保留了“AI 辅助”决策的性质，避免了双轨制。它更有可能满足比例性要求，因为它是实现减少错误这一合法目标的一种较少限制性的手段。然而，其合法性取决于是否有经验证据表明它在实践中不会系统性地恶化受保护群体的结果。
- 人类参与： 在拟议的 DUAA 2025 下，摩擦可能满足“有意义的人类参与”的要求，从而可能豁免决策免受更严格的自动化决策监管。然而，作者警告说，如果人类在看到标志后仍只是机械地批准模型结果，这可能导致“象征性”合规。
4.3 案例研究场景
论文概述了信贷和判刑领域的四种场景：
- 一致（不确定 → 不利）： 人类同意不确定的负面预测。风险在于对有偏见模型的过度依赖。
- 覆盖（不确定 → 不利）： 人类覆盖了不确定的正面预测，从而给出不利结果。这被识别为最令人担忧的场景，因为人类的偏见可能会覆盖模型（可能更中立的）建议。
- 一致（不确定 → 有利）： 人类同意不确定的正面预测。
- 覆盖（不确定 → 有利）： 人类覆盖了不确定的负面预测，从而给出有利结果。虽然理论上有利，但经验证据表明，覆盖行为并不会系统性地使代表性不足的群体受益。
5. 重要性与主张
本文声称其重要性在于首次将英国法律教义严格应用于基于不确定性的干预措施。其核心论点是：技术上的中性（使用熵阈值）并不保证法律上的中性。
- 法律偏好： 作者得出结论，从法律合规的角度来看，选择性摩擦是更优的设计选择，因为它维持了人类与 AI 协作的完整性，并避免了弃权所固有的程序性劣势。
- 经验不确定性： 本文明确指出，选择性摩擦在实践中是否能改善决策质量仍是一个开放性的经验问题。这取决于决策者的培训、不确定性估计的校准以及制度文化。
- 未来工作： 作者指出，需要进行实证研究，以了解不确定性标志是否会引发不同人口统计群体之间不同的覆盖率，以及进行技术研究，探讨群体特定的校准是否可以减轻这些干预措施的不对称影响。
本文并非声称基于不确定性的干预措施本质上是非法的，而是强调其执行过程必须受到仔细审查，以确保不会因不成比例地加重受保护群体的负担而违反《平等法案》。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。