Counterfactual Explanations and the Scope of Contestability
本文认为，通过将可争辩性定义为要求撤销决策的权利、分析此类解释如何有助于检测算法错误，并提出一种多轮查询方法以增强其有效性，反事实解释可以恢复自动化决策中的代理权。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，计算机越来越多地在做出影响我们生活的重大决策。它们决定了谁能获得贷款、谁能获得工作机会，以及谁能获得医疗护理。这些系统通常以“黑箱”模式运行，这意味着它们的内部逻辑极其复杂，以至于即使是构建这些系统的开发者也无法轻易解释某个特定选择是如何做出的。这种不透明性造成了人类主体性的问题：如果我们不知道决策背后的原因，那么当我们认为决策错误时，就无法有效地对其提出质疑。为了解决这个问题，许多专家提出了“解释权”的概念，即当算法拒绝我们时，它必须告知我们原因。提供这类解释的一种流行方法是“反事实”（counterfactual）。这是一种简单的、假设性的陈述，告诉人们什么样的微小变化会导致不同的结果，例如：“如果您的收入增加五千美元，您的贷款就会获得批准。”虽然这听起来很有帮助，但由哲学家和计算机科学家爱丽丝·C·W·黄（Alice C.W. Huang）与托马斯·格罗特（Thomas Grote）撰写的一篇新论文提出了一个关键问题：这种类型的解释是否真的赋予了人们反抗不公平自动化决策的力量？
作者首先明确了质疑一项决策的具体含义。他们区分了解释可能服务的三种不同目标。第一种是“辩护”（justification），旨在证明整个计算机系统对所有人都是可靠且公平的。第二种是“追索”（recourse），它是前瞻性的；它告诉一个人未来可以采取哪些步骤来获得更好的结果，比如通过增加工作经验来提升简历。第三种，也是本文关注的重点，是“可争辩性”（contestability）。这是后瞻性的。它是指一个人能够回顾已经发生的决策，发现其中的错误，并要求撤销该决策。研究人员对“可争辩性”进行了狭义的定义：它要求提供足够的信息，使一个人能够证明某项特定决策很可能是一个错误，从而为要求重新审查提供坚实的依据。
当作者测试反事实解释是否擅长实现这种类型的可争辩性时，结果却出人意料地令人悲观。他们检查了几种常见的自动化决策出错的情况。在歧视案例中，反事实可能会显示，如果此人的种族或性别不同，就会被录用。虽然这看起来像是强有力的证据，但研究人员发现了一个被称为“拉索莫问题”（Rashomach problem）的主要障碍。这个问题的核心在于，一个决策背后很少只有一个单一的原因。计算机可能会说贷款被拒绝是因为收入低，但同样也可能是因为如果申请人的职业经历不同，贷款就会获得批准。由于存在许多不同的改变输入值以获得不同结果的方法，计算机系统完全可以选择那个对机构而言损害最小的解释，从而忽略掉那个能证明存在歧视的解释。由于缺乏强制系统展示所有可能原因的方法，人们可能永远无法看到那个能证明自己受到不公平对待的具体反事实。
当错误并非源于公平性，而是源于计算机误解了特定个人的情况时，问题会变得更加严重。想象一下，一个健康模型预测某人因是素食主义者而面临疲劳风险，其假设是这种饮食缺乏铁元素。但如果该人实际上患有一种导致铁过载的罕见血液疾病，那么该模型的逻辑对该个体而言就是错误的，即便该逻辑对大多数人是正确的。一个反事实解释可能只会简单地说：“如果你不是素食主义者，你就不会面临风险。”这并不能帮助该人证明自己是规则中的例外；它只是重复了模型的错误假设。要对这一点提出质疑，该人需要具备深厚的医学知识，才能解释为什么模型的普遍规则不适用于其特定的生理情况。同样，如果决策是因为简单的文书错误（例如银行记录的债务金额有误）而产生的，反事实解释通常也是徒劳的。系统可能会说：“如果您的债务降低，您就会获批，”这虽然是真的，但显而易见。它并没有告诉那个人，实际原因是银行的记录本身就是错误的，而这才是他们需要修复的关键点。
研究人员得出结论，虽然反事实解释在帮助人们规划未来方面表现出色，但在帮助人们反抗过去的错误方面往往过于无力。证明错误所需的信息往往过于复杂、过于针对个人，或者过于容易被系统通过选择展示哪种解释的能力所隐藏。为了解决这个问题，作者并不建议放弃解释的概念，而是建议改变解释的交付方式。他们提出了“多轮尝试”（multi-shot）方法。系统不再给用户一个预先打包好的单一答案，而是允许用户向计算机提出多个问题。用户可以测试不同的想法，例如：“如果我有更多经验会怎样？”或者“如果我住在不同的社区会怎样？”这使用户从信息的被动接收者转变为主动的调查者。
然而，作者警告说，仅靠这一点是不够的。大多数人并不知道该问什么问题，也不懂得如何解读答案，尤其是在缺乏专业知识的情况下。为了解决这个问题，他们建议应当由“个案工作者”（case workers）来提供支持——即理解系统法律和技术细节的专家。这些助手可以引导个人去询问哪些问题，以及如何利用答案来构建论据。论文指出，如果没有这种人类支持以及提出多个问题的能力，能够质疑算法决策的承诺将仅仅是一个空洞的诺言。生成这些解释的技术已经存在，但目前使用它们的方式不足以让受自动化决策影响的人们真正恢复其主体性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。