Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation

在现代世界中，计算机正在做出无数影响我们日常生活的决策，从决定我们是否能获得贷款，到决定我们看到哪些新闻故事。几十年来，盛行的观点是，如果计算机做出了一个选择，我们应该能够要求它展示其推导过程，就像学生展示数学作业以证明答案正确一样。这种概念被称为算法解释（algorithmic explanation），它是欧盟及其他地区隐私法的基石。法律假设，如果一个人受到自动化决策的影响，他们有权了解其背后的逻辑。然而，一个重大问题出现了：做出这些决策的计算机已经发生了变化。旧系统遵循清晰、循序渐进的规则，可以被轻松追踪。而当今最强大的系统——通常被称为神经网络——通过海量数据进行学习，其方式如此复杂且相互关联，以至于即使是它们的创造者也无法完全绘制出每一个内部步骤。这造成了“黑箱”局面：输入进入，决策输出，但中间的路径仍然隐藏着。当法律要求查看一个技术上无法完全打开的黑箱内部时，系统就会崩溃，导致混乱、法律规避以及信任丧失。

一位名叫冯志（Feng Zhi）的研究员，在中国的重庆人工智能与法律学院工作，他提出了一种解决这一僵局的新方法。该研究建议，与其试图强行打开一个无法打开的黑箱，不如停止要求查看内部机制，转而提出符合管理者实际能够回答的问题。这项工作的核心发现是，我们需要根据谁在控制计算机系统，将对解释的需求拆分为两个不同的时间点。第一个时刻是在系统构建和设置时；第二个时刻是在系统为特定的人做出决策时。通过分离这两个阶段，作者认为我们可以用切实有效的需求来取代那项不可能实现的“查看代码”的要求，从而同样有效地保护人们的权利。

论文指出，目前那种根据提问者不同而提供不同详细程度的方法之所以失败，是因为它仍然要求实现同一个不可能的技术壮举：窥视黑箱内部。无论用户提出的是简单还是复杂的问题，计算机仍需揭示其内部逻辑才能回答，而这往往在不损失准确性或不泄露商业秘密的情况下无法做到。另一种常见的想法是，如果系统看起来安全或者其开发者资质过硬，就直接信任该系统。作者也拒绝了这一点，指出即便由优秀的人士建造，系统稍后仍可能做出错误的决策，或者说信任建造者并不能解释为什么某个特定的人被拒绝了贷款。研究还指出，仅仅检查最终结果在事后是否可以被挑战也是不足够的，因为到那时，伤害可能已经造成且无法挽回。

为了解决这个问题，论文引入了一个基于“时间节点”（temporal nodes）的框架，这些节点简单来说就是不同的人掌握控制权的特定时间点。第一阶段是“行为阶段”（behavior stage）。这发生在系统投入公众使用之前。在此期间，开发者和部署系统的公司拥有完全的控制权。他们决定使用什么数据、如何训练模型以及采取哪些安全措施。因为他们拥有控制权，因此在这个阶段对解释的需求不应是关于最终决策，而是关于风险。研究提出，这些参与者不应被要求展示代码，而应被要求提交关于他们如何评估风险以及采取了哪些预防伤害措施的详细声明。他们还必须保留系统的活动日志。这使关注点从“数学原理是如何运作的？”转向了“你是否尽职确保了它的安全性？”如果稍后发生问题，这些记录允许监管机构进行追溯，查看创造者是否遵守了规则，从而在不需要理解无法理解的数学原理的情况下，有效地分配了责任。

第二阶段是“结果阶段”（outcome stage）。这是系统正在运行并对现实中的人做出决策的阶段。此时，开发者已经失去了控制权；系统正在实时对新数据做出反应。在这里，对解释的需求发生了变化。目标不再是检查风险控制，而是建立对结果的信任。论文建议，人们并不需要理解复杂的内部逻辑来信任一个决策；他们需要知道该决策是否符合普遍的人类经验。例如，如果一个信用评分系统拒绝了贷款，用户并不需要看到神经网络的权重；他们需要知道该决策是否符合社会普遍认为公平的标准，例如收入水平或债务比例。研究提出，公司应当公布这些普遍的社会规则，以便人们可以将决策与这些规则进行对比。如果某个决策偏离了常识所暗示的情况，系统必须触发人工审核。随后，必须由真人查看案例，并针对为何会出现这种异常决策提供清晰、合理的解释。

这种方法并不是要求减少保护，而是要求一种实际上可以实现的、不同类型的保护。通过用“风险记录的需求”和“常识一致性的需求”取代“查看内部代码的需求”，系统可以在不崩溃的情况下运行。作者指出，这并非一项新发明，而是对现有法律工具（如要求公司保留处理活动记录）的重新组织。研究强调，这种方法尊重了现代技术的现实，同时履行了问责制的法律承诺。它将对话从开启黑箱这一不可能的任务，转向了确保构建和使用这些系统的人对其行为负责，并确保其产生的结果对生活在其中的人们而言是有意义的这一务实任务。研究结论认为，这种视角的转变对于恢复算法解释的实际价值是必要的，从而确保法律在智能机器时代依然具有相关性。