想象一下，你刚买了一个高科技扫地机器人。它本应能完美地清洁你的房子，但有时它会撞到你的猫，或者漏掉地毯的一个角落。你想知道：它是如何决定去哪里的？如果它搞糊涂了会发生什么？如果它吃掉了你最喜欢的鞋子，该给谁打电话？ 在现实世界中，政府也使用类似的“机器人”——只不过它们不是在清洁地板，而是使用复杂的计算机程序（算法）来决定谁可以获得福利金、谁可以获得贷款或谁可以获得许可证。这些程序是运行我们公共服务的隐形之手。
大问题在于，这些“机器人”通常是黑匣子。我们看不见内部，所以不知道它们为什么做出那样的选择。为了解决这个问题，一些城市已经开始建立“算法登记册”。你可以把这些登记册想象成一份公开的菜单或贴在墙上的用户手册。它们旨在列出正在使用的算法、它们“吃”进什么数据以及它们是如何运作的，以便公民能够信任这个系统。但问题在于，就像一份用秘密代码编写的菜单一样，登记册可能会列出食材，但不会告诉你厨师是否真的在正确地烹饪食物，或者厨房是否正在着火。这篇论文深入探讨了这些登记册究竟是真的有帮助，还是仅仅一种说“相信我们”的花招。
研究人员决定通过观察一个荷兰城市用于决定谁能获得福利金的真实“机器人”来测试这个想法。他们不仅仅是阅读登记册；他们邀请了一群人玩一场“连点成线”的游戏。他们把城市工作人员、民权团体和公共调解员（监察员）聚集在一起，根据他们所知道的和所怀疑的，绘制出一张关于该系统真实运作方式的地图。
以下是他们的发现：官方登记册就像一张模糊且不完整的素描。它列出了系统的主要部分，但忽略了那些真正决定过程成败的、混乱的人为联系。当这群不同领域的专家画出自己的地图时，他们揭示了登记册完全忽略的隐藏危险。例如，他们发现，尽管该系统本应只是人类工作人员的“助手”，但工作人员感到压力，不得不盲目信任机器人的建议，从而导致人们被错误地拒绝发放资金。他们还发现，如果发生了错误，修复路径是如此混乱且充满了缺失的文件，以至于普通人几乎不可能成功投诉。
这项研究表明，虽然这些登记册是一个良好的开端，但仅靠它们是不够的。它们往往会掩盖真实的风险，因为它们过于关注技术细节，而忽略了人类的故事。研究人员发现，你需要让不同类型的人——尤其是那些并非构建系统的人——来协助绘图。只有将城市的各种技术数据与公民和监督者的真实世界经验相结合，我们才能看到全貌，并确保这些“机器人”对每个人来说都是安全且公平的。
技术摘要：通过参与式系统映射共建社会技术型 AI 治理
问题陈述
算法登记册（Algorithm registers）正越来越多地被公共部门采用，旨在为算法在公共服务中的应用提供透明度。然而，目前的实现方式面临显著局限：它们往往无法协调不同利益相关者（公民、公民社会、监督机构）之间差异化的信息需求，且所提供的信息要么过于匮乏而无用，要么过于技术化而难以理解。因此，这些登记册难以促进有意义的问责制，也无法代表算法所嵌入的完整社会技术系统。本文指出，如果不对登记册如何构成并影响算法治理进行理解，治理实践可能会变成脱节的努力，从而无法预见或应对实际的安全隐患。
研究方法
本研究采用了一种混合方法，以“Avola”为例进行案例研究。Avola 是荷兰某城市用于评估福利津贴资格的决策支持工具，该工具通过法律自动化（业务规则引擎）实现。研究分为五个阶段，重点关注第四阶段和第五阶段：
- 利益相关者识别： 研究接触了三个不同的群体：市政工作人员（直接利益相关者，包括算法治理官员和产品所有者）、市政监察员以及公民社会组织（CSOs）（间接利益相关者）。
- 参与式系统映射（第四阶段）： 与这些群体进行了两次工作坊。参与者被展示了一个基于市政算法登记册和公开文档得出的初步系统图（M0）。参与者通过工作表和大型格式地图对系统进行标注，以识别缺失的角色、流程和反馈回路。这一过程将间接利益相关者的“情境知识”（situated knowledge）与登记册的技术文档相结合。
- 系统理论过程分析（STPA）（第五阶段）： 作者利用系统理论事故模型与过程（STAMP）框架进行安全性分析。参与式映射为构建层次控制结构（HCS）提供了基础。分析遵循四个迭代步骤：
- 识别潜在损失（例如，错误拒绝福利）。
- 构建层次控制结构（包括技术、操作、组织和制度层）。
- 识别控制机制失效的错误控制动作（UCAs）。
- 推导将系统危害与特定损失联系起来的损失场景（Loss Scenarios）。
核心贡献
本文对 AI 治理和安全科学领域做出了三个核心贡献：
- 实证评估： 它对市政算法登记册进行了批判性评估，证明虽然登记册作为内部盘点的“约束性”工具具有作用，但由于抽象化和缺乏可操作细节，目前仍无法满足外部利益相关者的透明度需求。
- 参与式映射模式： 它开发并验证了一种通过整合直接和间接利益相关者视角来绘制算法系统及其治理结构的方法。这种方法揭示了标准登记册披露中被遮蔽的系统组件和动态。
- 规范性反思： 它对系统安全分析的政治维度进行了反思，认为用于绘制治理结构的抽象化过程本质上是政治选择，决定了哪些事物是可见的，而哪些事物会被隐藏。
结果
参与式映射及随后的 STPA 分析揭示了仅通过算法登记册无法发现的若干安全隐患和治理差距：
- 人机回环（Human-in-the-Loop）失效： 虽然登记册声称经办人员拥有最终裁量权，但分析识别出一种“自动化偏见”风险，即经办人员在时间压力下或出于对“法律自动化”客观性的信任，可能无法检测到错误（例如，过时的公民数据）。这导致了错误拒绝福利的损失场景。
- 投诉程序缺陷： 登记册显示事件报告会共享给开发人员，但参与式过程显示错误指标并未得到系统性追踪。因此，投诉很可能仅被视为个案处理，而非聚合分析以识别系统性模式，从而阻碍了必要的模型更新。
- 监督与问责差距： 监察员和公民社会组织发现登记册对风险评估（FRAIA 和 DPIA）的披露不足。登记册虽声明进行了评估，但隐瞒了调查结果或错误指标的细节。这种技术文档的缺失使得外部行为体无法有效地对决策提出质疑或发起法律挑战。
- 政治背景： 映射过程揭示了算法登记册嵌入在一个复杂的政治层级（政务委员、市议会、内政部）之中。所披露的信息受政治协商和资源约束的影响，通常优先考虑专家中介的需求而非普通公众。
意义与主张
本文主张，算法登记册就其目前形式而言，不足以实现有意义的公共问责。作者认为，透明度是一种关系性的行为，需要理解“公众”的异质性。通过让间接利益相关者（监察员、公民社会组织）参与系统映射，本研究证明了：
- 系统安全需要多元化： 安全分析不能纯粹是技术性的；它必须纳入受系统影响者或监控者的情境知识，以识别诸如自动化偏见和不透明反馈回路等危害。
- 登记册作为政治人工制品： 算法登记册的内容并非中立；它反映了关于披露内容的政治选择。因此，改进这些工具需要介入塑造它们的政治过程。
- 方法论转向： 作者提出，当结合参与式设计时，STPA 等系统理论方法能为重建算法治理的社会技术架构提供稳健的框架。这使得比仅靠登记册更全面地识别安全危害成为可能。
研究结论认为，虽然算法登记册是实现透明度的必要步骤，但它们必须进化，以更好地对齐多样化利益相关者的信息需求，并被理解为更广泛的、处于政治情境中的社会技术系统的一部分。
每周获取最佳 electrical engineering 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。