Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South
基于在“全球南方”十年的审计实践，本文认为，人工智能快速部署与治理之间的关键差距并非由能力不足所驱动，而是由资金短缺所驱动，并敦促发展机构和慈善资助者强制要求进行独立评估，以解决诸如无效代理指标和结构性偏见等系统性缺陷。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个看不见的机器人正在做着关乎人们生活的重大决策的世界：决定一个孩子是否需要帮助，判断一名患者是否生病，或者决定一名农民能否获得贷款。这些机器人的背后是人工智能（AI）。但问题在于：仅仅因为机器人很聪明，并不意味着它就是公平、安全或确实按照其创造者的初衷在运行。为了查明真相，我们需要进行“AI审计”。把审计想象成在买车前由技师检查汽车，或者老师批改试卷以查看答案是否正确。在世界的富裕地区（“全球北方”），有大量的技师和老师在检查这些AI机器人。但在发展中地区（“全球南方”），这些机器人却在无人监管的情况下横冲直撞。这篇论文提出了一个简单但紧迫的问题：当我们允许这些强大的机器人，在那些没有人被允许“打开引擎盖”查看的地方，做出关乎生死的决策时，会发生什么？
巨大的审计鸿沟：在全球南方横冲直撞的机器人
这篇由 Eticas 基金会专家撰写的论文，讲述了一个巨大的失衡故事。虽然 AI 正在非洲、拉丁美洲和亚洲的医院、学校和政府部门以惊人的速度安装部署，但那些本应检查这些系统是否安全的人却几乎完全缺席。
作者发现，尽管有数十亿美元正投入到这些地区的 AI 建设中，但实际上由独立专家发布的、关于如何测试这些系统在现实世界中运作情况的报告，竟然不足二十份。为了让你有个直观的概念：仅英国一国的 AI 审计师数量就超过了整个全球南方的总和。这就像是在一个国家建造了一千座新桥，却只配备了一名工程师来检查安全性，而那名工程师正忙着去检查另一个国家的桥梁。
我们进行的少数检查揭示了什么
作者不仅统计了缺失的检查次数，他们还实际进行了几次检查。他们研究了巴西、阿根廷等国的系统，发现的结果既令人担忧，又非常清晰。
1. “贫困探测器”陷阱
在一个案例中，政府使用了一种 AI 来决定哪些儿童处于风险之中并需要社会服务。该系统本应寻找权利受到侵害的孩子。但当审计人员仔细观察时，他们意识到这个机器人其实并不是在寻找虐待行为，而是在寻找贫困。因为它所接受训练的数据来自贫困社区，所以 AI 判定贫困等同于处于风险之中。这就像是一个只有在烤面包时才会报警的烟雾探测器，却忽略了真正的火灾。该系统基于一个关于“风险”的错误定义，对数百万名儿童进行了评分，其中许多儿童甚至从未被系统见过。
2. “94% 准确率”的谎言
在另一个例子中，巴西的一家医院使用一种 AI 来预测哪些患者正在生病。该系统声称其准确率高达 94%。这听起来很棒，对吧？但审计人员发现，这个数字是一个陷阱。由于该 AI 非常擅长预测“大多数人都会平安无事”，因此它得到了高分，即便它漏掉了那些真正生病的人。这就像是一个天气应用，每天都说“不会下雨”。因为它在不下雨的日子里说对了 99% 的时间，所以它在技术上是正确的，但当暴风雨来临时，它却毫无用处。审计人员发现，该系统未能向那些真正处于危险中的年轻女性发出预警。
3. “黑箱”迷思
论文还指出，我们不需要看到机器人的秘密代码（即“黑箱”）也能知道它是否出了问题。你不需要成为一名技师也能知道汽车坏了，只要它发动不了或者散发出烧焦的味道。审计人员发现，通过仅仅观察 AI 的“行为”——即它帮助了谁以及忽略了谁——他们就能发现问题。问题不在于代码太难理解，而在于没有人去观察结果。
为什么会发生这种情况？（这并非“能力”问题）
你可能会想：“也许是全球南方的国家缺乏足够聪明的人才或资金来检查这些机器人。”论文说：不，事实并非如此。
作者发现，他们完全可以进行这些检查。他们是用规模较小的团队和较小的预算完成的。问题不在于这项工作无法实现，而在于没有人为它买单。
把它想象成一所学校。如果校长（政府）不要求对老师进行考核，且学校董事会（出资方）不支付考评费用，那么老师可能永远不会受到检查。在全球南方，构建这些 AI 系统的组织通常由大型国际银行或慈善机构资助。但这些出资方通常只问：“你们是否承诺要表现得友善？”他们并不会说：“请向我们展示证明你的系统确实有效的证据。”
因为没有人强制要求建设者展示他们的成果，也没有人为检查付费，所以检查从未发生。这是一个资金问题，而不是人才问题。
解决方案：将检查写入合同
论文以一个清晰、简单的解决方案结束。拥有解决问题权力的人是出资方。
如果一家银行或慈善机构出资建设一套 AI 系统，他们应该规定：“除非有独立专家先对你的系统进行检查，否则不能获得这笔资金。”而且他们不应仅仅检查代码，还应检查结果。这套系统是否真的帮助了它本该帮助的人？
作者提出了给这些出资方的五条简单规则：
- 强制执行检查： 将独立审计作为获得资金的必要条件。
- 检查结果，而非仅仅检查数学： 观察系统如何影响真实的人，而不只是看代码是否完美。
- 公布调查结果： 不要让结果成为秘密。如果一个系统是损坏的，公众需要知情。
- 建立本地团队： 培训这些国家的本土人员进行检查，这样他们就不必依赖远方的专家。
- 共享工具： 让清单和方法对所有人开放使用。
总结
论文认为，我们正处于一个十字路口。我们可以继续让 AI 系统在全球南方缺乏监管的情况下运行，这意味着错误将会不断发生在那些最无法承受后果的人身上。或者，我们可以改变游戏规则。通过将独立检查作为资助的条件，我们可以将这些数据和决策的“开放伤口”转变为安全、公平且负责任的系统。
修复问题的工具已经存在。专家们也已准备就绪。目前唯一缺失的是支付检查费用的决定。正如作者所言，下一个十年将被铭记为：全球南方继续构建自己无法控制的系统，还是终于开始对其进行问责的时刻。这个选择取决于那些签署支票的人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。