Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

以下是对 Johann Laux 和 Hannah Ruschemeier 的论文《人工智能法案中的自动化偏差》（Automation Bias in the AI Act）的解释，使用了简单的语言和日常类比。

大局观：“人在回路”问题

想象一下，你正在驾驶一辆配备了非常先进自动驾驶系统的汽车。法律规定你必须保持双手握在方向盘上，并在汽车出错时随时准备接管。这就是欧盟**《人工智能法案》（AI Act）**所称的“人类监督”（human oversight）。

然而，本文的作者指出了一种被称为**“自动化偏差”（Automation Bias）**的危险心理机制，这是一种人类心理上的缺陷。这就像是一个乘客过于信任 GPS，以至于他们不再观察路面情况，即使 GPS 正带着他们驶向一个湖泊。人类天生倾向于过度依赖机器，假设机器总是正确的，而自己的判断是错误的。

《人工智能法案》是第一部明确指出这一问题的法律。它规定，开发这些人工智能系统的公司必须确保监督这些系统的真人能够意识到自己可能会过度信任机器。

核心问题：谁该为这个“缺陷”负责？

论文指出，法律存在一种错位，就像一家建筑公司告诉建筑师去修复一个只有施工员才能解决的问题一样。

1. 建筑师（AI 提供者）： 法律要求构建 AI 的公司确保人类操作员了解过度信任机器的风险。他们应该设计系统，使人类保持警觉。
2. 施工员（AI 部署者）： 这是实际使用 AI 的公司或个人（例如，使用 AI 进行诊断的医院，或使用 AI 审批贷款的银行）。

这种错位在于： 论文解释说，“自动化偏差”不仅仅是由机器的设计引起的。它也是由环境引起的。人类操作员是累了吗？他们是否承受着过大的压力？办公室是否嘈杂？他们接受的培训是否到位？

• 建筑师（提供者）无法控制施工员（部署者）员工的疲劳程度。
• 施工员（部署者）控制着工作环境、培训和工作量。

作者认为，仅仅因为发生在施工员（部署者）的工作场所内的问题就责怪建筑师（提供者），是不公平的。双方都应对保持人类操作员的警觉性承担责任。

“意识”陷阱：你能证明某人具有“意识”吗？

法律要求人类对自己的偏差保持“意识”。作者提出了一个棘手的法律问题：在法庭上，你如何证明一个人没有意识到这一点？

• “读心术”问题： 你无法观察一个人的大脑，看他是否在想：“我最好再复核一下这个 AI。”
• “事实真相”问题： 要知道人类是否犯了由于偏差导致的错误，你需要知道“正确”的答案。但在许多情况下（如招聘决定或法律裁决），并没有一个所有人公认的单一“正确答案”。如果 AI 说“录用这个人”，而人类说“不”，谁才是对的？如果人类因为盲目信任 AI 而选择了“是”，除非你知道那个可能并不存在的“真实真相”，否则你如何证明他们产生了偏差？

正因如此，论文指出，证明违反这项法律将非常困难。这很可能依赖于专家证人（心理学家）来作证，说明系统是否被设计成会诱发偏差，而不是仅仅观察一个单一的错误决策。

“过度纠正”的风险

作者还警告了一个副作用。如果我们告诉人类，“不要信任 AI！”，他们可能会走向另一个极端。

• 类比： 想象一位老师告诉学生：“不要信任你的计算器。”学生可能会开始忽略计算器，即使它是正确的，他们也会坚持用手算，从而导致出错。
• 这被称为**“算法厌恶”（Algorithm Aversion）**。如果人类过度纠正，过度忽视 AI，他们就会失去这项技术带来的好处。目前的法律只关注过度信任 AI 的风险，但它可能会在无意中创造出一种新的偏差，即人类过度不信任 AI。

规则中的“漏洞”

论文指出了一个隐蔽的漏洞。虽然《人工智能法案》列出了一系列必须遵守这些严格规则的“高风险”系统，但有一条规则规定：“如果 AI 只是在辅助人类而非取代人类，它可能不属于‘高风险’。”

作者认为这是危险的。即使 AI 只是在“辅助”，人类仍然可能盲目听从其建议（自动化偏差）。通过让公司自行决定其 AI 是否属于“高风险”，法律可能会让一些危险的情况溜过监管，在这些情况下，人类虽然仍在过度依赖机器，却无人对其进行检查。

解决方案：关注科学，而非仅仅关注法律

作者总结道，目前的法律过于模糊，且仅依赖于单一的心理学概念（自动化偏差），而没有解释如何解决它。

他们提出了一个方案：统一标准（Harmonized Standards）。
可以将这些标准视为法律所要求的“说明书”。作者建议，这些手册应该：

1. 参考最新科学： 规则不应仅仅说“要有意识”，而应规定“遵循关于人类如何与 AI 交互的最新研究成果”。
2. 涵盖所有偏差： 不要只关注过度信任 AI，还要关注人类在使用技术时可能犯错的所有方式。
3. 落实共同责任： 构建 AI 的人和使用 AI 的人都应该对确保人类操作员保持敏锐承担责任。

总结

这篇论文是一个警告：欧盟的新 AI 法案试图解决一个人类心理问题（过度信任机器），但尚未搞清楚究竟该由谁来负责修复它，也未弄清楚如何证明它已被修复。作者希望法律能够更加灵活，基于真实的科学研究，并确保 AI 的创造者和使用者共同承担起让渡人类控制权的责任。