Qualifying and Quantifying Risk under the EU AI Act
本文提出了一种“严重性优先”的两步走框架，旨在调和欧盟《人工智能法案》对基本权利的定性关注与其定量风险定义之间的矛盾，同时警告称，将风险量化任务委托给提供者可能会导致“风险操纵”和监管下的分类不足。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位繁忙的未来主义城市的市长，那里到处都是机器人。有些机器人是无害的，比如一个能学会你最喜欢的面包烘烤设置的烤面包机。另一些机器人则功能强大，比如机器人法官，或是会在公园里扫描人脸的无人机。任何城市领导者面临的大问题都是：“我们如何在不停止这些酷炫新发明的情况下，确保每个人的安全？”这就是被称为**风险监管（risk regulation）**的领域的核心。它是研究如何确定坏事发生的可能性（概率）以及如果真的发生了，后果会有多严重（严重性）的艺术。通常，领导者会尝试做一个快速的数学题：将事故发生的几率乘以事故的严重程度。如果数字很小，他们就会说：“没问题！”但如果那个“坏事”是无法轻易计量的，比如失去你的隐私或自由呢？这就是棘手之处。如果你无法给一项人权贴上价格标签，你该如何进行数学计算？这正是欧盟在试图制定人工智能（AI）规则时所面临的难题。
这篇由德国和美国研究人员撰写的论文，深入探讨了欧盟新的“人工智能法案”（AI Act）。这是一部旨在将人工智能系统分为三个等级的大规模法律：“禁止”（No Go）、“高风险”（High Risk，需要严格规则）和“极低风险”（Minimal Risk，自由通行）。作者注意到该法律中存在一种有趣的张力。一方面，该法律像数学方程一样定义“风险”：概率 × 严重性。另一方面，该法律试图保护“基本权利”（如尊严、隐私和公平），而这些权利通常被视为特殊的、无法量化的价值。你无法用金钱或百分比来衡量“尊严”。作者指出，如果我们试图将一个简单的数学公式强加于这些复杂的人权之上，公司可能会操纵这个系统。他们可能会调整数据，让一个危险的机器人看起来很安全，作者称这种做法为**“风险黑客行为”（risk hacking）**。
那么，作者提出了什么建议呢？他们建议用一种全新的方式来看待这个问题，就像一场两步走的舞蹈。第一步是观察机器人的用途，并询问：“无论发生频率如何，它可能造成的伤害是否严重到破坏了一项基本权利？”这就是他们所说的**“严重性优先”（severity-first）**方法。把它想象成一个夜店的保安，他并不关心打斗发生的可能性有多大；如果那个人手里拿着一颗手榴弹（高严重性），即使他从未扔过手榴弹，也会被立即禁止入内。第二步是观察情况的“数学”问题：伤害发生的可能性有多大？以及阻止该机器人的成本是多少？
论文认为，欧盟的《人工智能法案》实际上已经在使用这种“严重性优先”的逻辑，即使它没有明说。例如，该法案禁止某些人工智能用途（如在工作场所读取情绪），因为对隐私造成的潜在伤害实在太高了，即便发生的概率很低。作者建议监管机构应该坚持这种顺序：先检查严重性，然后再担心概率。如果我们让公司自己决定数学问题，他们可能会试图辩称一个“灾难性”事件的“低概率”实际上是“低风险”，从而让危险的人工智能溜过漏洞。通过首先关注伤害可能有多严重，我们可以在保护人权的同时，依然让有用的技术得以发展。论文并未声称已经解决了所有的数学问题，但它提供了一个清晰的路线图，以阻止“风险黑客行为”，并确保规则真正为人类服务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。