Making Ethical AI Measurable & Auditable: A Construct Validity Framework for Fairness, Transparency, & Explainability
本文提出了一个构念效度框架，将伦理人工智能概念化为一个由公平性、透明度和可解释性组成的、依赖于情境的高阶构念，从而为开发用于监管合规和实证研究的可审计测量标准提供了一条具有理论依据的路径。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，人工智能已从科幻小说走进了日常生活的隐形机械之中，负责筛选求职申请、诊断疾病以及批准贷款。随着这些系统变得日益强大，一场关于如何确保其行为符合伦理的全球性对话也随之展开。多年来，专家们对一系列高尚目标达成了共识：这些机器应当是公平的，应当对其运作方式保持透明，并且应当能够以人类可以理解的方式解释其决策。然而，在这些高层面的承诺与检查这些承诺的现实之间，出现了一个巨大的鸿沟。尽管政府和公司现在都要求提供人工智能符合伦理的证明，但至今还没有达成一致的方法来衡量这究竟意味着什么。这就好比市议会要求所有新建筑必须是“安全”的，却拒绝定义什么是安全性，也拒绝说明如何测试安全性，从而让建筑师只能去猜测哪些材料才可能奏效。如果没有清晰的定义，所谓的公平声明仅仅是一种意图的表达，而非一个可验证的事实。
这种不确定性为那些负责监督工作的人带来了问题。审计员、监管机构和公司领导被要求认证一个人工智能系统是否符合伦理，但他们缺乏一把可以用来衡量它的尺子。一些研究人员试图通过询问人们对人工智能的看法来解决这个问题，而另一些人则试图利用复杂的数学方法来寻找机器对待不同群体时存在的统计误差。这两种方法都有其价值，但都没有将“伦理人工智能”视为一个可以进行严格测试的单一、可衡量的整体。它们要么关注人类的情感，要么关注孤立的数字，忽略了人工智能系统在现实世界中实际表现的宏观图景。
迪拜英国大学的研究员希巴·哈斯南（Sheeba Hasnain）的一项新研究提出了一种弥合这一差距的方法。该论文认为，我们必须停止试图寻找一个代表“优秀人工智能”的单一数字，而是应该将伦理质量视为一个由三个截然不同的部分构成的复杂结构。作者建议，要真正衡量人工智能，我们必须通过三个特定的视角来看待它：公平性、透明度和可解释性。这些不仅仅是术语；它们是必须在各自的维度上进行定义和衡量的独立维度。公平性关乎系统是否平等地对待不同群体的人；透明度关乎是否有权知情的人能够获得理解该系统所需的信息；可解释性则关乎系统是否能向使用者提供清晰、有用的决策理由。
哈斯南工作的核心是一个类似于构建这些测量标准的蓝图的新框架。该框架并不要求我们随机挑选一个数学公式并称之为公平性测试，而是要求我们首先为特定的情境定义什么是公平。例如，医院中所认为的公平结果可能与银行中所认为的公平结果大相径庭。一旦定义明确，该框架就会引导研究人员选择具体的、可观察的迹象，以证明该定义正在得到落实。这一过程确保了收集到的证据确实支持所提出的主张。研究强调，你不能简单地通过累加数字来获得最终得分；你必须首先理解人工智能工作的背景。一个系统可能非常透明但仍不公平，或者可能非常公平但无法理解。由于这些部分是不同的，它们不能简单地相互抵消或取平均值。
为了展示其在实践中的运作方式，论文通过一个假设的医疗保健人工智能系统案例进行了演示，该系统用于帮助医生评估患者风险。在这种情境下，研究人员展示了如何应用这些新规则。首先，他们将公平性定义为一个具体概念，即避免在对待不同患者群体时出现不公平的差异。接着，他们选择了具体的指标，例如检查不同群体的错误率是否相同，而不仅仅是看整体准确率。然后，他们检查使用该系统的医生是否能够理解人工智能为其建议提供的理由。最后，他们观察系统的表现是否能带来更好的患者预后，这作为对整个设置是否按预期运作的最终检查。这种循序渐进的方法将模糊的“伦理人工智能”承诺转变为一个具体的、可审计的过程。
该研究还探讨了这一框架如何融入现实世界的法律与监管。欧洲、美国和中东的政府正在通过新的法律，要求公司证明其人工智能是安全且公平的。然而，这些法律通常只规定了必须实现什么，却未说明如何去衡量。哈斯南的框架通过提供一种创建此类证明的标准方法提供了解决方案。它建议，监管机构不应试图为所有人工智能创建一个通用的评分，而应专注于标准化测量过程。他们应该要求公司明确说明他们在测量什么、如何测量以及为什么该方法适用于其特定情况。这种方法允许灵活性，承认用于招聘的人工智能与用于医疗诊断的人工智能需要不同的测试，同时仍保持严谨的证据标准。
论文最重要的发现之一是，伦理质量并不是计算机代码本身的固定属性。它是系统与人、组织及社会互动时产生的一种属性。同一个算法在一种环境下可能是伦理的，而在另一种环境下则可能是不伦理的，这取决于谁在使用它以及会产生什么后果。因此，测量必须始终根据特定背景进行校准。论文警告说，不要试图在不经调整的情况下将一种国家的测量工具复制到另一个国家或行业。一个为拥有详细种族和民族数据的富裕国家设计的测试，在主要划分依据是语言或当地地理特征的地区可能会毫无用处。真正的伦理测量需要理解当地的景观。
研究最后为未来指明了道路。作者承认，该框架目前仍是一个提议，是一个尚未在成千上万个真实系统中进行测试的理论结构。这是一个行动号召，呼吁研究人员构建符合这一新模型的具体工具和测试。其目标不是产生一个宣布人工智能“好”或“坏”的单一数字，而是建立起系统应有的功能与证明其正在履行该功能的证据之间之间具有辩护性的联系。通过将伦理人工智能视为一个具有明确定义和背景敏感指标的可测量构建体，这项研究提供了一种超越模糊承诺的方法，进入一个伦理主张可以被验证、审计和信任的世界。如果社会想要利用人工智能的力量，同时确保其与人类价值观和可持续发展目标保持一致，这种转变是必不可少的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。