"Trust Junk" Leads to Unjustified Support for Highly Discriminatory Predictive Models
本文通过一项众包研究表明，在可解释人工智能的可视化中包含准确但无关的数据，可能会促使人们对具有高度歧视性的模型产生不合理的信任和正面感知，从而强调了 XAI 设计师需要批判性地评估其可视化呈现的修辞影响。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走在一家未来的博物馆里，机器人和智能计算机正在对你的生活做出重大决策——比如是否给你一份工作、一笔贷款，或者一个读法学院的名额。这个领域被称为可解释人工智能（XAI）。XAI 的目标是保持诚实：它试图向我们展示计算机为什么做出了某个选择，就像老师在白板上展示数学解题过程，以便让我们确认他是否算对了。但棘手的地方在于：有时，“解释”并不能真正帮助我们理解数学逻辑。相反，它更像是一个魔术戏法。就像魔术师可能会用华丽的斗篷和响亮的鼓声来分散你的注意力，从而在换牌时瞒天过海一样，计算机也可以向我们展示一大堆花哨的图表和数字，以此来博取我们的信任，即便计算机正在做出糟糕或不公平的决定。这篇论文提出了一个可怕的问题：如果我们看到了足够多漂亮、复杂且“看起来很科学”的图表，我们是否会停止追问机器人是否公平，而直接开始盲目相信它？
来自东北大学的研究团队决定用一个小实验来测试这个想法。他们构建了一个故意不公平的计算机模型。想象一下一位暗中带有种族歧视和性别歧视倾向的法学院招生官：这个计算机被程序设定为拒绝每一位黑人男性候选人，并录取其他所有人。这是一个极其糟糕、带有偏见的模型。但转折点在于，由于测试组中有更多的非黑人候选人，该计算机仅通过对几乎所有人都预测为“通过”，就能声称自己的“准确率高达 93.7%”。这是一个包裹在统计学外壳下的谎言。
研究团队随后将这个不公平计算机的决策展示给了网上的真实人类。他们将参与者分为三组。第一组看到的是一个简单的解释：“这是候选人，这是计算机的决定。”第二组看到的是同样的简单解释，但增加了一些显示计算机准确率的额外图表。第三组，即“全能”组，得到的是简单的解释加上大量的额外数据：直方图、相似学生的画像以及看起来非常高深的复杂图形，但这些东西其实并不能告诉你计算机为何存在种族歧视。
结果有点像一场弄巧成拙的魔术。看到数据最多的“全能”组，最终对这个不公平的计算机信任度最高。他们比其他组更频繁地认同计算机那些不公平的决定。更糟糕的是，他们更不容易察觉到计算机正在进行歧视。这就像是额外的图表起到了“麻醉剂”的作用，让人们在被大量的“科学”信息淹没时，反而停止了去检查答案是否合乎逻辑。研究人员发现，当人们看到更多的“信任垃圾”（这是一个专门术语，指那些看起来有用实则无关的数据）时，他们会对那个不公平的模型评价得更加公平、更加值得信赖。
这项研究表明，我们需要非常谨慎。仅仅因为一台计算机向我们展示了一个精美、复杂的仪表盘，上面布满了各种数字，并不意味着它在讲述真相。事实上，它们展示的“垃圾”数据越多，我们就越有可能盲目地信任一个破碎的系统。作者警告说，这些系统的设计者需要停止试图用拥有的数据量来震慑我们，而应该开始关注这些数据是否真的在帮助我们看清真相。如果我们任由漂亮的图表分散注意力，我们最终可能会在毫无察觉的情况下，让不公平的机器人来决定我们的生活。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。