FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation
本文介绍了 FairFund-Bench，这是一个全面的基准测试，它证明了虽然大语言模型在资源分配中的人口统计学偏见对审计设计高度敏感，且在个体任务与比较任务之间经常发生反转，但其评估过程更强烈且一致地受助于与人类应得性理论相一致的需求因果框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名高风险比赛中的裁判，一笔有限的资金需要分配给那些请求帮助的人。在现实世界中，我们经常担心裁判可能不公平，比如给看起来和自己相似的人更多钱，或者给某些群体的人更少钱。现在，想象一下我们开始使用超级智能的计算机程序，即“大语言模型”（LLMs），来充当这些裁判。这些模型就像数字大脑，阅读了互联网上几乎所有的内容，因此它们非常擅长理解语言。但由于它们向人类学习，它们也可能吸收了人类的偏见。一个核心问题是：当这些人工智能（AI）裁判决定谁能获得现金时，它们是公平的，还是在根据一个人的姓名、种族或性别暗中偏袒某些人？
这正是论文《FairFund-Bench》所研究的内容。研究人员注意到了一些令人困惑的现象：不同的科学家对这些AI裁判进行了测试，却得到了截然相反的结果。有人说AI对少数族裔过于友好，而另一些人则说它对少数族裔过于刻薄。这就像是一群人说裁判给了获胜队额外的分数，而另一群人却说同一个裁判扣掉了他们的分数。本文作者意识到，问题不在于AI本身，而在于测试是如何进行的。他们构建了一个全新的、具有超强灵活性的测试工具包，名为 FairFund-Bench，旨在观察“提问方式”是如何改变答案的。
把AI想象成一个非常字面化、甚至有点紧张的学生在参加考试。如果你问这个学生：“这里有一个人，拉托亚（Latoya）。她值得帮助吗？”学生可能会说：“是的，绝对值得！”并给她很高的分数。但如果你把拉托亚放在另外三个人中间，并说：“将这四个人按从最值得到最不值得的顺序进行排名，”这个学生可能会突然改变主意，把拉托亚排在较低的位置。研究人员发现，AI的“偏见”会随着测试形式的变化而翻转。当AI逐一查看人们时，它往往试图表现得格外公平，给每个人同样多的钱。但当测试被伪装起来——即AI没有意识到自己正在被观察，且名字与不同的求助理由故事混合在一起时——AI就会显露其本色，给某些群体显著更多的钱，而给另一些群体更少的钱。
该研究测试了14种不同的AI模型，涵盖了600个不同的求助请求，涉及四个不同种族和两种性别。他们发现，虽然AI基于种族或性别的偏见整体而言其实很小，但当测试是“伪装式”的（即AI不知道自己在接受测试）时，这种偏见比“透明式”测试（即AI知道自己在接受测试）要大3到4倍。例如，在透明式测试中，AI通常会将1万美元的奖金在所有人之间完美平均分配。但在伪装式测试中，不同群体获得的资金差距从平均36美元扩大到了121美元。
然而，最大的惊喜并不是关于种族或性别的，而是关于什么的。论文发现，AI受**“为什么需要钱的故事”的影响，远比受“他们是谁”的影响要大得多。如果一个人的需求是由无法控制的外力引起的（如裁员或自然灾害），AI会给他们多得多的钱——比给那些因错误选择而产生需求的人多出约469美元**，比给那些在没有表现出任何努力改善迹象的情况下，因成瘾等问题而产生需求的人多出近800美元。这种“故事效应”如此之强，以至于它比AI基于种族或性别产生的微小差异要大十倍。
作者指出，这些AI模型实际上非常擅长模仿人类如何判断谁“值得”帮助，但这并不一定意味着它们正在做出“正确”的道德选择。他们还警告说，如果我们只用简单、明显的方式来测试AI，我们可能会认为它们是完全公平的，因为它们在努力表现得体。但当我们用更真实、更复杂的场景来测试它们时，我们会发现它们仍然带有与人类相同的偏见和判断。该论文得出结论：我们不能仅凭一项测试就断定一个AI是否公平；我们必须观察它在多种不同情况下的表现，因为提问的方式会改变答案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。