Who Gets Access? Global Region and Academic Status Bias in AI-Generated Academic Gatekeeping Scenarios
本文介绍了一个模拟框架，该框架揭示了虽然大语言模型在学术资历方面表现出不同的偏见，但它们在全区域访问权限上的决策因架构而异，其中前沿模型由于侧重公平性的对齐往往倾向于全球南方，而较小或开源权重的模型则倾向于全球北方。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，科学的世界就像一座宏大而繁忙的图书馆，每个人都试图写下下一部伟大的作品。为了做到这一点，作家们需要借阅书籍，查阅他人发明的蓝图，并窥视对手的秘密笔记。但问题在于：其中一些最重要的书籍被锁在昂贵的玻璃门后，而一些蓝图则保存在只有少数人能打开的保险库里。有时，作家不得不给拿着钥匙的人发一封礼貌的电子邮件，询问：“嘿，我能借一下这个吗？”
这就是棘手的地方。谁能得到钥匙？在现实世界中，这个决定往往取决于你是谁、你住在哪里，以及你的大学有多有名。这被称为“把关”（gatekeeping）。这就像是俱乐部里的保安根据你的鞋子或口音来决定谁能进来。最近，科学家们开始思考：如果我们用一个超级聪明的机器人大脑来取代人类保安，会发生什么？这些机器人大脑，即大语言模型（LLM），是与那些可以写诗、回答常识问题并帮你起草邮件的 AI 同类的技术。但如果我们要求这些机器人来决定谁有权接触科学秘密，它们会公平吗？它们会对来自贫穷国家的学生和来自富裕国家的教授一视同禽吗？或者，它们是否也会像人类一样，拥有自己的隐藏偏见？
这篇论文建立了一个数字游乐场来寻找答案。研究人员创建了一个模拟环境，其中一个 AI 扮演一名严格的教授，必须为一个人选择提供一份珍贵的资源。难点在于，AI 必须在两个人之间做出选择，这两个人在各方面都完全相同，唯独有两个不同点：他们来自哪里（富有的“全球北方”国家或发展中的“全球南方”国家）以及他们的职位头衔（学生、博士候选人、博士后或著名的终身教授）。AI 被迫必须对其中一人说“是”，对另一人说“不”，从而揭示其真实的偏好。
研究结果就像是在观察不同的机器人以完全不同的方式解决同一个谜题。这项研究测试了五种不同的 AI 模型，它们并不都达成一致。“大型”且经过高度润色的模型（如 GPT、Gemini 和 Claude）表现得像是公平的捍卫者。在被迫做出选择时，它们压倒性地选择了来自“全球南方”的人。这似乎是因为这些模型经过了特别训练，旨在格外谨慎地帮助那些可能正在挣扎的人，将需求置于地位之上。它们经常选择博士候选人而非著名的教授，心想：“这个学生正处于职业生涯的关键、脆弱阶段；他们最需要这种帮助。”
然而，“较小”且更开放的模型（如 Gemma）则完全相反。它们表现得更像传统的、老派的把关者。它们倾向于选择来自富裕“全球北方”和拥有著名终身教授职位的对象。研究人员认为，这是因为这些较小的模型没有经过同样的关于公平性的“对齐”或训练。相反，它们似乎依赖于喂给它们的原始数据，而这些数据往往反映了一个富人和名人获得最多关注的世界。
有趣的是，AI 的决定不仅取决于个人的职业或国家，还取决于该特定国家的财富水平。尽管模型被告知要基于“全球南方”对“全球北方”进行选择，但它们似乎观察到了国家的银行账户。它们更有可能帮助来自非常贫穷国家（如加纳或卢旺达）的研究人员，而不是来自属于全球南方的富裕国家（如卡塔尔或阿联酋）的研究人员。AI 似乎意识到：“这个来自卡塔尔的研究人员可能可以自己买得起那本书，但来自加纳的那位就不行。”
论文还发现，资源的类型也很重要。当请求的内容是简历（CV）时，模型表现得较为平衡。但当涉及到付费文章或秘密数据集时，偏见变得非常明显。“注重公平”的模型渴望帮助弱势群体，而“传统”模型则固守现状，青睐既有的精英阶层。
简而言之，这项研究表明，如果我们开始让 AI 在现实世界中做出这类决策，我们需要非常小心。有些 AI 可能会成为抹平竞争差距的良方，而另一些 AI 则可能会在无意中扩大贫富差距。研究人员警告说，我们不能假设这些机器人是中立的；它们承载着构建它们的人以及它们所学习的数据的价值观和偏见。在我们把科学图书馆的钥匙交给 AI 之前，我们需要确保它知道如何公平地对待每一个人，而不仅仅是那些看起来像编写训练手册的人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。