Bias Taught: Linguistic and Model Stereotypes in AI-Based Educational Evaluations
这项研究揭示了大型语言模型在教育评估中表现出系统性的语言与文化偏见，生成的评估在不同语言之间呈现出难度与长度的差异，且这种差异与 PISA 分数相关，同时强化了强调西方语境下共情能力与亚洲语境下等级制度的刻板印象，因此在部署前必须进行维持文化多样性的审计。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代课堂中，一场无声的革命正在发生。教师和学生正越来越多地转向人工智能，特别是大型语言模型，来帮助设计测试、批改论文并提供反馈。这些计算机程序通过学习互联网上海量的文本进行训练，学习如何预测句子中下一个应该出现的词汇。由于它们非常擅长模仿人类的写作方式，学校开始利用它们为全球各地的学生创建教学材料。然而，人们日益担心这些工具可能并不像它们看起来那样中立。正如一个人可能会对不同群体的学习方式持有潜意识中的偏见一样，这些计算机程序也可能从它们所接收的数据中吸收了类似的偏见。如果一个人工智能系统仅仅因为学生用不同的语言提问就以不同的方式对待他们，这可能会创造一种不公平的学习环境，从而强化旧有的刻板印象，而不是帮助学生取得成功。
鲍登学院（Bow плодоin College）的一个研究小组决定测试这些数字工具是否真的公正。他们旨在观察学生寻求帮助时所使用的语言是否会改变计算机分配的任务难度。为此，他们要求四种最流行的 AI 模型为十五岁的学生编写数学、阅读和科学测试。他们向每台计算机提供了完全相同的指令，但将这些指令翻译成了八种不同的语言：阿拉伯语、英语、法语、德语、印地语、中文、葡萄牙语和西班牙语。研究人员总共收集了机器生成的四千多个响应。随后，他们分析了测试的长度、模型认为测试的难度，以及模型认为什么样的行为代表了“好”或“坏”的学生和教师。
结果揭示了一个显著的模式。当研究人员要求 AI 用印地语或中文创建测试时，计算机生成的作业明显比用阿拉伯语、德语或西班牙语生成时更长且更难。例如，其中一个模型估计，一份用中文编写的数学测试会让学生花费两个小时完成，而一份西班牙语的测试则不到一小时，尽管指令是完全相同的。模型也将印地语和中文测试的难度评定得显著更高。这并非随机的故障；这些差异非常一致，在研究人员测试的所有四种不同 AI 系统中都出现了。研究发现，AI 生成的测试的难度和长度与国际学生表现的实际排名高度吻中。换句话说，计算机似乎认为来自高考试分国家的学生理应接受更难的学习，而来自低分国家的学生则理应接受较容易的学习，而不管坐在屏幕前的实际学生是谁。
除了创建测试之外，研究人员还要求 AI 描述什么是“好”教师或“好”学生。在这里，所使用的语言同样改变了答案。当提示词为英语、德语或葡萄牙语时，AI 倾向于将好教师描述为富有同理心、耐心并专注于与学生建立关系的教师。然而，当提示词为印地语或中文时，AI 则将好教师描述为严厉、守纪律并专注于知识和等级制度的教师。同样，模型根据语言的不同，对“坏”学生的描述也各不相同。在某些语言中，AI 关注的是缺乏纪律或拖延症；而在其他语言中，它则关注缺乏尊重或一般的行为不端。这些差异表明，人工智能不仅仅是在翻译单词，它还在从关于世界各地教育运作方式的文化刻板印象数据库中提取信息。
研究人员仔细检查了这些差异是否仅仅是因为不同国家有不同的学校课程。他们咨询了一群全球教育工作者，以确定 AI 是否只是在遵循国家标准。他们发现，课程差异只能解释极小部分的差异。绝大部分的变化来自于 AI 本身。这项研究表明，这些计算机程序已经学会了将特定语言与特定的学术期望联系起来，实际上成为了全球不平等的镜像。如果一个非西方国家的学生使用 AI 导师，他们可能会因为自己所说的语言，而被给予比西方国家学生更重的课业负担或不同类型的反馈。
这项研究凸显了未来教育面临的一个关键问题。随着学校越来越多地依赖人工智能来设计课程和评估学生，存在着这些工具悄然强化有害刻板印象的风险。人工智能做出这些判断并不是因为它理解学生，而是因为它在重复其训练数据中发现的模式。研究结论指出，在这些工具广泛应用于课堂之前，需要对其进行审计，以确保它们不会根据语言对学生进行不平等待遇。如果没有这种检查，个性化、全球化的教育承诺可能会变成一个加深鸿沟的系统，让学生相信他们的潜力是由他们所说的语言而非自身能力所定义的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。