Arabic Author Gender Profiling with Large Language Models: An Empirical Investigation of Capability, Calibration, Bias, and Prompt Sensitivity
本研究首次对大语言模型在阿拉伯语作者性别画像方面的能力进行了全面评估，结果显示这些模型的表现不及传统系统，展现出校准良好的弃权行为，并呈现出依赖提示词的偏见以及阿拉伯语特有的特定形态错误模式。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每当我们读到一条信息时，我们都会本能地试图猜测是谁在执笔。是朋友、陌生人，还是男性或女性？几十年来，计算机科学家一直在教机器做同样的事情，这一领域被称为作者画像（author profiling）。通过分析词汇选择、句子结构和主题，算法试图推断作者的人口统计学特征。这项技能对于安全、营销以及理解网络上的人类行为至关重要。近年来，一种被称为大语言模型的新型人工智能出现了。这些系统在来自互联网的海量文本上进行了训练，能够以惊人的流畅度理解并生成人类语言。在英语中，这些系统在猜测作者性别方面已经非常熟练，甚至超越了旧有的、更传统的计算机程序。它们可以观察一段文本并做出高准确度的猜测，通常不需要针对该特定任务进行任何专门训练。
但这种卓越的表现能否转化到其他语言中呢？阿拉伯语有超过4亿人在使用，并以其复杂的语法而闻名，在这些语法中，单词会通过改变形态来表示性别、时态以及说话的对象。这种丰富性使它成为了对计算机的一项严峻考验。直到现在，人们还不清楚这些强大的现有AI系统是否能像处理英语那样，也能处理好阿拉伯语写作中的细微差别。一位研究人员着手寻找答案，他并非通过构建一个新工具，而是通过测试最先进的现有系统。他想看看AI是否能正确识别阿拉伯语作者的性别，它在不确定时承认自身不确定的频率是多少，以及它是否携带了可能导致其做出不公平或错误猜测的隐藏偏见。
研究人员收集了一组大规模的现实世界数据：2018年的一千个Twitter个人资料，每个资料包含一百条推文。其中一半账号属于男性，另一半属于女性。他们将这些数据输入到三个不同的尖端语言模型中，包括两个庞大的全球性系统和一个专门为阿拉伯语设计的系统。他们要求计算机查看完整的个人资料并猜测作者的性别。结果令人惊讶。与AI系统轻松击败旧系统的英语情况不同，在这里它们表现不佳。这三个模型中，没有一个能胜过2018年最好的传统计算机程序。事实上，两个全球模型的分数低于旧的基准，而那个针对阿拉伯语设计的模型分数则显著更低。这表明，这些系统在英语中的巨大成功并不一定会自动延续到阿拉伯语，至少在没有额外帮助的情况下不会。
研究还观察了模型在不确定时的表现。研究人员给了计算机两种类型的指令：一种允许它们在文本过于模糊时说“我不知道”，另一种则强迫它们无论如何都要做出猜测。当允许弃权时，模型的表现出奇地诚实。它们拒绝对大约84%的单条推文进行猜测，因为它们意识到单条短消息往往缺乏足以做出可靠判断的线索。当研究人员强迫模型对这些困难的单条推文进行猜测时，它们的准确率骤降至接近随机水平，仅比抛硬币略好。这表明模型并非过于谨慎；它们正确地识别出了信息不足的情况。
或许最令人深思的发现涉及偏见。当模型被要求使用英语指令进行猜测时，即使作者是男性，它们也会一致地倾向于猜测“女性”。这种情况发生在所有三个系统中，表明存在一种将特定写作风格与女性联系起来的深层倾向。然而，研究人员发现了一种中和这种偏见的方法。当他们强迫模型进行二元选择而不允许其表达不确定性时，两个模型的偏见基本消失了。这表明偏见并不是计算机思维中的固定规则，而是由于模型衡量其置信度的方式造成的。当它感到不确定时，它会默认采用刻板印象；当被迫做出决定时，它变得更加平衡。
研究还揭示了针对阿拉伯语的一个独特挑战。研究人员发现，模型经常被语法本身所迷惑。在阿拉伯语中，一名男子向女性说话时可能会使用阴性动词形式来称呼她。计算机错误地将这些语法标记解释为作者是女性的证据，而不是意识到作者只是在称呼一位女性朋友。这是一种在英语中不会发生的错误类型，凸显了这些系统在理解阿拉伯语语法方面的特定盲点。
最后，团队测试了问题的语言是否会产生影响。他们要求这个针对阿拉伯语设计的模型使用阿拉伯语而非英语编写的指令来执行任务。虽然这略微提高了模型所做猜测的准确性，但它也付出了沉重的代价：模型拒绝猜测的推文数量大幅增加，并且当它进行猜测时，它反转了自己的偏见。它不再倾向于“女性”，而是开始强烈倾向于“男性”。这种反转表明，模型的内部性别理解与提示词的语言有着深刻的联系，且无论是英语还是阿拉伯语的指令，都无法完全脱离偏见。
研究人员得出结论，虽然这些大语言模型是强大的工具，但在没有仔细监督的情况下，它们尚未准备好取代人类判断或用于分析阿拉伯语文本的旧方法。他们发现，模型擅长知道自己何时不知道，但它们在处理复杂的阿拉伯语语法方面表现挣扎，并且携带了会根据提问方式而变化的显著偏见。这项研究提醒我们，在我们部署这些先进系统时，必须了解它们的具体局限性，以及它们解读世界上丰富而复杂语言的独特方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。