Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
本文引入了中东文化敏感性评分（MECSS），旨在证明包括中东地区开发的模型在内的各类大语言模型，正通过“赛义德洗白”（Said-washing）以及将西方知识框架化为普世知识的方式，系统性地复制结构性的东方主义偏见，从而揭示了标准公平性指标无法检测到这些深层认识论扭曲的事实。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当我们要求计算机解释一种文化时，我们通常假设我们得到的是事实的中立总结。但回答这些问题的系统并非空白的白板。它们构建在由大多数西方人、以英语编写的大量文本库之上，并通过模仿这些库中发现的模式来学习说话。这意味着，当用户询问关于中东的问题时，计算机不仅仅是在检索信息；它是在根据其训练数据中所嵌入的假设来构建一个故事。几十年来，学者们一直在描述一种讲述关于“东方”故事的特定方式，即被称为“东方主义”（Orientalism）的方式。这不仅仅是关于粗鲁或使用刻板印象。这是一种更深层的、结构性的写作习惯，它将西方视为正常的、主动的观察者，而将东方视为一个需要被西方规则解释的被动的、神秘的对象。它假设西方的思想是普遍真理，而地方性的思想仅仅是“文化奇趣”。研究人员现在提出的问题是，已经成为数亿人主要信息来源的人工智能，是否正在悄悄地重复这些旧有的模式，即使它试图表现得彬彬有礼。
一位研究人员致力于衡量这两个不同的大型语言模型中的这种隐形偏见。一个是开发于美国的强大系统，另一个是在阿拉伯联合酋长国构建的模型，该模型使用了大量的阿拉伯语内容进行训练。研究人员想要测试一个充满希望的想法：在中东地区利用当地语言和区域数据构建人工智能，是否会自然而然地产生一种更公平、更少偏见的观点。为了找到答案，他们创建了一种新的测量工具，称为“中东文化敏感度评分”。该工具并非仅仅寻找明显的诋毁或恶毒词汇，而是检查模型生成的句子本身的结构。它检查了七种特定的习惯，例如模型是否将整个中东视为一个单一且无差别的整体，是否将当地人描述为被动的受害者而非主动的决策者，以及是否使用西方政治理论作为解释事件的默认方式，同时将地方性知识视为需要特殊辩解的东西。
研究人员进行了 280 场对话，就政治、文化和历史等方面向模型提出了广泛的问题。随后，他们分析了回复内容，以观察模型陷入这些结构性陷阱的频率。结果显示，无论是在哪里构建的，两个模型都系统性地重现了这些带有偏见的模式。美国模型确实表现出了一些偏见，但那个在阿联酋构建的模型在偏见量表上的得分实际上更高，这意味着它更频繁、更强烈地重现了这些有问题的模式。这一发现挑战了这样一个假设：即仅仅改变开发者的所在地或在训练数据中加入当地语言，就足以解决问题。研究人员发现，尽管该阿联酋模型具有地域起源，但它仍然严重依赖西方框架来解释世界，将其视为观察一切的标准化视角。
其中一个最引人注目的发现是研究人员称之为“赛义德清洗”（Said-washing）的现象。这种情况发生于：模型在回答开始时明确声明该地区是多样且复杂的，紧接着却立即用一个忽略了这种复杂性的概括性陈述来结尾。例如，一个模型可能会说：“当然，中东拥有许多不同的文化和历史，”然后立即将“中东社会”描述为一个具有单一动机的、统一的实体。这种模式出现在与美国模型的近 88% 的对话中，以及与阿联酋模型约 63% 的对话中。这表明，模型已经学会了如何表演“敏感性”的外表，而不去真正改变其思维的底层结构。它们可以运用正确的措辞来听起来很公正，但其组织信息的方式仍然深深植根于旧有的、殖民主义式的世界观。
研究还揭示了偏见不仅在于模型说了什么，还在于它们如何组织世界。两个模型一致地将西方分析框架视为理解现实的默认、未标记的方式，而将非西方知识视为特殊的、需要特别解释的东西。这是在两个系统中最为一致的发现，几乎出现在每一次对话中。研究人员指出，模型表现的差异可能部分归因于它们的规模，因为美国模型明显比阿联酋模型更大、更先进。较小的模型倾向于产生更简单、缺乏细微差别的文本，这看起来更像是研究人员所衡量的宽泛概括。然而，两个模型在关于使用西方框架方面收敛于相同的高水平偏见这一事实表明，问题比计算机的大小或开发者的所在地要深刻得多。
最终，论文得出结论：这种偏见并非可以通过增加语言或将服务器转移到不同国家就能修复的简单错误。这个问题是认识论层面的，意味着它关乎模型所习得知识的本质。训练数据本身充满了西方视角，这些视角将中东视为一个被研究的对象，而非一个拥有自身能动性的主体。研究人员认为，要真正改变这一点，必须转化训练数据，使其包含更大容量的、由该地区学者用其自身的语言和自身的知识传统撰写的学术著作。在数据发生改变之前，这些系统将继续生成那些听起来自信且权威，但却在悄悄强化一种“西方是叙述者，而世界其他地方仅仅是故事”的世界观的答案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。