💬 NLP

Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis

本文提出了一种量化词嵌入中性别偏见的方法，并展示了其利用 2018 年推特数据，在预测和表征美国 51 个地区及 99 个国家在教育、政治、经济和健康领域的统计学性别差距方面的能力。

原作者： Scott Friedman, Sonja Schmer-Galunder, Anthony Chen, Jeffrey Rye

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Scott Friedman, Sonja Schmer-Galunder, Anthony Chen, Jeffrey Rye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一面由语言构成的巨大数字镜子。这面镜子的构建方式是让计算机学习来自世界各地数百万条推文。当计算机学会理解单词时，它会创建一个“地图”，在这个地图中，经常一起使用的词语会坐得比较近。

这篇论文的作者提出了一个引人入胜的问题：如果我们观察这幅语言地图的“形状”，我们能否看到现实世界中男女之间的差距？

可以这样理解：如果一种文化在无意中将“医生”视为一个男性化的词，将“护士”视为一个女性化的词，那么这种文化是否也存在现实世界的差距，即医生中男性多于女性？

以下是他们所做工作的简单分解以及他们的发现：

1. 实验：将单词映射到现实

研究人员获取了两类数据：

语言地图： 他们仅使用 2018 年的英文推文，为 99 个国家和 51 个美国地区构建了定制的“词汇地图”。
现实检验： 他们收集了关于性别差距的官方统计数据，例如谁掌握政治权力、谁上了大学、谁赚得更多以及谁运动得更多。

他们将语言地图视为一个指南针。他们问道：“语言指向的方向（例如，将‘领导力’与男性联系起来）是否与现实世界的统计数据（例如，男性持有更多领导职位）的方向一致？”

2. 发现：语言之镜反映现实

他们发现，语言地图和现实世界的统计数据往往指向同一个方向。这就像是，人们在 Twitter 上的表达方式成为了他们社会性别动态的一个指纹。

政治： 在那些语言显示“政府”等词汇与女性联系更紧密的国家，这些国家的女性实际拥有更多政治权力。
金钱： 在美国一些将“威胁”、“危险”或“可怕”等词汇与女性联系得更紧密的州，存在着更大的薪资差距（即女性收入低于男性）。研究人员认为，这可能意味着在那些男性感到其统治地位受到“威胁”的地方，他们会通过加强控制来做出反应，这在语言和薪酬中都有体现。
教育： 在那些语言中“STEM”（科学、技术、工程、数学）和“校友”等词汇与男性联系较弱的地方，实际上有更多的女性获得了数学和计算机科学学位。

3. “主题化”线索

研究人员并没有仅仅观察随机的单词。他们将单词分组成了主题，就像侦探寻找特定的线索一样：

“威胁”主题： 单词如 危险的、有毒的、可怕的。
“照顾”主题： 单词如 孩子、婴儿、父母。
“权力”主题： 单词如 参议院、投票、总统。

他们发现这些主题具有选择性。“权力”类词汇可以预测政治差距，但不能预测健康差距。“威胁”类词汇可以预测薪资差距，但不能预测教育差距。而随机的一组单词（如随机形容词列表）则显示出没有任何联系。这证明了这种联系并非巧合；语言的特定部分反映了社会的特定部分。

4. “好词”与“坏词”

他们还观察了单个形容词。他们发现，与缩小性别差距（即男女更加平等）相关的词汇，往往具有更高的“正面情绪”（效价）和更强的“支配感”（优势感）。

示例： 与更好的薪资平等相关的词汇是 非凡的、优秀的和杰出的。
示例： 与更差的薪资差距相关的词汇是 悲伤的、精疲力竭的以及差劲的。

5. 这意味着什么（以及不意味着什么）

论文得出结论，语言偏见不仅仅是计算机错误，它是一种文化信号。 在计算机“大脑”（词汇地图）中发现的偏见，似乎镜像了该文化中男性和女性的实际机会和地位。

重要的局限性（细则）：

它是镜子，而非魔杖： 该研究展示的是相关性（一种联系），而非因果关系（其中一个导致另一个）。语言并不一定创造了差距；它们很可能是共同成长的。
英文过滤器： 他们只研究了英文推文。这忽略了那些不说英语、无法上网或不使用 Twitter 的人。这就像试图通过只听某家特定咖啡馆里的人说话来理解整个国家的文化。
无临床用途： 论文并不建议使用这些数据来修复差距或在临床环境中诊断社会问题。这纯粹是对语言数据如何与现有统计数据相关联的一种分析。

简而言之： 计算机学到了，在那些语言微妙地将女性推向“威胁”或“软弱”的文化中，现实世界往往会在薪资或权力方面反映出这一点。我们推文的数字镜像，能如此准确地展示出我们社会不平等的轮廓。

技术摘要：将词嵌入性别偏见与性别差距联系起来

问题陈述
用于自然语言处理（NLP）的机器学习模型，特别是利用词嵌入（word embeddings）的模型，已知会继承其训练数据中的偏见，通常反映出关于种族和性别的社会刻板印象。虽然近期的研究侧重于对这些模型进行“去偏”（debiasing）以提高准确性并消除刻板印象，但本文提出了另一种观点：这些固有的偏见可能不仅仅是错误，而是对产生训练文本的文化中实际存在的统计差异（性别差距）的反映。本文解决的核心问题是：词嵌入中性别偏见的幅度（magnitude）和方向（direction）是否可以与不同文化中教育、政治、经济和健康领域的现实世界统计性别差距进行定量相关性分析。

方法论
作者使用 2018 年的 Twitter 数据进行了跨文化分析，涵盖 99 个国家和 51 个美国地区（50 个州及华盛顿特区）。

数据收集与预处理：
- 数据集由 2018 年间收集的英语推文组成。
- 对推文进行了过滤，仅保留包含三个或更多单词的推文。URL、用户名、标签、图像和表情符号被替换为标记（tokens）。
- 为每个国家和州构建了语料库。对于超过 1000 万条推文的文化，使用了 1000 万条样本。最小的语料库包含 98,000 条推文（毛里求斯），最大的包含 1.22 亿条（英国）。
- 作者指出，这些语料库比其他推文嵌入研究（如 Li et al., 2117）中使用的语料库小几个数量级。
嵌入构建：
- 主要算法使用的是 Word2Vec（skip-gram）。
- 为了进行对比分析，作者还测试了 GloVe、Word2Vec CBOW 和 FastText。
- 参数包括窗口大小为 10，最小词频为 5，以及 200 维输出向量。
偏见测量：
- 作者通过对男性特定词汇（ $\vec{male}$ ）和女性特定词汇（ $\vec{female}$ ）的向量取平均值，定义了一个“男女轴”。
- 主要指标： 计算主题中性词集（ $W$ ）在男女轴上的平均轴投影，公式如下：
  $\text{avg}_{w \in W} \left( \frac{\vec{w} \cdot (\vec{female} - \vec{male})}{||\vec{female} - \vec{male}||^2} \right)$
- 该投影作为特定主题词集（如政府、威胁、育儿、智力）的性别偏见度量。
相关性分析：
- 作者将主题词集的偏见得分与 18 项国际性别差距统计数据（来自全球性别差距指数）以及 5 项基于美国的统计数据（来自 CDC、美国人口普查局和 Represent Women）进行了相关性分析。
- 特征选择： 为了防止过拟合，算法对 20% 的国家/州进行特征选择以筛选主题集内的单词，然后计算其对完整数据集的 $R^2$ 决定系数。此过程重复了五次并取平均值。

关键结果
研究发现，语言偏见与统计性别差距之间存在显著且具有选择性的相关性：

国际发现：
- 政治赋权： “政府”（government）主题词集与政治赋权性别差距指数呈正相关。随着政治语言表现出更强的女性偏向，性别差距随之减小（即女性影响力增加）。
- 经济参与： “智力”（intellect）和“职场”（workplace）词集与经济参与统计数据呈正相关。
- 健康： “疾病”（illness）术语与健康和生存统计数据呈现间接相关。
- 总体差距： 单个单词“漂亮”（pretty）对整体性别差距指数展现了最强的决定系数（ $R^2$ ）。
- 随机基准： 四个随机抽取的词集与任何性别差距均未显示出显著相关性（ $R^2 < 0.09$ ），这证实了结果并非由于方法论产生的伪影。
美国各州发现：
- 薪酬差距： “威胁”（threat）词集（如危险、有毒、可疑）与性别薪酬差距呈强烈的负相关（ $R^2 = 0.51$ ）。在威胁词汇更多与女性相关的州，性别薪酬差距更大（女性每赚 1 美元对应的金额更少）。
- 教育与劳动力： “STEM-校友”（STEM-alum）词汇与数学及计算机科学学位女性比例较高相关。涉及“犯罪”（criminal）行为的词汇与女性州立法者的比例呈负相关。
- 运动： 描述“坚持与奉献”（persistence and devotion）的词汇与运动率的性别差距缩小相关。
算法与指标比较：
- 在测试的四种算法中，Word2Vec (skip-gram) 结合轴投影指标在直接和间接相关性的检测中均获得了最高的决定系数。
- 效价与支配度： 与性别差距扩大相关的形容词，其效价（valence，积极程度）和支配度（dominance）得分明显低于与性别差距缩小相关的形容词。

核心贡献

量化偏见-差距关系： 本文提供了一种量化词嵌入中性别偏见的方法，并能直接将其与 99 个国家和 51 个美国地区的统计性别差距联系起来。
主题特异性： 研究证明性别偏见并非单一整体；特定的主题词集（如政府、威胁）与特定的性别差距领域（如政治权力、薪酬差距）相关，而随机词集则不然。
社交媒体作为文化代理： 本研究验证了即使在语料库规模较小且仅限英语的情况下，Twitter 数据也可以作为计算符合现实统计数据的文化性别偏见的可靠来源。
算法验证： 研究确定了 Word2Vec 配合轴投影是检测这些特定相关性最有效的配置，优于 GloVe、FastText 及其他替代偏见度量方法。

意义与主张
作者声称其工作支持以下三个主要断言：

语言中的文化性别偏见与实际的统计性别差距相关联。
这些偏见可以通过其与特定差距的相关强度和方向来进行表征。
主题词集捕捉了不同维度的性别偏见与差距，从而允许进行细致的分析。

文章得出结论，这些发现符合社会学理论，即隐性性别评价（语言偏见）的差异会体现在性别机会和地位的差异上。然而，作者明确指出其分析展示的是相关性而非因果关系。他们提醒，解释能力是有限的，且仅使用英语推文会造成文化盲点，排除了无法获得技术或不精通英语的人群。建议未来的工作应引入因果模型并扩展到其他语言。