💬 NLP

GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations

本文介绍了 GECOBench，这是一个性别控制的数据集和评估框架，它展示了通过微调预训练模型（如 BERT），特别是通过重新训练嵌入层，如何显著减轻可解释人工智能方法所生成的特征归因中的性别偏见。

原作者： Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、博学多才的机器人，名叫 BERT。BERT 阅读了数百万本书籍、网站和文章（比如维基百科）来学习如何像我们一样说话和理解。因为阅读了大量内容，它也吸收了那些旧文本中隐藏的偏见和刻板印象。例如，它可能会下意识地认为“医生”应该对应“他”，“护士”应该对应“她”，即使这些词本身并不是做出决策的原因。

现在，想象一下你问 BERT 为什么 它做出了某个特定的决定。它指向某些词并说：“我选择这个是因为这些词！”这被称为 可解释人工智能 (Explainable AI, XAI)。问题在于：BERT 是在说实话，还是仅仅在指向那些符合其旧有刻板印象的词？

这篇论文介绍了一个名为 GECOBench 的新工具，用于测试这些 AI 的解释是否诚实，特别是关于性别的方面。

“性别翻转”游戏 (GECO 数据集)

为了测试 BERT，研究人员创建了一个特殊的游乐场，叫做 GECO。把它想象成一个“填词游戏”（Mad Libs），但有一个严格的规则：只能改变代词。

他们拿了一个句子：

“她喜欢和她最喜欢的猫待在一起。”

然后，他们创建了这两个完全相同的句子孪生兄弟，仅改变了性别化的词汇：

男性版本： “他喜欢和他的最喜欢的猫待在一起。”
非二元性别版本： “他们喜欢和他们的最喜欢的猫待在一起。”

除此之外的一切——猫、喜爱、度过的时间——都保持完全相同。

为什么这是一个游戏？
在这个游戏中，答案从“男性”变为“女性”的唯一原因就是代词。如果一个 AI 查看这个句子并说：“我知道这是关于女性的，因为‘猫’这个词”，那么它是错误的。“猫”是一个红鲱鱼（干扰项）；它是一个诱饵。唯一的“真实”线索是代词。

因为研究人员这样构建了这些句子，所以他们知道 地面真值 (Ground Truth)：AI 必须指向代词才是正确的。如果它指向了“猫”，那么这个解释就是谎言（或者至少是有偏见的）。

“真相检测器” (GECOBench)

研究人员使用这个数据集构建了一个名为 GECOBench 的测试框架。他们将这些句子喂给 BERT，并问道：“哪些词让你做出了这个决定？”

然后，他们将 BERT 的回答与“地面真值”（即代词）进行对比。他们使用了一种名为 质量准确度 (Mass Accuracy) 的评分系统：

完美得分： AI 仅指向代词。
低分： AI 指向了代词以及其他无关的词（如“猫”或“厨房”），或者完全漏掉了代词。

他们的发现

研究人员测试了 BERT 在不同的“训练模式”下的表现，以观察如何修复其糟糕的解释：

“冻结”状态的 BERT： 他们让 BERT 使用其预训练的大脑，而不做任何改变。
- 结果： 解释非常混乱。BERT 不断指向刻板印象词汇（如“厨房”或“汽车”），而不是仅仅指向代烃。它是带有偏见的。
“微调”后的 BERT： 他们在这些新的“性别翻转”句子上重新训练了 BERT 大脑的特定部分。
- 结果： 当他们重新训练 嵌入层 (Embedding Layer)（即理解单词基本含义的大脑部分）时，解释变得好多了。BERT 终于学会了忽略刻板印象，并只专注于代词。

核心要点：
即使一个模型得到了正确的答案（例如，正确识别出“他”是男性），它的解释仍可能是在撒谎，如果它依赖于旧有的偏见。这表明你不能仅仅信任 AI 的解释；你必须检查它是否在指向正确的线索。

“模式”基准 (The "Pattern" Baseline)

研究人员还将 BERT 与一种简单的、传统的数学方法——模式变体 (Pattern Variant) 进行了比较。这种方法没有充满偏见的“大脑”；它只是观察单词出现的数学规律。

令人惊讶的是： 在许多情况下，这种简单的数学方法实际上比复杂的 AI 更擅长寻找“真相”。这证明了 AI 的复杂性反而阻碍了它的诚实性。

总结

问题： AI 模型经常给出看起来不错但实际上基于隐藏偏见（如性别刻板印象）的解释。
解决方案： 一个新的数据集 (GECO)，其中唯一改变的是性别，从而创造了一个 AI 必须遵循的“真相”。
结果： 通过重新训练 AI 对单词的理解（嵌入层），我们可以迫使它给出诚实的解释，使其专注于实际的线索，而不是刻板印象。

论文结论认为，这只是第一步。这就像教学生停止根据刻板印象进行猜测，而是开始观察实际的证据。虽然这项特定的测试是关于性别的，但该方法可以用于检查 AI 在任何话题上是否诚实。

技术摘要：GECOBench：用于量化解释中偏见的性别控制文本数据集与基准测试

问题陈述

大型预训练语言模型（PLMs），如 BERT，是在包含固有社会偏见（包括性别刻板印象）的海量语料库上训练的。虽然这些偏见已知会影响模型的权重和预测行为，但目前尚不清楚这些偏见在多大程度上传播到了可解释人工智能（XAI）方法生成的**特征归因（feature attributions）**中。具体而言，目前缺乏严谨的、以数据为中心的框架来评估 XAI 方法是正确识别了驱动预测的特征，还是在无意中强调了预训练数据中存在的有偏且非因果的关联。目前的基准测试通常依赖于“忠实度（faithfulness）”指标或人工标注的理由（rationales），这些指标可能与统计关联或地面真值（ground truth）特征重要性并不一致，从而难以客观地评估解释在存在偏见时的正确性。

研究方法

1. GECO 数据集

作者引入了 GECO，这是一个旨在为性别分类任务提供地面真值特征归因的性别控制文本数据集。

构建方式： 句子来源于维基百科中对应经典小说的页面（通过 Gutenberg 项目）。
操纵方式： 每个句子都生成了三种语法性别变体：男性 ( $x^M$ $x^{M}$ )、女性 ( $x^F$ $x^{F}$ ) 和非二元性别 ( $x^{NB}$ $x^{N B}$ )。
- 仅主语操纵 ( $D_S$ )： 仅改变语法主语代词（例如，“She” $\to$ “He”）。这创造了一个更具挑战性的任务，即模型必须区分主语和宾语的性别。
- 全性别操纵 ( $D_A$ )： 所有性别相关词汇（代词、物主代词以及性别化名词，如“Aunt” $\to$ “Uncle”）均被改变。
地面真值（Ground Truth）： 根据构建规则，被改变的词汇是唯一具有辨别性的特征。因此，地面真值特征归因图是二元的：对于改变的词汇为 1，对于所有其他词汇为 0。这使得能够客观评估 XAI 方法是否强调了统计相关的特征（统计关联属性 - SAP）。
偏见验证： 作者使用共现度量（co-occurrence metric）验证了该数据集本身是无偏的，确保解释中的偏差源于模型的预训练偏见而非数据本身。

2. GECOBench 框架

GECOBench 是一个应用于 GECO 数据集的定量评估框架，用于评估 XAI 的性能。

模型： 该框架评估了在四种不同训练范式下的预训练 BERT 模型，以隔离不同架构层的影响：
1. BERT-C： 仅重新训练分类层；嵌入层（Embedding）和注意力层（Attention）保持固定。
2. BERT-CE： 从头开始重新训练嵌入层和分类层；注意力层保持固定。
3. BERT-CEf： 对嵌入层和分类层进行微调（fine-tuning）；注意力层保持固定。
4. BERT-CEfAf： 嵌入层、注意力层和分类层全部进行微调。
- 基准模型： 使用零样本（zero-shot）BERT 模型（BERT-ZS）和一个在 GECO 上从头训练的普通单层注意力模型（OLA-CEA，无预训练偏见）作为对比。
评估的 XAI 方法： 研究应用了各种后验归因方法，包括基于梯度的算法（Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients）和代理方法（LIME, Kernel SHAP, Gradient SHAP）。
评估指标： 使用 质量准确度（Mass Accuracy, MA） 指标来量化正确性。MA 衡量归一化归因分数与地面真值二元掩码之间的重叠程度，在惩罚假阳性（强调非地面真值词汇）的同时，对假阴性（遗漏部分地面真值词汇）具有鲁棒性。
偏见量化： 作者定义了 相对质量准确度（Relative Mass Accuracy, RMA） 来衡量解释性能相对于零样本基准的偏差，从而量化“解释偏见”。

核心贡献

GECO 数据集： 一个新型的、性别控制的文本数据集，具有词级别的地面真值特征归因，能够客观评估基于统计关联的 XAI 正确性。
GECOBench： 一个严谨的基准测试工作流，用于量化预训练偏见如何影响特征归因，以及微调策略如何减轻这些偏见。
对解释中偏见的实证分析： 论文证明了特征归因方法易受预训练偏见的影响，并且这些解释的正确性高度依赖于模型的哪些层被进行了微调。

结果

解释性能 (RQ1)

数据集难度： 在所有方法中，仅主语数据集 ( $D_S$ ) 的性能普遍低于全性别数据集 ( $D_A$ )，这可能是由于辨别性 Token 数量减少所致。
方法比较： Integrated Gradients、LIME 和 Gradient SHAP 的表现持续优于其他方法及随机基准。
基准比较： 模式变体（Pattern Variant）（一种基于输入-目标协方差的模型无关方法）作为性能的上界。虽然没有任何方法能达到模式变体的得分，但 Integrated Gradients 和 Gradient SHAP 在迁移学习阶段表现良好。
无偏模型： OLA-CEA 模型（从头训练，无预训练偏见）在所有方法中均显示出显著更高的解释性能，证实了预训练偏见会降低解释质量。

偏见缓解 (RQ2)

层依赖性： 解释性能与微调层的数量之间存在明显的依赖关系。
嵌入层影响： 重新训练或微调了嵌入层的模型（BERT-CE, BERT-CEf）与固定嵌入层的模型（BERT-C）相比，在解释正确性方面表现出最显著的提升。
残余偏见： 即使在不同训练范式下分类准确度保持一致的情况下，带有固定嵌入层的模型仍保留了负面影响特征归属正确性的残余偏见。研究表明，微调嵌入层是减轻这些偏见最有效的策略。
具体观察： 在某些情况下，由于预训练关联，有偏模型会强调无关词汇（例如，强调“Bella”而不是代词“she”），而无偏模型则能正确聚焦于改变后的代词。

重要性与主张

论文声称 GECOBench 提供了第一个用于评估 NLP 中特征归因正确性的原则性、以数据为中心的框架，特别解决了以模型为中心的解释与以数据为中心的解释之间的张力。

偏见传播： 研究表明，预训练语料库中的偏见不仅限于预测输出，还渗透到了 XAI 生成的解释中。
正确性作为偏见指标： 作者认为，特征归属的数据中心正确性（特别是对 SAP 的遵循）是底层模型偏见的指示器。
缓解策略： 结果表明，仅仅微调分类头不足以获得无偏解释；重新训练或微调嵌入层对于减轻预训练偏见对特征归属的影响是必要的。
范围： 作者将这项工作定位为系统性评估 XAI 偏见的第一步。他们承认了局限性，例如将性别简化为代词改变以及侧重于单变量统计关联，但强调该框架成功地在受控设置中分离并量化了偏见对解释正确性的影响。

论文总结道，在使用 XAI 方法进行模型调试或针对预训练模型的下游任务（如情感分析）时需要保持谨慎，因为有偏的归因可能会强调伪造的性别相关 Token，而非语义相关的特征。