GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

技术摘要：GKnow：衡量性别偏见与事实性性别知识的纠缠

问题陈述
近期的机械可解释性研究致力于通过分析负责产生偏见输出的特定组件，来识别和缓解大型语言模型（LLM）中的性别偏见。然而，当前的方法存在两个主要局限性：(i) 它们通常针对非常具体的任务，例如性别代词预测；(ii) 它们未能区分事实性性别（名词与其性别之间正确的语义关联，例如“女人”$\to$“她”）和刻板性别（基于社会刻板印象的输出，例如“护士”$\to$“她”）。

这种缺乏区分导致去偏见努力中出现了一个关键的副作用：模型事实性性别知识的退化。现有研究表明，性别偏见和事实性性别信号在模型内部表示中是相互纠缠的，但这种纠缠在电路和神经元层面的机制故事在很大程度上仍未被解释。因此，简单的去偏见技术（如神经元消融）可能会在声称在偏见基准测试上取得成功的同时，意外地移除模型正确预测事实性性别的能力。

方法论
为了弥补这些空白，作者提出了一种多管齐下的方法，结合数据集构建、电路分析以及在两个仅解码器 Transformer 模型（Llama-3.1-8b和Olmo-7b）上进行的神经元消融实验。

1. 数据集构建（GKnow）：
   作者引入了GKnow，这是一个旨在评估跨多种预测类型的性别知识和偏见的基准。GKnow 根据假设（主语）和预期输出对提示进行分类。该数据集包括：

   • 事实性子集： 基于词汇性别化的名词（例如“女人”）、姓名和明确的性别指示词。
   • 刻板性子集： 基于刻板性别化的职业（例如“护士”）或特征（例如“养育”）。
   • 预测类型： 性别代词预测、性别识别和姓名预测。
     GKnow 允许将任务分离为“刻板性”（易产生偏见）和“事实性”（基于知识）类别，以衡量纠缠程度。

2. 电路分析：
   使用EAP-IG（带集成梯度的边归因补丁），作者识别了负责性别预测的最小忠实电路。他们分析了：

   • 交并比（IoU）： 衡量不同任务电路之间边和节点的重叠程度。
   • 跨任务忠实度： 评估为某一任务（例如刻板预测）识别的电路是否能忠实地复现不同任务（例如事实预测）的行为。

3. 神经元级分析与消融：
   作者采用集成梯度来识别任务相关的神经元，特别是那些与刻板预测相关的神经元（因为这些通常是去偏见的目标）。他们对识别出的前 10 个和前 50 个神经元执行神经元消融（将激活值设为零）。

   • 评估： 消融的影响在 GKnow、StereoSet和DiFair（用于解耦评估性别知识和偏见的基准）上进行测量。
   • 指标： 研究追踪了$P_{exp}$（预期 token 的概率）、$P_{opp}$（相反性别 token）、$P_{other}$以及男性化输出和女性化输出之间的概率差距（$\Delta$）。

关键结果

• 电路级纠缠：

  • 负责刻板性别预测和事实性性别预测的电路显示出高度的重叠和极低的分离度。
  • 跨任务忠实度很高：为刻板任务识别的电路可以恢复事实任务的性能（反之亦然）。例如，将基于刻板的gender_prediction_based_on_stereo电路应用于基于代词的gender_prediction_based_on_pronoun子集，实现了 1.0 的忠实度。
  • 这表明事实性性别和刻板性别在电路层面严重纠缠。

• 神经元级纠缠与消融效应：

  • 消融通过刻板提示识别的神经元会导致模型预测事实性性别的能力显著下降。
  • 在GKnow 事实性子集中，消融前几个神经元导致$P_{exp}$急剧下降（例如，Llama 模型中 50 个神经元从 91.49% 降至 79.86%），同时$P_{opp}$和$P_{other}$增加。
  • 关键的是，虽然消融通常会改善刻板基准测试的指标（例如降低 StereoSet 中刻板预测的$P_{exp}$），但这些“积极”结果掩盖了事实性性别能力的同时崩溃。
  • 男性化输出和女性化输出之间的概率差距（$\Delta$）显著减小，表明在事实性和刻板性子集中，对性别化预测的信心均有所丧失。

• 人类可解释性：

  • 使用Logit Lens技术，作者发现跨不同性别任务的共享神经元是人类可解释的。例如，在 Olmo 和 Llama 中发现特定的神经元会抑制或促进特定的性别化 token（例如代词“她”或姓名“玛丽”），无论是在事实性还是刻板性语境中。

主要贡献

1. GKnow 基准： 构建了 GKnow，填补了现有资源在评估英语中跨多种任务类型的性别偏见与事实性性别知识纠缠方面的空白。
2. 电路级证据： 通过 EAP-IG 证明，刻板性别信号和事实性性别信号纠缠在相同的计算电路中，挑战了它们可以轻松分离的假设。
3. 神经元消融分析： 实证发现，简单的神经元消融虽然在特定基准测试上可能有效减少刻板偏见，但会严重损害事实性性别知识。这表明消融作为一种独立的去偏见方法是不可靠的。

意义与主张
该论文认为，性别偏见与事实性性别知识的纠缠是当前 LLM 架构的一个基本属性，在电路和神经元层面均可观察到。作者声称：

• 当前的去偏见方法存在缺陷： 像神经元消融这样针对“偏见神经元”的技术，由于底层机制是共享的，会意外地破坏事实性知识。
• 评估基准不足： 不考虑事实性性别的基准（如 StereoSet）可能会掩盖去偏见尝试所导致的语言能力退化。
• 未来工作需要稳健的评估： 迫切需要能够明确衡量在减少偏见的同时事实性性别知识保留情况的性别偏见评估数据集。

作者最后警告不要将“未经过滤的神经元消融”作为性别去偏见的唯一方法，强调如果没有像 GKnow 这样稳健的基准，该领域冒着以牺牲基本语言理解为代价来改善偏见指标的风险。论文承认了局限性，指出目前的发现特定于英语和相对较小的模型，且性别偏见可能以他们基于职业和形容词的刻板印象未涵盖的形式表现出来。