Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection

技术摘要：不平等的判决：调查基于大语言模型的虚假新闻检测中的性别偏见

问题陈述
尽管大语言模型（LLMs）正越来越多地被部署于自动化事实核查和虚假新闻检测领域，但其在这一特定语境下对性别偏见的敏感性仍未得到充分探索。现有文献承认 LLMs 从训练数据中继承了社会刻板印象，但尚无研究系统地量化说话者属性中的性别线索如何影响对相同陈述的真实性判断。这一差距为自动化事实核查系统的可靠性和公平性带来了风险，因为带有偏见的标签可能会仅基于感知的性别来扭曲公众舆论，从而放大或压制特定声音。

研究方法
为了填补这一空白，作者利用真实世界数据，对基于 LLM 的虚假新闻检测中的性别偏见进行了首次系统性调查。

• 数据集增强： 研究利用了 LIAR 基准测试，这是一个由 PolitiFact 手动标注的短句集合。作者通过修改 speaker_job（说话者职业）列对该数据集进行了增强。对于每个陈述，作者生成了三种具有性别特征的说话者职位变体：中性（例如，“律师/Attorney”）、男性（例如，“议员/Councilman”）和女性（例如，“主席/Chairwoman”）。陈述本身保持完全一致，确保只有性别呈现方式发生了变化。
• 数据清洗： 处理过程包括过滤掉非人物条目以及通过姓名或特定语境间接揭示性别的情况。最终清洗后的数据集包含 8,243 个样本（4,805 个为“真”，3,438 个为“假”），每个实例都配有三种性别变体。
• 实验设置： 评估了六个最先进的 LLMs：五个开源模型（Phi-4 14B, Llama-3.1 8B, Llama-3.2 3B, Gemma-3 12B, Qwen-3 14B）和一个专有模型（GPT-4.1 Mini）。这些模型被提示根据陈述内容及特定的性别变体，将陈述分类为“真”（TRUE）或“假”（FALSE）。
• 评估指标： 作者设计了一个全面的框架，从三个维度衡量偏见：
  1. 不稳定性（翻转率）： 测量当性别变体改变时，预测发生变化的频率（成对翻转率、定向翻转率、条件翻转率）。
  2. 聚合分歧： 测量对性别线索的整体敏感度（性别线索敏感指数 - GSI、唯一分歧率 - UDR）。
  3. 公平性差异： 使用人口统计学平价（DP）、等化赔率（EO）和机会均等（EOpp）来评估男性与女性变体之间的系统性差异。

核心贡献

1. 数据集构建： 构建了一个带有性别变体说话者职位的增强版 LIAR 数据集，实现了对虚假新闻检测中性别偏见的受控调查。
2. 评估框架： 设计了一个多指标框架，用于系统地检查性别偏见，区分了预测不稳定性与系统性的定向偏好。
3. 实证证据： 证明了所有评估的模型都表现出性别敏感性，揭示了两种截然不同的偏见表现形式：不稳定性（判断不一致）和方向性（系统性的偏袒）。
4. 资源发布： 公开发布了增强后的数据集，以支持未来的研究和缓解策略。

实验结果
研究发现，所有六个模型都表现出了性别敏感性，尽管偏见的程度和性质存在显著差异：

• 不稳定性： 总翻转率（即一个陈述在不同性别变体下收到不同的标签）范围在 9.79% 至 35.13% 之间。具体而言，男性与女性对比的翻转率在 6.5% 至 23.6% 之间。这表明，近四分之一的陈述仅因性别线索的不同而得到了不同的判决。
• 定向偏见： 六个模型中有五个显示出统计学意义上的定向效应。
  • 男性怀疑论偏见（Male-Skeptic Bias）： Gemma-3 12B 和 Llama-3.1 8B 表现出最强的模式，系统地对男性化编码的说话者分配更多的“假”标签。
  • 女性怀疑论偏见（Female-Skeptic Bias）： Phi-4 14B 和 Qwen-3 14B 显示出将更多“假”标签分配给女性化编码说话者的轻微倾向，尽管其实际规模微乎其微。
  • GPT-4.1 Mini： 该模型表现出卓越的公平性，没有显著的定向效应，且总翻转率最低（5.8%–7.1%）。
• 对真相的敏感性： 六个模型中有五个在针对“真”这一地面真值（ground truth）的陈述时，表现出更高的性别线索敏感性，这表明当陈述缺乏明显的伪造信号时，性别线索对怀疑程度的影响更大。
• 安全对齐： GPT-4.1 Mini 呈现出一种独特的模式，即中性变体的分歧率高于男性或女性变体，这可能表明显性的性别术语触发了强制执行一致性的安全对齐机制。

意义与主张
本文声称，性别偏见从根本上破坏了基于 LLM 的虚假新闻检测的可靠性和公平性。作者断言，如果不进行针对性的缓解，目前的 LLMs 无法作为无偏见的事实核查系统。然而，他们也强调，这些偏见具有模型特异性的特点，这为在架构、训练数据和对齐策略方面进行干预提供了可操作的机会。GPT-4.1 Mini 实现了高度公平的表现，这一发现证明了公平的自动化事实核查是可实现的。作者总结道，为了负责任地利用 LLMs 进行信息验证，具备偏见意识的评估和缓解策略至关重要。