💻 computer science

Quantifying and Mitigating Gender Bias in Legal Large Language Models:A Counterfactual Fairness Framework

本文审计了法律大语言模型在中国违法解除劳动合同赔偿金计算中的性别偏见问题，揭示了反事实不稳定性而非方向性偏见是主要的失效模式，并提出了两种有效的补救措施——反事实对称校准和公平约束微调——通过解决公式知识缺失来减轻这些错误。

原作者： Yikuan Feng, Xiao Li

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Yikuan Feng, Xiao Li

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走进一座巨大的、高科技的图书馆，那里的管理员是超级聪明的机器人。这些机器人读过几乎所有被写下来的书，可以回答关于任何事情的问题，从烹饪食谱到太空旅行。但有一个陷阱：有时，当你问他们一个问题时，仅仅因为你改变了关于自己的一个微小细节（比如你的名字或性别），他们可能会给你一个不同的答案。这在“人工智能”（AI）领域是一个大事，特别是在一个叫做“机器学习”的领域。把这些人工智能模型想象成通过数据学习模式的数字大脑。我们最担心的问题之一是“偏见”。偏见就像一副有色眼镜；如果人工智能戴着一副看待男性和女性不同的眼镜，它可能会做出不公平的决定。通常，我们担心人工智能是“持续性”地不公平——比如总是给男性更好的答案而不是女性。但如果人工智能不是持续性地不公平，而只是“随机地”混乱呢？如果有一天它给你一个很棒的答案，而第二天却给你一个糟糕的答案，仅仅是因为你在问题中换了一个词呢？这就是这篇论文试图解决的谜题。

研究人员决定对四种世界上最流行的“法律大语言模型”（把它们想象成超级律师机器人）进行测试。他们选择了一个非常具体的、充满数学逻辑的工作：计算一名工人在中国被不公平解雇时应该获得多少钱。这里的法律就像一个严格的食谱：如果你工作了5年且月薪1000美元，机器人“必须”精确计算出10,000美元。这里没有猜测的空间。如果机器人说12,000美元，那是错的。如果它说8,000美元，也同样是错的。科学家们创建了50个不同的“如果……会怎样”的故事。在每个故事中，他们要求机器人计算一个男性的赔偿金，然后用完全相同的问题再问一遍，但将工人的性别改为女性。他们总共做了400次这样的实验。

这里有一个令人惊讶的转折。他们原本预期机器人会是“持续性”地偏见，就像一个总是向左倾斜的天平。相反，他们发现了一些更奇怪的事情：不稳定性。机器人们并不是持续地偏袒男性或女性。相反，它们的表现就像一个抖动不安的计算器。对于大多数故事，机器人对男性和女性都给出了完全相同的答案。但对于少数特定的故事，机器人却“发疯”了。它们会给一个男性巨额赔偿，却给女性极少的赔偿，或者反过来，而且没有任何规律可循。这就像一枚硬币，有时落地是正面，有时是反面，有时甚至落在边缘。研究人员称之为“反事实不稳定性”（counterfactual instability）。这是一种可怕的不公平，因为你不能仅仅通过添加一个“修正因子”来修复它。如果机器人是随机出错的，你就无法预测它何时会出错。

为了解决这个问题，团队尝试了两种不同的“创可贴”式的补救方法。第一种是一种被称为**反事实对称校准（CSC）**的聪明技巧。想象一下，你有一个有时会给你错误答案的机器人。与其尝试重新训练机器人（这既困难又昂贵），不如直接在它下面放一个安全网。每当机器人对男性和女性给出不同的答案时，你就忽略机器人的答案，直接使用法律书中的数学公式。这个方法效果惊人。对于某些机器人，它将法律准确度提升了多达72个百分点！这就像是在盘子落地之前接住了它。

第二种补救方法是更深层的“手术”，叫做公平约束微调（FCFT）。在这里，研究人员拿了一个较小的机器人，直接教它那个数学公式，同时告诉它：“嘿，确保你对待男性和女性的方式完全一样。”他们发现了一件非常重要的事：机器人并不是故意刻薄或性别歧视。它们只是不擅长数学！它们给出错误答案的主要原因在于它们并没有真正掌握法律书里的公式。一旦教会了它们这个公式，“性别偏见”基本就消失了。事实证明，机器人并不是戴着有色眼镜；它们只是不会做加法。

最后，这篇论文告诉我们，当我们利用人工智能进行法律决策时，我们不能仅仅信任它能像律师那样“说话”。如果法律是一个数学问题，那么人工智能需要表现得像一个计算器，而不是一个讲故事的人。最大的危险不在于人工智能讨厌某个特定群体，而在于它可能会出现不可预测的混乱。好消息是，我们可以建立安全网来捕捉这些错误，也可以教会机器人规则，让它们不再瞎猜。这提醒我们，在人工智能的世界里，有时最重要的不是机器人听起来有多聪明，而是它能否在不被自己的脚步绊倒的情况下完成简单的数学计算。

技术摘要：量化并缓解法律大语言模型中的性别偏见

1. 问题陈述

本文探讨了法律大语言模型（LLM）中算法偏见这一关键问题，特别关注了中国《劳动合同法》第87条背景下的性别偏见。与结果具有概率性的普通法系（例如再犯风险预测）不同，该领域提供了一个独特的“干净”实验测试床：公平赔偿金额是由法定公式唯一确定的（ $赔偿金额 = 工龄 \times 月薪 \times 2$ ）。

作者认为，现有的偏见研究往往忽视了一种特定的失效模式：反事实不稳定性（counterfactual instability）。以往的研究侧重于方向性偏见（例如系统性地偏袒某一性别），而本研究则调查在其他条件完全相同的提示词中，仅替换单个性别标记是否会导致推荐赔偿金额出现不可预测且针对特定案例的偏差。这种不稳定性违反了反事实公平性（Kusner et al., 2017），并破坏了程序正义，因为它引入了“技术性任意性”，即法律无关的属性（性别）会不可预测地改变结果。

2. 研究方法

2.1 反事实公平性框架

研究使用偏见偏移率 ( $\Delta$ ) 来定义性别偏见：
$\Delta = \frac{R_{male} - R_{female}}{\bar{R}}$
其中 $R_{male}$ 和 $R_{female}$ 分别是仅在原告性别不同的相同场景下所推荐的赔偿金额， $\bar{R}$ 是它们的平均值。

基准真相 ( $R^*$ ): 通过《劳动合同法》公式计算出的法定值。
法律合规性: 若输出落在 $R^*$ 的 $\pm 10\%$ 范围内，则视为合规。
偏见阈值: 若 $|\Delta| > 0.05$ ，则认为该场景存在偏见。

2.2 实验设计

场景构建: 构建了 50 对反事实场景对，通过改变工龄（1–12年）、薪资（4k–30k 元人民币）以及包含法律无关的上下文（教育程度、家庭状况）来模拟现实中的噪声。
评估模型: 通过官方 API 对四种主流 LLM 进行了评估：
- Qwen 3.6 Plus (阿里巴巴)
- DeepSeek V4 Flash (深度求索)
- Gemini 3.1 Flash Lite (Google)
- Claude Sonnet 4.6 (Anthropic)
推理协议: 执行了 400 次确定性推理（ $K=1$ , 温度系数 $= 0$ ）。该设计旨在隔离对性别标记的确定性敏感度，排除采样方差的影响。

2.3 修复策略

提出了两种互补的策略并进行了测试：

反事实对称校准 (CSC): 一种针对闭源模型的后处理安全网。如果 $|\Delta| > 0.05$ ，则将两个性别的输出均替换为法定值 $R^*$ 。该方法无需重新训练模型。
公平性约束微调 (FCFT): 一种针对开源模型（在 Qwen1.5-1.8B-Chat 上进行测试）的参数级方法。训练目标结合了标准语言损失函数与公平性正则项：
$L_{total} = L_{LM} + \lambda \cdot L_{fairness}$
其中 $L_{fairness}$ 对性别调节后的输出分布之间的 KL 散度进行惩罚。消融实验对比了四个变体：基准模型（Baseline）、仅数据对齐（Data Alignment only）、仅 KL 损失（KL Loss only）以及完整的 FCFT。

3. 核心结果

3.1 偏见检测：不稳定性优于方向性

在所有四个模型中，研究发现不存在统计学意义上的显著方向性偏见（所有 Wilcoxon $p > 0.28$ ）。然而，所有模型都表现出显著的反事实不稳定性：

DeepSeek V4 Flash: 不稳定性最低（平均 $|\Delta| = 0.082$ ），86% 的场景显示出一致的推荐结果。
Qwen 3.6 Plus 与 Claude Sonnet 4.6: 不稳定性最高（平均 $|\Delta|$ 分别为 $0.266 $和$ 0.214$），74% 的场景显示出偏见。
分布特征: $|\Delta|$ 的分布呈现重尾特征。虽然某些模型的偏差中位数为零，但少数案例产生了极端的偏差，表明误差是偶发且不可预测的，而非均匀分布。

3.2 法律合规性

DeepSeek 实现了最高的基准法律合规率（78%）。
Claude 和 Gemini 即使在性别中性场景下也表现出相对于法定公式的系统性负向偏差，导致其基准合规率极低（分别为 2% 和 6%）。
结论: 高水平的流畅度和专业措辞（如 Claude 的输出所示）并不与法律准确性相关联。

3.3 修复效果

CSC 表现: 应用 CSC 后，法律合规率大幅提升：
- Qwen: 提升 60 个百分点 (34% $\to$ 94%)。
- Claude: 提升 72 个百分点 (2% $\to$ 74%)。
- DeepSeek: 提升 14 个百分点 (78% $\to$ 92%)。
  该方法成功消除了触发场景中的偏见（ $\Delta \to 0$ ）。
FCFT 消融实验: 诊断性微调表明，缺失公式知识而非编码的性别偏好，是导致偏见的主要驱动因素。
- 变体 B (仅数据对齐): 实现了 97.29% 的法律准确率和最低的 $|\Delta|$ (0.0213)，证明提供法定标签解决了大部分问题。
- 变体 D (完整 FCFT): 进一步降低了 KL 散度 (0.0010)，但相比变体 B 在准确率上略有下降，这表明公平性正则项起到了平滑约束的作用。

4. 重要性与主张

本文提出了三个主要贡献：

首次大规模反事实审计: 本研究提供了对民法系、由公式决定的法律 LLM 进行的首次系统性审计，并将反事实不稳定性刻画为主要的偏见形式，这与方向性歧视截然不同。
修复管线: 本文验证了 CSC 作为闭源 API 低成本、高影响力的安全保障方案，以及 FCFT 作为开源模型的诊断工具。
架构洞察: 结果论证了应将法律计算与语言生成解耦。由于基准真相是一个确定性函数，将数值计算委托给生成式模型会引入不必要的方差。作者提出了一种神经符号架构，其中符号模块负责执行公式，而 LLM 负责上下文处理与解释。

作者强调，这种形式的偏见（不一致性）在聚合层面的群体审计中是不可见的，且无法通过标量调整来纠正，因此必须进行个体层面的反事实测试。他们总结道，对于由公式决定的法律任务，监管标准应强制要求进行反事实公平性审计，并集成公式执行模块以确保程序正义。