💬 NLP

Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

本文介绍了“公平性剪枝”（Fairness Pruning），这是一种轻量级的结构化干预手段，通过识别并将 GLU-MLP 层中特定的神经元置零，从而实现对大语言模型中人口统计学偏见的定位，并证明了此类外科手术式的修改可以在显著改变偏见响应的同时，保留超过 99% 的模型的推理与知识能力。

原作者： Pere Martra, Eugenio Martínez Cámara, Alfonso Ureña López

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pere Martra, Eugenio Martínez Cámara, Alfonso Ureña López

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你刚刚建造了一个巨大的、超级聪明的机器人图书管理员。你喂给了它人类写过的每一本书、每一个网站和每一篇日记，好让它学会如何像人类一样说话。但有一个陷阱：因为现实世界在几个世纪以来一直存在不公平，这个机器人也学会了那些不公平的习惯。如果你问它关于医生的问题，它可能会仅仅因为在训练数据中看到了成千上万次的这种模式，就猜测是“他”而不是“她”。这并不是因为机器人是“邪恶”的；它只是一个反映了它所学习到的混乱历史的镜子。

科学家们称这些不公平的习惯为“人口统计学偏差”（demographic bias）。长期以来，修复它们就像试图通过把整件白衬衫浸入漂白剂来去除污渍一样。你可能去掉了污渍，但你也可能会毁掉织物，让机器人忘记如何做数学或写故事。但最近，一个名为“机械可解释性”（mechanistic interpretability）的新领域开始观察机器人的大脑内部，看看这些想法究竟是在哪里发生的。事实证明，机器人的大脑并不是一团巨大的、模糊的浓汤；它更像是一个拥有数百万个微小工人（神经元）的城市，而且也许，仅仅是也许，只有少数特定的工人负责那些坏习惯。

这就是一个名为“公平剪枝”（Fairness Pruning）的新实验的故事。研究人员想要看看他们是否可以找到那些特定的“偏差工人”，关掉它们，并在不破坏机器人大脑的情况下修复其偏见。他们不想重新训练整个机器人，也不想使用昂贵的超级计算机；他们想要一种微小的、外科手术式的修复。

寻找“偏差神经元”

研究人员使用了一个聪明的技巧。他们创建了一对对句子，这些句子除了提到的一个微小细节外，其余部分完全相同：即提到的受人口统计学影响的群体。例如，一个句子可能会说：“那位老的邻居敲了门”，而另一个句子则是：“那位年轻的邻居敲了门”。

他们将这些成对的句子输入机器人，并观察其大脑内部发生了什么。他们正在寻找那些当单词从“老”变为“年轻”时，反应不同的特定“工人”（神经元）。如果一个神经元对这种变化反应强烈，这意味着该神经元正在关注年龄偏差。

他们发现了一些非常迷人的现象：这些对偏差产生反应的神经元并不是随机散布在各处的。它们集中在机器人大脑的最末一层，就在它决定下一步要说什么之前。这就像是发现学校里所有的八卦都是由坐在后排的一群学生在铃声响起前窃窃私语传递的一样。

“关掉它”实验

一旦找到了这些特定的神经元，研究人员尝试了一个大胆的实验：他们将它们“归零”（zeroed out）。在计算机术语中，这意味着他们告诉机器人：“假装这些特定的工人不存在。”他们在拥有超过 131,000 个神经元的层中，关闭了最少 1 个和最多 40 个神经元。这还不到总劳动力的 0.031%！

在这里，故事发生了一个小转折。研究人员原本预期，关闭这些“偏差工人”会单纯地让机器人变得不再有偏见。但机器人不仅没有变得更好，反而变得很“怪”。

有时，关闭这些神经元会让机器人减少偏见，这很棒。但有时，它会让偏见变得更严重，或者将其翻转到另一个极端。想象一下你在试图修理一台声音太大的收音机。你本以为只是想调低音量，结果却不小心切换到了另一首歌，或者让音乐倒着播放了。

论文解释说，这是因为他们使用的“偏差得分”只测量了神经元反应的程度，而没有测量它反应的方向。一些被关闭的神经元实际上是在试图阻止偏差，而另一些则是在导致偏差。通过同时关闭所有这些神经元，研究人员在无意中把“刹车”和“油门”一起拆除了。结果是一种混乱的混合状态，机器人的行为变得不稳定，在一种刻板印象和另一种刻板印象之间剧烈摆动。

他们弄坏机器人了吗？

最重要的核心问题是：修复偏差是否破坏了机器人的思考能力？它还能做数学吗？它还能回答关于历史的问题吗？

答案是肯定的。即使在关闭了多达 40 个神经元后，机器人仍保留了 99.49% 的通用知识和推理能力。这就像是从一座宏伟的城堡中移走了几块特定的砖头，而城堡甚至都没有晃动。这证明了一个巨大的观点：处理“通用聪明才智”的部分和处理“不公平刻板印象”的部分，位于不同的街区。你可以干扰其中一个，而不必摧毁另一个。

这对未来意味着什么

这篇论文并不声称已经“解决”了 AI 偏差问题。事实上，它表明仅仅关闭这些神经元是一种过于粗糙的工具。这就像试图通过随机左右猛拽方向盘来驾驶汽车一样；你可能会碰巧成功，但更有可能发生车祸。

然而，这次实验是一个巨大的成功，它证明了偏差存在于特定的、可识别的位置。研究人员建议，下一步不仅仅是“关闭”这些神经元，而是要准确了解它们推行的方向。如果他们知道某个神经元正在将机器人推向某种坏的刻板印象，他们就可以轻轻地把它往相反的方向推，而不是直接删除它。

因此，虽然他们这次并没有完美地修复偏差，但他们找到了地图。他们向我们展示了，AI 的“坏习惯”并不是无处不在；它们隐藏在脑部特定的、微小的角落里，并且通过正确的工具，我们或许能够温柔地引导它们变得公平，而无需重新构建整个机器人。

技术摘要：公平性剪枝 (Fairness Pruning)

问题陈述
大型语言模型（LLMs）继承并放大了其预训练语料库中存在的人口统计学偏差。目前的缓解策略在生命周期的三个不同阶段进行干预：预训练数据过滤、后训练微调/对齐，以及后处理表示编辑。作者认为，这些方法存在一个结构性缺陷：它们要么同时对所有模型权重进行干预，要么在修改嵌入（embeddings）时无法区分编码偏差的权重与支持通用能力的权重。这种缺乏特异性的做法存在降低模型通用性能或导致灾难性遗忘的风险。虽然机械解释性（例如稀疏自编码器，SAEs）提供了精确度，但它需要大量的计算资源进行额外训练，从而在规模化的干预与精准且经济的偏差剖析之间造成了鸿沟。

方法论：公平性剪枝
本文提出了一种名为“公平性剪枝”的轻量级、结构化干预方法，旨在定位并缓解人口统计学偏差，且无需额外的训练。该方法专门针对基于 GLU 的 MLP 架构（如 Llama、Salamandra）设计，并通过一个四阶段流水线运行：

对比提示词构建： 该方法利用极简的对比提示词对，其中唯一的区别是一个人口统计属性（例如，“男人”与“女人”）。为确保有效的激活比较，提示词对中的两个提示词必须被分词为完全相同的 token 数量。作者发布了两个公开数据集（英语和西班牙语），涵盖五个类别：年龄、性别、外貌、种族/民族以及宗教。
差异化激活捕获： 在推理过程中，该方法捕获 MLP 块中 down_proj 层输入的激活值。选择这个特定点是因为在 SwiGLU 架构中，神经元的有效贡献是 gate_proj 和 up_proj 输出的乘积，随后由 down_proj 进行投影。
神经元评分：
- BiasScore（偏差得分）： 计算为一对提示词中平均激活值的绝对差值，并在某一类别的所有提示词对上取平均值。这可以识别出对人口统计变化产生差异化反应的神经元。
- FairnessPruningScore（公平性剪枝得分）： 一个结合了 BiasScore 与结构重要性（通过峰对峰幅度，PPM 进行估算）的复合指标。然而，在探索性实验（移除 $\le$ 40 个神经元）中，作者发现仅靠 BiasScore 就足够了，因为干预规模太小，尚不需要对结构重要性进行惩罚。
选择性清零： 被识别出的神经元通过将 gate_proj 和 up_proj 中的对应行，以及 down_proj 中的对应列设为零来进行“清零”。这种对称操作确保了该神经元从残差流（residual stream）中被移除。

核心贡献

一种无需训练的定位方法： 一种利用对比提示词上的差异化激活来定位 LLM 中人口统计学偏差的方法，可在消费级硬件上运行且无需额外训练。
公开数据集： 发布了与 BBQ 和 EsBBQ 基准测试对齐的英语和西班牙语对比提示词对数据集。
可分离电路的经验证据： 证明了人口统计属性处理与通用模型能力运行在足够可分离的电路之上，允许进行有针对性的干预，而不会显著降低推理或知识水平。
双向不稳定性的发现： 证明了通过使用无符号差异激活得分所选出的神经元进行清零，会对聚合偏差产生非单调、符号反转的效果。这表明候选集混合了放大刻板印象与抑制刻板印象的神经元，其净效应取决于哪种符号占主导地位。

结果

定位： 偏差信号在 MLP 块的最终层中得到了稳健的定位。在 Salamandra-2B 中，某一类别中高达 94% 的最显著偏差神经元都位于最后一层。这些神经元的空间结构在层宽度内是分散的，而非连续的。
电路特异性： 不同人口统计类别的电路之间重叠度很低（例如，性别电路与其他类别共享极少的神经元），表明存在功能专业化。
干预效果：
- 偏差： 清零识别出的神经元并未产生平滑的偏差降低。相反，它导致了“双向偏差不稳定化”。在某些情况下，偏差减少了；而在其他情况下，偏差被放大或反转（例如，从刻板印象转向反刻板印象）。这证实了所选神经元作为具有相反效应的调节器起作用，而盲目清零会破坏这种调制机制。
- 能力： 干预极其精准。在 Llama-3.2-1B 中清零多达 40 个神经元（不到总 MLP 宽度的 0.031%）后，推理和通用知识基准测试（WikiText, MMLU, ARC-Challenge, HellaSwag）的平均保留率仍高达 99.49%。
定性观察： 生成文本的示例显示，同一组被清零的神经元可以在一个语境下减少偏差，而在另一个语境下放大偏差，或者使事实知识（如“法国的首都是哪里”）保持完全不变。

意义与主张
论文声称为从“盲目清零”向“定向行为调制”的转变奠定了方法论基础。

可分离性： 主要发现是偏差处理与通用能力是可分离的，这验证了偏差集中在可识别的神经元中而非弥散分布的假设。
无符号指标的局限性： 该工作强调，使用无符号差异得分（仅幅度）会导致不可预测的结果，因为它混淆了放大器和调节器。
未来方向： 作者认为，下一步不是简单地移除更多神经元，而是将数据集演变为非对称的（即预先知道哪个提示词是有偏的）。这将允许使用有符号的 BiasScore，从而实现“激活转向”（通过乘法缩放）而非清零，从而在无需梯度更新的情况下推动模型走向中立。

该研究规模较小，局限于参数量低于 40 亿的模型，并侧重于通过多项选择基准测试考察显性的人口统计属性。它明确排除了注意力机制和开放式生成动态，并指出观察到的不稳定动态在没有进一步研究的情况下，可能无法直接推广到这些设置中。

寻找“偏差神经元”

“关掉它”实验

他们弄坏机器人了吗？

这对未来意味着什么

技术摘要：公平性剪枝 (Fairness Pruning)

类似论文