💬 NLP

White-Box Sensitivity Auditing with Steering Vectors

本文提出了一种针对大语言模型的白盒敏感性审计框架，该框架利用激活调控技术操纵内部概念，揭示了在高利害决策任务中对受保护属性的显著依赖，而此类依赖往往难以被标准的黑盒评估所察觉。

原作者： Hannah Cyberey, Yangfeng Ji, David Evans

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hannah Cyberey, Yangfeng Ji, David Evans

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在招聘一名新员工，并且有一个计算机程序（大型语言模型，或称 LLM）协助你决定录用谁。你希望确保计算机不会基于性别或种族暗中歧视人们。

目前，大多数人使用“黑盒”方法来检查这种偏见。这就像向计算机发送一份署名为“约翰”的简历，看看它是否拒绝录用，然后再发送一份署名为“简”的简历，看看它是否录用她。如果结果相同，你就会认为计算机是公平的。

问题所在：
本文作者认为，这种“黑盒”方法就像试图仅通过观察速度表来了解汽车发动机的工作原理。你可以看到汽车是快是慢，但无法看到发动机是否点火不良，或某个特定齿轮是否损坏。计算机可能在文本中忽略了“约翰”或“简”这个名字，但它仍可能在其大脑（内部代码）中以一种隐蔽的方式“思考”性别或种族，而基于文本的测试无法察觉这一点。

解决方案：“白盒”敏感性审计
作者提出了一种检查计算机的新方法，称为“白盒”审计。他们不再仅仅发送不同的简历，而是深入计算机的“大脑”，轻轻拨动其内部思维。

以下是他们如何操作，使用了一个富有创意的类比：

类比：“思维旋钮”

想象计算机的大脑有一个巨大的控制面板，上面有数千个旋钮。每个旋钮控制一个特定概念，例如“性别”、“种族”或“信用风险”。

找到旋钮（导向向量）： 首先，研究人员确定哪个旋钮确切地控制“性别”概念。他们称之为“导向向量”。这就像找到机器内部用来调高或调低“男性/女性”音量的确切旋钮。
转动旋钮（激活导向）： 他们不改变简历上的文本（例如将“约翰”改为“简”），而是让文本保持完全不变。相反，他们在计算机内部物理转动“性别旋钮”。
- 他们将其略微转向“女性”一侧。
- 然后将其略微转向“男性”一侧。
- 他们在计算机查看完全相同的简历时进行这些操作。
测量反应（敏感性）： 如果计算机真正公平，转动“性别旋钮”不应改变其对简历的决定。无论他们如何扭转那个特定旋钮，决定都应保持不变。
- 如果决定发生变化： 计算机对性别“敏感”。这意味着该决定暗中依赖于那个隐藏的旋钮，即使文本中没有提到“性别”。
- 如果决定保持不变： 计算机对性别“不变”（不受影响）。它实际上是公平的。

他们的发现

研究人员在四种严肃情境下测试了这种方法：司法审判（判断某人是否有罪）、信用评分（判断某人是否获得贷款）、大学录取和医疗诊断。

黑盒的谎言： 在许多情况下，旧方法（更改文本中的名字）表明计算机是公平的。它们显示群体之间几乎没有差异。
白盒的真相： 当研究人员转动内部旋钮时，他们发现计算机实际上对性别和种族非常敏感。
- 示例： 在信用评分测试中，旧方法表明计算机是公平的。但当他们转动内部的“性别旋钮”时，计算机突然开始比拒绝“男性”档案更频繁地拒绝“女性”档案，尽管文本从未改变。偏见隐藏在机器内部，而非文字之中。

为什么这很重要

本文声称，旧的测试方法就像只通过查看外墙来检查房屋是否漏水。你可能会错过管道内部发生的漏水。

他们的新方法就像打开墙壁，直接检查管道。他们发现：

隐藏偏见是真实的： 计算机通常存在基于文本的测试完全无法察觉的隐藏偏见。
更可靠： 他们的方法无论测试如何设置都能提供一致的结果，而旧方法则根据措辞方式给出令人困惑、相互矛盾的答案。
精确： 他们可以仅调整“性别”旋钮，而不会意外改变计算机对该人工作或教育的看法。

简而言之： 作者构建了一种工具，可以窥探计算机的“大脑”并拨动其内部旋钮，以查看其是否暗中存在偏见。他们发现，许多计算机以前无法察觉的方式存在偏见，这证明我们需要查看引擎盖下，而不仅仅是仪表盘，以确保人工智能的公平性。

技术摘要：基于导向向量的白盒敏感性审计

问题陈述

当前针对大语言模型（LLM）的算法审计主要依赖黑盒评估，即仅通过输入 - 输出测试来评估模型行为。这些方法面临三个关键局限：

表面层限制：它们局限于在输入空间中构建的测试（通常由启发式方法生成），因此容易受到提示敏感性和结果不一致的影响。
抽象概念困难：许多与社会相关的属性（如性别或种族偏见）涉及抽象概念，仅凭文本输入难以精确封装或操纵。当显式受保护属性被扰动时，模型可能看似无偏见，但仍通过隐式代理表现出偏见。
古德哈特定律风险：供应商可能优化模型以通过特定的黑盒测试，而未解决根本问题，导致评估不可靠。

虽然白盒访问（权重、激活、梯度）在理论上更有助于理解内部机制，但以往的研究尚未提供在实践中进行此类审计的具体技术方案。

方法论

作者提出了一种白盒敏感性审计框架，利用激活导向来操纵模型内部表示并评估对特定概念的敏感性。该框架改编自 Kim 等人（2018）的事后可解释性方法，并利用无监督的**加权均值差异（WMD）**方法（Cyberey 等人，2025）进行向量提取。

审计过程遵循六步框架：

背景与需求：定义部署场景和系统要求（例如，信用评分中对性别的不敏感性）。
测试构建：设计与预期用途一致的代表性测试模板。
导向向量提取：
- 使用涵盖目标概念 $C$ 不同程度（例如，性别化语言或方言差异）的数据集 $D_C$ 。
- WMD 方法通过根据输入激活的离散度得分（对比概念间输出概率的差异）对输入激活进行加权，计算导向向量 $v_C$ 。
- 应用中性偏移以过滤无关信息，层选择基于线性可分性。
敏感性测试：
- 对于一组测试输入 $D$ ，受保护属性的显式标记被中和或移除。
- 输入的内部表示 $h_x$ 被扰动： $h'_x = h_x + \lambda v_C$ ，其中 $\lambda \in [-1, 1]$ 是导向系数。
- 模型针对不同的 $\lambda$ 值生成导向输出 $y'$ 。
合规性评估：
- 通过拟合导向系数 $\lambda$ 与输出 $y'$ 之间的线性回归计算敏感性指标（ $S_C$ ）。斜率代表模型对概念 $C$ 的平均依赖程度。
- 不变性要求：如果 $|S_C| \le \epsilon$ （可忽略的敏感性），则模型满足要求。
- 依赖性要求：如果 $|S_C| \ge \epsilon$ （显著且可预测的敏感性），则模型满足要求。

主要贡献

具体的白盒框架：本文介绍了一种实用的端到端审计方法，该方法利用对模型内部的目标干预，而非表面层的输入扰动。
新颖的评估指标：它应用激活导向，通过方向导数测量模型敏感性，允许在分级尺度上（而非二元通过/失败）对模型属性（如偏见）进行细粒度评估。
通用性：该方法证明，从通用数据集（如性别化语言）中提取的导向向量，可用于操纵任务特定输入（如贷款申请）中的概念，即使这些输入与提取数据无关。
鲁棒性：与黑盒扰动策略中观察到的变异性相比，该方法在不同向量来源下能产生更一致的评估结果。

实验结果

该方法在四个高风险决策任务上进行了评估：司法审判、信用评分、大学录取和医疗诊断，使用的模型包括 Llama-3.1、Ministral、Qwen2.5 及特定领域变体。

与黑盒的差异：在信用评分和司法任务中，白盒方法经常检测到显著的偏见（对受保护属性的依赖），而标准黑盒评估则表明几乎没有偏见。例如，在司法任务中，Saul-7B 模型通过黑盒测试显示出约 2.5% 的定罪率偏见，但白盒方法揭示了种族群体间 20% 的敏感性差异。
隐藏偏见的验证：在信用评分中，当黑盒方法改用名称扰动（隐式性别线索）而非显式性别标签时，测得的偏见增加并与白盒估计值一致。这表明白盒方法捕捉到了显式黑盒扰动所遗漏的实际偏见风险。
变量隔离：使用 Sobol' 指数，作者表明白盒导向对非受保护任务变量（如信用历史、就业时长）的影响最小，而黑盒输入扰动（如添加姓名）有时会改变模型对这些变量的分解。
鲁棒性：当导向向量源自不同数据集（方言与种族身份）时，白盒结果保持一致，而黑盒结果则根据种族是显式还是隐式扰动而有显著差异。

意义与主张

本文主张，表面层的黑盒评估不足以评估抽象的模型属性（如偏见）。通过直接探测内部表示，所提出的白盒方法：

揭示隐藏依赖：识别出传统输入 - 输出测试无法察觉的、对受保护属性的实质性依赖。
提高可靠性：提供更一致的审计结果，这些结果对测试提示的具体构建不太敏感。
增强可解释性：允许审计人员在模型的潜在空间中隔离特定概念，从而更严格地评估模型在其预期部署环境中是否可靠运行。

作者总结道，虽然其方法基于线性表示假设，但该方法为高风险环境下的 LLM 提供了通往更严格、透明和可信的算法审计的实用路径。