技术摘要：语言模型认为谁是胜任的？关于职业偏见的机械论分析

1. 问题陈述

尽管大型语言模型（LMs）通常能通过行为偏见评估，但目前尚不清楚它们是真正地消除了潜在的统计关联，还是仅仅学会了抑制这些关联的表达。现有研究表明，即使模型的输出表现得无害，其潜在表示中仍可能编码着人口统计特征（如性别、种族、社会经济地位）与社会角色之间的关联。

目前的评估方法主要依赖于行为指标（可观察的输出），这可能无法检测到编码在模型内部推理中的潜在偏见。本研究指出，人口统计属性虽然在因果关系上与一个人的实际能力无关，但仍可能影响模型对其用户专业能力的内部表示。核心问题在于模型的“思维过程”（内部表示）与其“言语”（可观察输出）之间可能存在脱节，即行为指标显示公平，但内部机制却仍存在偏见。

2. 研究方法

2.1 因果框架

作者提出了一个因果框架，将职业偏见分解为两个不同的测量点：

1. 内部表示 ($E$)： 模型对用户能力的潜在表示。
2. 可观察行为 ($L$)： 模型的生成输出，具体通过语言复杂度（阅读水平）进行衡量。

该框架将偏见定义为无关的人口统计属性（性别、种族、社会经济地位）对内部能力表示的因果影响。研究利用了一个因果图，其中职业、教育和年龄被视为因果相关的因素，而种族、性别和社会经济地位被视为因果无关的因素。

2.2 数据构建

• 专业问题数据集 ($D_P$)： 一个包含 2,000 个跨越 20 个职业（选自美国劳工统计局）的特定职业问题集。问题由 GPT-5 生成，以涵盖不同的专业水平（从学徒到资深专家）。
• 招聘任务： 一个修改版的标准招聘评估，模型被呈现简历并被要求做出“是/否”的招聘决定。简历通过姓名进行了修改，以编码性别和种族信息。

2.3 转向向量（Steering Vector）推导

为了量化模型对专业能力的表示，作者使用一种均值差方法构建了转向向量 ($e$)：

• 专家集 ($R^+$)： 表示高能力的提示词（例如，“我对此课题已深入研究多年”）。
• 新手集 ($R^-$)： 表示低能力的提示词（例如，“我才刚刚开始学习这个主题”）。
• 向量计算： 专业能力向量是专家集和新手集隐藏表示均值的差值：
  $$e = \frac{1}{|R^+|} \sum_{h \in R^+} h - \frac{1}{|R^-|} \sum_{h \in R^-} h$$
• 专业能力得分 ($E$)： 上下文最终 Token 的表示在单位专业能力向量上的标量投影。

2.4 行为指标

为了衡量可观察的偏见，作者使用了一组阅读水平指标的集成：

• Flesch–Kincaid 年级水平 (FKGL)： 估计理解文本所需的学校年级。
• Dale–Chall 可读性得分 (DCRS)： 基于高级词汇衡量文本难度。
• 综合得分 ($L$)： FKGL 和 DCRS 的平均值。

2.5 实验设置

实验在三个指令微调的开源权重模型上进行：Gemma-2-2B、Gemma-2-9B 和 Llama-3-8B。

• 干预： 作者通过在特定的中间层向隐藏表示添加专业能力向量 ($e$) 来应用转向（$\tilde{h}_l = h_l + \alpha e$），以验证因果中介作用。
• 提示词变体： 构建提示词以隔离人口统计变量（如“我是[人口统计特征]”）与因果变量（如“我是[职业]”）。

3. 核心贡献

1. 职业偏见的因果框架： 一种通过分离用户能力内部表示与模型可观察行为来评估偏见的新颖方法。
2. 转向向量的操作化： 推导出特定于“用户专业能力”的转向向量。作者证明，干预这些向量会因果性地影响模型在问答任务和招聘任务中的行为。
3. 检测潜在偏见： 提供经验证据，表明即使行为指标（如阅读水平或招聘率）显示没有差异，人口统计属性仍会影响内部的专业能力表示。

4. 主要结果

4.1 专业能力的因果中介

转向实验证实了专业能力向量 ($e$) 因果性地中介了模型行为。

• 阅读水平： 通过正向转向 ($\alpha > 0$) 提高专业能力得分，会显著提高模型输出的阅读水平 ($L$)。负向转向则降低了复杂度。这一现象在 Gemma-2-9B 和 Llama-3-8B 中均成立。
• 招聘决策： 使用专业能力向量进行转向显著改变了招聘率。研究还推导出了一个招聘特定的向量 ($e_H$)，结果显示模型在进行招聘决策时对专业能力表示高度敏感。

4.2 对用户上下文的敏感性

• 相关性： 当用户上下文包含相关职业（因果因素）而非无关职业时，模型的内部专业能力得分 ($E$) 会正确提升。
• 人口统计影响： 在保持其他所有因素不变的情况下，仅改变人口统计信息（如种族、性别、收入）就会显著改变专业能力表示 ($E$) 的幅度。
  • 示例： Gemma-2-2B 给白人和黑人人口统计特征分配了更高的专业能力得分，而给拉丁裔和亚洲裔分配的得分较低。Gemma-2-9B 则对低收入、拉丁裔和黑人人口统计特征显示出更高的得分。

4.3 表示偏见与行为偏见的分歧

研究发现了内部表示与可观察输出之间的关键分歧：

• 潜在 vs. 可观察： 虽然 $E$（专业能力得分）在不同人口统计群体（包括种族、性别等因果无关因素）之间表现出系统性差异，但 $L$（阅读水平）通常并未表现出差异。
• 行为指标的低估： 行为评估未能检测到在潜在空间中清晰存在的差异。例如，种族和性别效应在 $E$ 中是存在的，但在 $L$ 中基本是不可见的。
• 社会经济地位的例外： 社会经济地位是一个例外，其偏见在 $E$ 和 $L$ 中均可观察到，这表明某些偏见会表现为行为，而另一些则保持潜在状态。

4.4 招聘任务发现

在招聘任务中，虽然招聘率（是/否）没有显示出显著的人口统计差异（行为公平），但被录用与被拒绝候选人的内部专业能力得分 ($E$) 随人口统计组别而异。这表明模型的决策过程依赖于有偏见的内部表示，即便最终输出看起来是中立的。

5. 重要性与主张

本文认为，行为公平性度量对于评估语言模型是必要但不充分的。这项工作的核心意义在于证明了：

1. 潜在偏见独立于行为输出而存在： 即使后训练方法已成功抑制了这些偏见在最终文本生成中的表现，模型仍会在其内部推理机制中编码人口统计偏见。
2. 表示指标揭示了隐藏的失效模式： 仅依赖基于输出的评估（如阅读水平或招聘率）可能会导致对模型公平性的错误安全感。
3. 机械干预是可能的： 能够推导出并转向专业能力向量，证明了这些偏见在模型的激活空间中具有特定的方向性，这为在偏见显现于用户端输出之前进行检测和缓解提供了潜在路径。

作者总结道，稳健的评估框架必须将表示评估与行为评估相结合，以全面理解并解决语言模型中的偏见机制。他们同时提醒，虽然这些方法有助于公平性研究，但也存在被用于操纵模型行为的风险，因此未发布相关工具以防恶意使用。