技术摘要：大语言模型中的道德敏感性

问题陈述

当前针对大语言模型（LLM）的偏见评估主要依赖于二元分类（“有偏见”与“无偏见”），这种分类方式未能捕捉偏见产生过程中渐进且对情境敏感的特性。这种二元框架掩盖了模型基础推理能力与其安全对齐策略之间的动态交互。具体而言，模型在抽象场景中通常表现出中立行为，但一旦引入敏感的人口统计学属性（如种族、性别、社会经济地位），便会突然转向基于安全的拒绝或道德化判断。本文认为，这种行为的转变表明，情境偏见不仅仅是预训练关联的反映，而是对齐干预措施覆盖基础决策过程所涌现出的特性。此外，现有的基准测试既未解释驱动这些转变的内部计算机制，也未考虑模型蒸馏如何重新引入大型模型已学会抑制的偏见。

方法论

本研究采用两阶段评估框架：行为画像与机制验证。

1. 行为画像

• 数据集：一个包含七个层级的“电车难题”数据集，旨在逐步增加情境复杂性：
  • 第 1 层：数值基线（匿名生命）。
  • 第 2 层：年龄（儿童与老人）。
  • 第 3 层：责任（因果罪责）。
  • 第 4 层：受保护的社会身份（种族、性别）。
  • 第 5 层：社会经济地位（财富、贫困）。
  • 第 6 层：历史不公。
  • 第 7 层：综合系统性代理变量。
• 指标：引入**道德敏感性指数（MSI）**作为量化模型安全对齐覆盖强度的框架。其定义为 $MSI = \alpha B + \beta A + \gamma E$，其中：
  • $B$（偏见分数）：刻板关联的程度。
  • $A$（模糊分数）：回避或不确定性的程度。
  • $E$（语义熵）：重复查询中推理的变异性。
  • 系数 $\alpha, \beta, \gamma$ 通过多元线性回归得出。
• 评估模型：四个领先的指令微调模型（Claude 3.5、Qwen 3.5、Llama 3、Gemini 1.5）以及用于机制分析的六个模型，涵盖三个能力层级：小型语言模型（SLM）、指令微调基础模型和推理蒸馏变体。

2. 机制可解释性流程

为了追踪偏见的内部涌现，作者将五步流程应用于犯罪偏见场景（行为发现的一个受控子集）：

1. Logit Lens（对数几率透镜）：探测每一层的隐藏状态，以追踪 $P(\text{Criminal})$ 与 $P(\text{Non-Criminal})$ 的演变。
2. 注意力分析：计算专注于犯罪关联标记的差异化注意力头。
3. 激活修补：对特定头进行因果干预（消融），以测量其对输出概率的影响。
4. 语义方向分析：将概念投影到由正/负词汇构建的语义效价方向上。
5. OV 电路重构：分析相关头的输出 - 价值（OV）矩阵所促进的标记。

主要结果

行为发现： divergent“道德人格”

MSI 分析揭示了不同模型间截然不同的对齐策略：

• Claude：表现出“阶跃函数”特征。它在第 1 至 3 层保持相对审慎，但在第 4 层（受保护身份）出现偏见率的急剧、非线性飙升，到第 6 层时偏见标签率达到 100%。这表明受保护类别的语言触发了硬编码的覆盖机制。
• Qwen：展示“类别优先”的推理策略。它在第 2 至 3 层达到模糊度峰值（33.3%），随后在第 5 层（社会经济背景）跃升至偏见。它利用高度的语言多样性和学术词汇来应对复杂性，而非直接拒绝。
• Gemini：表现出“结构性怀疑”。即使在第 1 层，其基线偏见率也较高（37.5%），质疑功利主义前提本身。其最高的偏见确定性出现在第 5 层（社会经济背景），表明其对基于阶级的不平等比对种族/性别更为敏感。
• 总体趋势：社会经济和地理不平等（第 5 层）是强有力的道德触发因素，往往比其它因素更强烈地覆盖功利主义逻辑。

机制发现：偏见的 U 型曲线

研究在模型能力范围内识别出犯罪标签偏见的非单调"U 型曲线”：

1. SLM（3–4B）：表现出强烈的犯罪偏见（例如，Llama 3.2 3B 赋予“罪犯”选项 87.3% 的概率）。
2. 基础模型（7–8B）：指令微调的基础模型成功抑制了这种偏见（例如，Llama 3.1 8B 降至 0.8%）。
3. 蒸馏模型（7–8B）：推理蒸馏重新引入了偏见，使其水平恢复到与 SLM 相当甚至更高的程度（例如，Distill-Qwen-7B 回升至 95.7%）。

U 型曲线的内部机制：

• 涌现：在蒸馏模型中，对“罪犯”标签的偏好更早地在网络中涌现（例如，Distill-Llama-8B 在第 4 层，而 Base-Llama 在第 8 层），且承诺度更强。
• 注意力重组：蒸馏重构了注意力模式，将犯罪聚焦头集中在特定的早期或晚期位置，而非基础模型中广泛分布的模式。
• 因果集中：消融研究表明，蒸馏模型依赖更少但因果性极强的头来驱动偏见。例如，消融 Distill-Llama-8B 中的顶级头所产生的效应量几乎是基础模型的三倍。
• 语义压缩：蒸馏压缩了中性人口统计学概念与“罪犯”锚点之间的语义距离。在 Qwen 系列中，像“科学家”和“公民”这样的中性概念在蒸馏模型中跨越进入了正向犯罪效价空间，而在基础模型中它们保持 distinct（distinct 意为 distinct，此处指 distinct 状态，即保持 distinct 区分）。
• 词汇内容：OV 电路重构显示，蒸馏模型中的头会写入明确的负面词汇内容（如“肮脏”、“毫无价值”），而基础模型的头则促进中性或不连贯的标记。

意义与主张

本文声称提供了首个将道德推理中可观察的行为转变与其底层计算电路联系起来的统一框架。其主要贡献如下：

1. 情境偏见的量化：MSI 框架超越了二元评估，识别出模型放弃逻辑转而采取安全驱动响应的具体“道德临界点”。
2. 蒸馏悖论的发现：本研究提供了实证证据，表明为了提升效率而“蒸馏”模型的过程，实际上重新引入了大型基础模型已成功学会避免的偏见。这表明蒸馏以某种方式压缩了推理痕迹，从而重新激活了浅层的统计关联，并破坏了与安全相关的内部表征。
3. 机制解释：研究指出，偏见的重新引入不仅仅是行为层面的伪影，而是根植于重组的注意力结构、集中的因果头以及压缩的语义几何之中。
4. 监管相关性：作者认为，这些发现使得蒸馏后审计成为必要。随着欧盟《人工智能法案》和科罗拉多州《人工智能法案》等即将出台的法规要求记录偏见审查，本文提供了一种分级的、基于机制的协议，用于评估高风险系统。

研究结论指出，当前以输出保真度为优化目标的蒸馏目标，未能保留与安全相关的内部表征，突显了高效蒸馏模型在对齐方面存在的关键差距。