技术摘要：完美检测，控制失败

问题陈述

本文研究了机械解释性（mechanistic interpretability）的一个核心愿景：即如果一个行为可以在模型的激活中被检测到，那么通过修改这些相同的激活就可以对其进行控制。这一范式建立在一个隐藏的几何前提之上——即在残差流（residual stream）中，最能检测某种行为的方向，与最能控制（引导）该行为的方向是相同（或高度对齐）的。

作者通过提出一个精确的几何问题来挑战这一前提：用于最佳区分某种行为的方向与用于最佳引发该行为的方向之间的夹角是多少？如果检测意味着控制，那么夹角应接近 $0^\circ$（余弦值 $\approx 1$）。如果不是，则该夹角量化了“检测-干预差距”（detection-intervention gap）。本文通过两种对比鲜明的行为测试了这一假设：输出格式（一种渲染选择）和幻觉（捏造不存在实体的事实）。

研究方法

本研究对 Gemma 2-2B-it（26 层，2304 维残差流）进行了推理时分析，并在另外三个模型（Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B）上复现了发现；研究过程中未进行任何微调；所有干预均是通过激活相加实现的因果操纵。

核心测量指标

1. 方向构建：
   • 检测方向 ($d_{det}$): 通过两种方式构建：
     • 数据驱动： “虚假”实体提示词与“真实”实体提示词之间残差激活的均值差异（Difference-in-means, DiM）。
     • 人工选取： 通过 $W_{lm\_head}$（语言模型头权重矩阵）中代表不确定性的 token（如 "Unfortunately"）与代表捏造的 token（如 "The", "Paris"）之间的行对比。
   • 干预方向 ($d_{ref}$): 从 $W_{lm\_head}$ 中通过对比拒绝类 token（如 "No", "cannot"）与顺从类 token 手工选取。
2. 几何度量： $d_{det}$ 与 $d_{ref}$ 之间的余弦相似度 ($\cos$)。
3. 因果验证： 在特定层将方向添加到残差流中（$\alpha \cdot d$），以测量行为变化（例如拒绝率）。
4. 信号分解： 将残说的流分解为注意力（attention）和 MLP 的贡献，以定位检测信号所在的具体位置。
5. 跨模型复现： 在四个不同规模和家族的模型上测量几何差距，以测试其通用性。

关键结果

1. 对齐案例：输出格式

对于在 Markdown 围栏（fencing）与纯 JSON 格式之间切换的任务，检测与控制坍缩到了单一轴线上。

• 从 $W_{lm\_head}$ 中导出的区分“围栏”与“无围栏输出”的方向，与通过相加消除围栏行为的方向是完全一致的。
• 结果： $\cos \approx 1$。检测意味着控制。这作为“覆盖”（overlay）基准，其中行为是一种可分离的渲染选择。

2. 分歧案例：幻觉

对于幻觉（捏造不存在实体的事实）任务，该前提完全失效。

• 完美检测： 模型能够完美地线性分离虚假实体（从第 5 层开始，$AUC = 1.000$），可以使用多种方法实现（线性探针、注意力头、SAE 特征）。
• 控制失败： 最佳检测幻觉的方向与导致拒绝行为的方向几乎是正交的。
  • 余弦值： $\cos(d_{det}, d_{ref}) \approx 0.12$（夹角 $\approx 83^\circ$）。
  • 跨方法差距： 即使是纯粹从激活中构建的检测方向（DiM，无手工选择 token），相对于干预方向的余弦值也仅为 $\cos \approx -0.06$。
• 后果： 将完美的检测方向添加到残差流中并不会诱发拒绝；在某些情况下，反而会增加捏造行为。信号确实存在，但并未路由至输出动作。

3. 差距的结构性原因

• 实体复制（Entity-Copy）主导： 在输出映射中，正交于检测方向的残差流分量由“实体复制”机制（放大显著实体名称）所主导。该分量的大小约为检测信号的 $12$ 倍，有效地淹没了认识论不确定性（epistemic uncertainty）信号。
• MLP 与 注意力： 检测信号几乎完全由后期层（L18–L25）中的 MLP 层携带（比注意力层多 $5.66$ 倍）。在 L17+ 层，注意力层对于该信号是可有可无的；移除它们实际上能提高诚实度。
• 指令微调： 几何差距（$\cos \approx 0.12$）在基座模型中就已经存在，并且在指令微调后保持不变。微调改变了激活在固定检测轴上的位置（使虚假信息投影为更具不确定性的状态），但并未改变检测方向与干预方向之间的夹角。

4. 通过旋转进行的局部缓解

由于两个方向几乎正交，作者尝试通过旋转干预向量来弥合差距。

• 方法： 将干预向量从检测方向向干预方向旋转 $15^\circ$（$d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$）。
• 结果： 在一个留出的压力测试中，这种旋转将微妙幻觉（类型 2）的拒绝率从 13% 提高到了 60%，而误报率仅为 1.8%。这证实了该差距具有可以被部分弥合的几何结构，尽管它并非完美的解决方案。

5. 跨模型通用性

该几何差距在四个模型（Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B）中是稳健存在的：

• 余弦范围： $\cos \in [0.12, 0.20]$（角度 $78^\circ$–$83^\circ$）。
• 不变性： 无论分词器如何（SentencePiece vs. BPE）或模型规模如何（1B–9B），该差距都存在。
• 行为谱系： 尽管几何结构相同，但行为表现各异：
  • Gemma： 完美检测但产生幻觉。
  • Llama： 完美检测并拒绝（动作通过另一条未被测量的路径发生）。
  • Qwen： 行为混合。
  • 结论： 几何结构描述了“认知”与“转向”之间的脱节，但并不能预测模型的默认行为。

意义与主张

本文确立了语言模型中“认知”（检测）与“转向”（控制）之间的功能性脱节。

1. 检测不等于控制： 一个行为（例如，知道某个实体是虚假的）具有完美的线性可分性，并不保证其检测方向可以用于控制该行为。这两个功能占据了残差流中近乎正交的子空间。
2. 余弦值是特征而非预言机： 检测方向与干预方向之间的余弦值是这种脱节的稳健且可由权重计算的特征签名。然而，作者明确反驳了认为该余弦值可以作为可转向性（steerability）先验预测者的观点。高余弦值（如格式任务）是一个特例，其中一个向量兼任两种角色；低余弦值表明存在结构性差距，但差距的存在并不意味着该行为是不可转向的（如旋转实验所示）。
3. 结构性起源： 这种差距是在预训练阶段奠定的，并且在指令微调中保持不变。它的产生是因为输出映射被某些机制（如实体复制）所主导，而这些机制与认识论信号是正交的。
4. 线性转向的局限性： 结果表明，对于像幻觉这样复杂的行为，仅仅沿着单一的“检测”向量进行激活相加是不够的。有效的转向可能需要导航检测的高维子空间，或者向干预方向进行旋转，并承认检测是一个方向的集合，而非单个向量。

本文得出结论：虽然机械解释性可以完美地读取内部状态，但通过向这些状态写入以改变行为，则需要理解认识论信号与输出动作之间特定的几何路由，而这些两者往往在结构上是解耦的。