💻 computer science

Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

本文提出了一种通过在语言模型激活中定位低维方向来对连续变量进行因果干预的方法，该方法证明了引导动词偏见会因果性地改变下游句法偏好，同时揭示出尽管引导向量编码了与上下文学习相关的误差信号，但这些信号并未被因果性地用于下游生成。

原作者： Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（LLM）比作一位非常精密、高科技的厨师。这位厨师几乎读过所有现存的食谱，但当被要求烹饪一道新菜时，他们并不只是机械地遵循静态食谱。相反，他们会查看你刚刚递给他们的食材（即“上下文”），并即时调整烹饪风格。这种无需重新训练即可从少量示例中学习的能力，被称为上下文学习（In-Context Learning）。

本文是对这位厨师在执行此类操作时“大脑”运作机制的科学探究。具体而言，研究人员希望看看是否可以通过“微调”厨师的内部思维来改变其烹饪方式，重点关注一种特定的语言习惯，即动词偏向（Verb Bias）。

以下是他们研究发现的简要解析，使用了简单的类比：

1. 问题：使用“分级”食材烹饪

大多数先前的研究试图改变厨师对简单“开/关”事物的看法，例如“这是名词还是动词？”（离散特征）。但语言更像是一个调光开关，而非电灯开关。事物是分级的。

例如，以动词“给”（give）为例。在英语中，你可以说：

“我给了她一本书”（双宾语结构）
“我给了一本书给她"（介词与格结构）

有些人（或某些动词）强烈偏好其中一种形式。例如“给”相对平衡，但“解释”则强烈偏好“向她解释”。这种偏好并非硬性规则，而是一个滑动标尺。研究人员想知道：我们能否在模型的“大脑”中找到控制这个滑动标尺的具体“旋钮”，并转动该旋钮来改变模型的想法？

2. 工具：“导向向量”（遥控器）

为了研究这一点，研究人员使用了一种称为导向向量（Steering Vector）的工具。你可以将其想象为厨师大脑的遥控器。

如何制作： 他们向模型展示了一系列使用特定结构的句子（例如，“我给了她一本书”）。他们观察模型在处理这些句子时的内部“思维”（激活状态），并将这些状态取平均值。
作用： 当他们在执行新任务时将这个“遥控器”信号添加到模型的“大脑”中时，模型开始表现得就像刚刚见过那些示例一样。它开始偏好相同的句子结构。这证明了该遥控器成功捕捉到了句子结构的“习惯”。

3. 实验 1：遥控器有效吗？

测试： 他们从“双宾语”句子中提取了遥控器（导向向量），并将其注入到一个新句子中。
结果： 模型立即将其偏好转向“双宾语”结构。
类比： 这就像递给厨师一个写着“烹饪意大利菜”的遥控器，突然之间，即使他们原本打算做寿司，也开始伸手去拿意大利面。遥控器起作用了。

4. 实验 2：调节“动词偏向”旋钮

这是本文最大的突破。他们希望看看是否能控制偏好的强度，而不仅仅是方向。

设置： 他们确定了模型“大脑”中对应于动词偏向（即一个动词在多大程度上偏好一种结构而非另一种）的特定“方向”。
干预： 他们使用一种数学技巧来“反事实地编辑”这一方向。
- 情景 A： 他们选取一个天然偏好结构 A 的动词，并强制模型认为它强烈偏好结构 B。
- 情景 B： 他们选取一个中性的动词，并强制其变得极端。
结果： 当他们转动这个“动词偏向”旋钮时，模型的行为正如预测的那样发生了变化。如果他们让模型认为某个动词强烈偏好“双宾语”结构，模型就会更频繁地使用该结构，即使该动词天然并不喜欢它。
结论： 他们证明，模型不仅仅是“记住”了结构；它实际上持有一个连续的、可调节的值，表示一个动词对某种结构的偏好程度，并且他们可以物理地转动这个刻度盘。

5. 实验 3：缺失的“惊讶”因素

在人类学习中，当我们感到惊讶时，学习效果最好。如果你预期某个动词以某种方式使用，却看到它以另一种方式使用，你的大脑会说：“哇，这出乎意料！”并更强烈地更新其规则。这被称为逆频率效应（Inverse Frequency Effect）。

研究人员想知道：模型的“遥控器”（导向向量）是否捕捉到了这种“惊讶”信号？

测试： 他们尝试在遥控器中编辑“惊讶信号”。他们问道：“如果我们让模型认为句子比实际更令人惊讶，它是否会学得更多？”
结果：
- 好消息： “惊讶”信息确实存在于遥控器中。他们可以在数学上将其隔离出来，并调大或调小。
- 坏消息： 仅仅注入这个遥控器并没有让模型以“由惊讶驱动”的方式学习。模型并没有根据惊讶程度自动更新其行为。
类比： 想象遥控器上有一个“惊讶”按钮。你可以按下按钮并看到灯亮起（信息确实存在）。但是，当你按下它时，厨师并没有真正改变烹饪风格以变得更加适应。厨师只是遵循了指令，但并没有从惊讶中“学习”。

研究结果总结

我们可以控制连续变量： 我们可以找到 AI 大脑中像动词偏好这样的“调光开关”，并通过调大或调小它们来改变行为。
导向向量强大但有限： “遥控器”（导向向量）非常擅长捕捉任务的状态（例如，“我目前正在思考双宾语句子”）。它成功改变了模型的即时偏好。
但它遗漏了“学习”部分： 遥控器捕捉到了学习的结果（新的偏好），但似乎并未捕捉到学习的过程（基于错误的更新）。这就像遥控器可以将恒温器设定为 70 度，但它无法解释炉子是如何计算出需要加热才能达到这一温度的。

简而言之： 研究人员构建了一种工具，用于微调 AI“大脑”内部的“滑动标尺”。他们证明可以转动这些标尺来改变 AI 的说话方式。然而，他们也发现，该工具捕捉到了 AI 的习惯，但并未捕捉到允许 AI 适应惊讶的完整学习机制。

技术摘要：连续变量在导向向量上的因果干预

问题陈述
大型语言模型（LLM）的因果可解释性方法主要集中于离散特征，如语法数或句法边界。然而，语言处理和概念知识的许多关键方面本质上是分级的（连续的）。本文解决了将因果干预技术应用于连续变量的空白。具体而言，作者调查了连续的心理语言学特征（如动词偏向——即动词对一种句法结构相对于另一种结构的分级偏好，例如双宾语结构 vs. 介词双宾语结构）是否在 LLM 的内部激活中因果地表示，以及这些表示是否可被操纵以改变下游行为。此外，本研究还探讨了这些连续表示与**上下文学习（ICL）**之间的关系，特别是假设构成结构启动基础的误差驱动更新机制。

方法论
作者提出了一种在激活向量内对连续变量进行因果干预的框架，具体应用于从上下文演示中提取的导向向量（任务向量）。

导向向量提取：遵循 Hendel 等人（2023）的方法，作者在上下文序列的目标动词位置从 LLM（Llama-2-13B、Llama-3-1B、Llama-3-8B）中提取隐藏状态。这些序列由 $n-1$ 个启动句（演示）后接一个目标句组成。隐藏状态被平均以生成导向向量 $\bar{\theta}_{\langle v,s \rangle}$ ，该向量代表受动词 $v$ 影响产生结构 $s$ 的“任务”。
连续变量的定位：为了对连续变量（如动词偏向 $b_v \in (0,1)$ $b_{v} \in (0, 1)$ ）进行干预，作者：
- 使用**主成分分析（PCA）**将高维激活向量投影到低维空间。
- 对 PCA 坐标进行归一化。
- 拟合回归模型（对于像动词偏向这样的有界变量使用 Beta 回归；对于有符号变量使用普通最小二乘法 OLS），以从归一化坐标预测目标连续变量。这确定了与变量对应的低维方向向量 $\beta$ 。
反事实编辑：为了将向量 $h_i$ 编辑至反事实目标值 $y^*_i$ ，作者计算沿已识别方向 $\beta$ 的最小 $L_2$ 范数更新 $\Delta \tilde{z}_i$ 。更新定义为：
$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$
其中 $S$ 代表为编辑而选择的主成分子集（通常按系数幅度选取前 5 个）。编辑后的向量随后被映射回原始空间并注入模型，以观察下游效应。
实验条件：本研究测试了四种干预条件：
- 不变：控制组（原始偏向）。
- 翻转：反转偏向（ $b_v \to 1 - b_v$ ）。
- 完全偏向：将偏向饱和至 0（完全 DO 偏向）或 1（完全 PD 偏向）。
- 误差信号编辑：类似地编辑有符号误差信号 $e = b_v - s$ （其中 $s$ 是观察到的结构），以测试误差驱动的更新行为。

关键结果

导向向量诱导启动：从启动句中提取的导向向量成功地在中间至深层（第 15 层及以上）诱导了结构启动效应。注入 PD 启动向量会增加模型对 PD 结构的偏好，反之亦然。
动词偏向的因果作用：连续动词偏向可从导向向量中线性预测。对该偏向的反事实编辑因果地调节了启动效应的幅度。
- 翻转条件：在导向向量中反转动词偏向，反转了动词原始偏向与启动幅度之间的相关性。
- 完全偏向条件：饱和偏向消除了不同动词间启动幅度的变化，证实了所识别的子空间因果地决定了该效应的分级性质。
误差信号的存在与使用：
- 存在性：一个类似误差信号的变量（结合动词偏向和观察到的结构）存在于导向向量中，并且可以因果地编辑以产生下游偏好的梯度变化。
- 局限性：尽管存在该信号，但未编辑的导向向量未能复现逆频率效应（IFE）——即意外启动结构诱导更强启动的现象。标准导向向量注入产生正斜率（匹配动词的偏向），而非误差驱动学习理论预测的负斜率。
- 逐层动态：虽然动词偏向在早期层中可访问，但将偏向与结构整合为可操纵的、驱动梯度更新的误差信号，仅在中间至深层（第 15 层及以上）才出现。

意义与主张
本文做出了四项主要贡献：

方法学扩展：它展示了一种对连续变量执行因果干预的可行方法，超越了主导因果可解释性的离散特征。
因果验证：它确立了动词偏向不仅与导向向量相关，而且因果地表示在其中，因为反事实编辑系统地改变了下游结构偏好。
ICL 机制分析：它提供了对导向向量作为 ICL 机制的细致观点。虽然它们成功捕捉了结构启动的瞬态激活成分（基于上下文改变偏好），但未能捕捉完整的误差驱动更新动态（特别是 IFE）。这表明加性导向向量近似了由上下文诱导的表示状态，但并未完全复现 ICL 的计算更新规则。
理论映射：作者提出了心理语言学理论与 LLM 机制之间的映射：导向向量与启动的“瞬态激活”理论一致，而缺失的误差驱动成分可能需要被更好地表征为低秩权重更新或隐式学习过程，而非简单的向量加法。

作者得出结论，虽然连续变量干预是一种强大的诊断和因果工具，但将这些连续表示与上下文学习的完整动态联系起来仍然是一个挑战，因为当前的导向向量方法捕捉了“什么”（偏好状态），但未捕捉 ICL 的完整“如何”（误差驱动的适应过程）。