💻 computer science

Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning

本論文は、言語モデルの活性化において低次元方向を局所化することによる連続変数への因果介入手法を提示し、動詞バイアスの操作が下流の構文選好を因果的にシフトさせることを示すとともに、操作ベクトルが文脈内学習に関連する誤差信号を符号化しているものの、これらの信号は下流の生成において因果的に利用されていないことを明らかにする。

原著者： Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhenghao Herbert Zhou, R. Thomas McCoy, Robert Frank

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、非常に洗練されたハイテクなシェフだと想像してください。このシェフは存在するほぼすべてのレシピ本を読み尽くしていますが、新しい料理を頼まれたとき、静的なレシピに従うだけではありません。代わりに、あなたが今渡した材料（「コンテキスト」）を見て、その場で調理スタイルを調整します。再学習なしに数少ない例から学習するこの能力をイン・コンテキスト・ラーニングと呼びます。

この論文は、シェフがこのような作業を行う際に、その「脳」がどのように機能するかを科学的に調査したものです。具体的には、研究者たちはシェフの内部思考を「微調整」して調理の仕方を変えられるかどうかを調べ、動詞バイアスと呼ばれる特定の言語的習慣に焦点を当てました。

以下に、彼らの発見をシンプルなアナロジーを用いて解説します。

1. 課題：「段階的」な材料での調理

これまでの研究の多くは、「これは名詞か動詞か？」といった単純な「オン/オフ」のもの（離散的特徴）についてシェフの考えを変えようとしていました。しかし、言語はスイッチではなく、調光器のようなものです。物事は段階的です。

例えば、動詞「give（与える）」を考えてみましょう。英語では以下のように言えます。

「I gave her a book」（二重目的語）
「I gave a book to her」（前置詞与格）

ある人々（あるいはある動詞）は、一方の形式を他方よりも強く好みます。「give」は比較的バランスが取れていますが、「explain」は「explain to her」を強く好みます。この好みは絶対的なルールではなく、スライドスケールです。研究者たちは知りたいと思いました：モデルの脳にある、このスライドスケールを制御する特定の「つまみ」を見つけ出し、そのつまみを回してモデルの考えを変えられるでしょうか？

2. 道具：「ステアリングベクトル」（リモコン）

これを研究するために、研究者たちはステアリングベクトルと呼ばれる道具を使用しました。これはシェフの脳のためのリモコンだと考えてください。

作成方法：彼らはモデルに特定の構造を持つ文の束（例：「I gave her a book」）を見せました。モデルがこれらの文を処理している間の内部の「思考」（活性化）を見て、それらを平均化しました。
機能：彼らがこの「リモコン」信号を新しいタスク中のモデルの脳に追加すると、モデルはちょうどそれらの例を見たかのように振る舞い始めました。同じ文構造を好むようになりました。これは、リモコンが文構造の「習慣」を正常に捉えたことを証明しました。

3. 実験 1：リモコンは機能するか？

テスト：彼らは「二重目的語」の文からリモコン（ステアリングベクトル）を取り出し、新しい文に注入しました。
結果：モデルは即座に「二重目的語」構造への好みへとシフトしました。
アナロジー：まるで「イタリアン料理を調理せよ」と書かれたリモコンをシェフに手渡し、彼が寿司を作ろうとしていた瞬間に、パスタを取り出すように手を伸ばし始めたようなものです。リモコンは機能します。

4. 実験 2：「動詞バイアス」のつまみを回す

これがこの論文の最大のブレークスルーです。彼らは、単に方向だけでなく、好みの強さを制御できるかどうかを知りたがりました。

設定：彼らはモデルの脳内で、動詞バイアス（動詞が一つの構造を他の構造よりもどの程度好むか）に対応する特定の「方向」を特定しました。
介入：彼らは数学的なトリックを用いて、この方向を「反事実的に編集」しました。
- シナリオ A：構造 A を自然に好む動詞を取り出し、モデルに構造 B を強く好むと考えさせました。
- シナリオ B：中立的な動詞を取り出し、それを極端な好みにさせました。
結果：彼らがこの「動詞バイアス」のつまみを回すと、モデルの振る舞いは予測通り変化しました。モデルに動詞が「二重目的語」構造を強く好むと考えさせると、その動詞が自然にそれを好む場合でさえ、モデルはその構造をより頻繁に使い始めました。
結論：彼らは、モデルが単に構造を「記憶」しているだけでなく、動詞が構造をどの程度好むかという連続的で調整可能な値を保持しており、そのダイヤルを物理的に回せることを証明しました。

5. 実験 3：欠落している「驚き」の要素

人間の学習において、私たちは驚いたときに最もよく学習します。動詞が一つの使い方をされると予想していたのに、別の使い方で現れた場合、脳は「おや、これは予想外だ！」と言い、ルールをより強く更新します。これを逆頻度効果と呼びます。

研究者たちは疑問に思いました：モデルの「リモコン」（ステアリングベクトル）は、この「驚き」の信号を捉えているでしょうか？

テスト：彼らはリモコン内の「驚き信号」を編集しようとしました。「もしモデルに、実際の文よりも文がより驚くべきものだと考えさせたら、モデルはより多く学習するでしょうか？」と問いました。
結果：
- 良い知らせ：「驚き」の情報はリモコン内に存在していました。彼らはこれを数学的に分離し、上げたり下げたりすることができました。
- 悪い知らせ：単にこのリモコンを注入しただけでは、モデルが「驚き駆動」の方法で学習するようにはなりませんでした。モデルは驚きのレベルに基づいて自動的に行動を更新しませんでした。
アナロジー：リモコンに「驚き」ボタンがあると想像してください。ボタンを押すとライトが点灯します（情報が存在する）。しかし、ボタンを押しても、シェフは実際にはより適応的な調理スタイルに変化しません。シェフは指示に従うだけで、「驚き」から「学習」しないのです。

発見のまとめ

連続変数を制御できる：動詞の好みなどの AI の脳内にある「調光器」を見つけ出し、それを上げたり下げたりして行動を変えられます。
ステアリングベクトルは強力だが限定的：「リモコン」（ステアリングベクトル）はタスクの状態（例：「私は現在、二重目的語の文について考えている」）を捉えるのに優れています。モデルの即座の好みを正常にシフトさせます。
しかし「学習」の部分は捉えきれていない：リモコンは学習の結果（新しい好み）を捉えますが、学習のプロセス（誤差駆動による更新）は捉えられていないようです。まるで、リモコンでサーモスタットを 70 度に設定できるものの、暖房機がそこに達するためにどう加熱すべきかを計算したかを説明できないようなものです。

要約すると：研究者たちは AI の脳内の「スライドスケール」を微調整するツールを構築しました。彼らはこれらのスケールを回して AI の話し方を変えられることを証明しました。しかし、彼らはまた、このツールが AI の習慣を捉えることはできても、AI が驚きに適応することを可能にする完全な学習メカニズムは捉えきれていないことも発見しました。

技術的概要：ステアリングベクトルにおける連続変数への因果的介入

問題提起
大規模言語モデル（LLM）の因果的解釈性手法は、文法数や構文境界などの離散的特徴に主に焦点を当ててきた。しかし、言語処理や概念知識の多くの重要な側面は本質的に段階的（連続的）である。本論文は、連続変数への因果的介入手法の適用におけるギャップに取り組む。具体的には、動詞バイアス（動詞が一方の構文構造を他方よりも段階的に好む傾向、例：二重目的語構文対前置詞与格構文）のような連続的な心理言語学的特徴が、LLM の内部活性化において因果的に表現されているか、またこれらの表現を操作して下流の行動を変化させることができるかを著者が調査する。さらに、本研究は、これらの連続的表現とイン・コンテキスト学習（ICL）、特に構文プライミングの基盤となる誤差駆動型更新メカニズムとの関係を探求する。

手法
著者は、イン・コンテキストのデモンストレーションから抽出されたステアリングベクトル（タスクベクトル）に対して、活性化ベクトル内での連続変数への因果的介入を行うための枠組みを提案する。

ステアリングベクトルの抽出: Hendel ら（2023）に従い、著者はイン・コンテキストシーケンス中の対象動詞の位置において LLM（Llama-2-13B、Llama-3-1B、Llama-3-8B）から隠れ状態を抽出する。これらのシーケンスは、 $n-1$ 個のプライム文（デモンストレーション）に続くターゲット文で構成される。隠れ状態を平均化し、動詞 $v$ の影響を受ける構造 $s$ の生成という「タスク」を表すステアリングベクトル $\bar{\theta}_{\langle v,s \rangle}$ を作成する。
連続変数の局在化: 連続変数（例：動詞バイアス $b_v \in (0,1)$ $b_{v} \in (0, 1)$ ）に介入するために、著者は以下の手順を行う：
- 主成分分析（PCA）を用いて、高次元の活性化ベクトルを低次元空間に射影する。
- PCA 座標を正規化する。
- 正規化された座標から対象の連続変数を予測する回帰モデル（動詞バイアスのような有界変数にはベータ回帰、符号付き変数には OLS）を適合させる。これにより、変数に対応する低次元の方向ベクトル $\beta$ を特定する。
反事実的編集: ベクトル $h_i$ を反事実的ターゲット値 $y^*_i$ に向けて編集するために、著者は特定された方向 $\beta$ に沿った最小の $L_2$ ノルム更新 $\Delta \tilde{z}_i$ を計算する。更新は以下のように定義される：
$\Delta \tilde{z}_i = \frac{y^*_i - \hat{y}_i}{\|\beta_S\|^2} \beta_S$
ここで、 $S$ は編集に選択された主成分の部分集合（通常は係数の大きさによる上位 5 つ）を表す。編集されたベクトルは元の空間にマッピングされ、モデルに注入されて下流への影響が観察される。
実験条件: 本研究は 4 つの介入条件をテストする：
- 変更なし: 対照（元のバイアス）。
- 反転: バイアスを反転させる（ $b_v \to 1 - b_v$ ）。
- 完全バイアス: バイアスを 0（完全に DO 偏向）または 1（完全に PD 偏向）に飽和させる。
- 誤差信号編集: 符号付き誤差信号 $e = b_v - s$ （ここで $s$ は観測された構造）を同様に編集し、誤差駆動型の更新行動をテストする。

主要な結果

ステアリングベクトルによるプライミングの誘発: プライム文から抽出されたステアリングベクトルは、中層から後層（レイヤー 15 以降）で構文プライミング効果を成功裡に誘発する。PD プライムベクトルを注入すると、モデルの PD 構造への選好が増加し、逆も同様である。
動詞バイアスの因果的役割: 連続的な動詞バイアスはステアリングベクトルから線形的に予測可能である。このバイアスの反事実的編集は、プライミング効果の大きさを因果的に調節する。
- 反転条件: ステアリングベクトル内の動詞バイアスを反転させると、動詞の元のバイアスとプライミング大きさの間の相関が反転する。
- 完全バイアス条件: バイアスを飽和させると、異なる動詞間でのプライミング大きさのばらつきが消失し、特定された部分空間が効果の段階的な性質を因果的に決定することを確認する。
誤差信号の存在対利用:
- 存在: 誤差信号に似た変数（動詞バイアスと観測された構造を組み合わせるもの）がステアリングベクトル内に存在し、因果的に編集されて下流の選好における勾配シフトを生み出すことができる。
- 限界: この信号の存在にもかかわらず、編集されていないステアリングベクトルは、予期せぬプライム構造がより強いプライミングを誘発する現象である「逆頻度効果（IFE）」を再現しない。標準的なステアリングベクトル注入は、誤差駆動学習理論が予測する負の勾配ではなく、動詞のバイアスに一致する正の勾配を生み出す。
- レイヤーごとのダイナミクス: 動詞バイアスは早期レイヤーでアクセス可能であるが、バイアスと構造を統合し、勾配更新を駆動する操作可能な誤差信号として機能するのは、中層から後層（レイヤー 15 以降）においてのみ出現する。

意義と主張
本論文は 4 つの主要な貢献を行う：

方法的拡張: 因果的解釈性を支配してきた離散的特徴を超えて、連続変数に対する因果的介入を実行する実用的な手法を実証する。
因果的検証: 反事実的編集が下流の構文選好を体系的に変化させることから、動詞バイアスが単に相関しているだけでなく、ステアリングベクトルにおいて因果的に表現されていることを確立する。
ICL メカニズム分析: ステアリングベクトルを ICL のメカニズムとして多角的に捉える。それらは構文プライミングの「一時的活性化」コンポーネント（文脈に基づいた選好のシフト）を成功裡に捉えるが、完全な「誤差駆動型更新」ダイナミクス（特に IFE）を捉えることはできない。これは、加法的ステアリングベクトルが文脈によって誘発される表現状態を近似するが、ICL の計算的更新規則を完全に再現するものではないことを示唆する。
理論的マッピング: 著者は心理言語学的理論と LLM メカニズムの間のマッピングを提案する。ステアリングベクトルはプライミングの「一時的活性化」理論と整合するが、欠落している誤差駆動型コンポーネントは、単純なベクトル加算ではなく、低ランク重み更新や暗黙的学習プロセスとしてより適切に特徴付けられるメカニズムを必要とする可能性がある。

著者は、連続変数介入は強力な診断的および因果的ツールであるが、これらの連続的表現をイン・コンテキスト学習の完全なダイナミクスに結びつけることは依然として課題であると結論づける。現在のステアリングベクトルアプローチは、ICL の「何（選好状態）」を捉えるが、「どのように（誤差駆動型適応プロセス）」を完全には捉えていない。