💬 NLP

Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

本論文は、関数ベクトル・ヘッドが同質なグループであるという仮定に対し、それらが正しい規則を促進する「ライター（writers）」とそれらを抑制する「キャンセラー（cancellers）」という二つの対立するサブ集団から構成されていることを明らかにすることで異議を唱えるものであり、これらは大きさのみによるランキングでは不可視であるが、特定およびアブレーション（除去）が行われた際にモデルの性能に大きな影響を与える。

原著者： Han-yu Wang

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Han-yu Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（あなたとチャットをするようなもの）を、いくつかの例に基づいてパズルを解こうとしている巨大なオーケストラだと想像してみてください。このオーケストラの中には、**アテンション・ヘッド（Attention Heads）**と呼ばれる特定の演奏家たちがいます。長い間、研究者たちは、最も重要な演奏家とは単に大きな音を奏でている演奏家のことだと信じてきました。もしある演奏家が非常に大きな音を鳴らしていれば、その演奏家は間違いなくオーケストラが正しい旋律を奏でる助けになっているはずだと考えていたのです。

しかし、この論文は、その仮定が間違っていることを明らかにしています。実は、「最も大きな音を鳴らしている」演奏家たちは、全く異なる、対立する2つのグループに属していることが判明しました。それが、**「ライター（Writers：書く者）」と「キャンセラー（Cancellers：消す者）」**です。

以下に、この論文の発見を簡単な比喩を用いて解説します。

1. 大きな誤解：音量 vs 方向

以前の研究者は、これらの演奏家を音量（答えに対してどれだけ貢献したか）によってランク付けしていました。そして、最も大きな音を鳴らしている上位20人の演奏家は、全員が「助っ人」であると考えていました。

この論文の著者たちは、音量だけでは不十分であり、方向を知る必要があることに気づきました。

ライター（Writers）： オーケストラを正しい答えへと押し進める大きな音を奏でます。
キャンセラー（Cancellers）： 彼らもまた大きな音を奏でますが、オーケストラを間違った答えへと押し進めようとします。彼らは正しい答えを打ち消そうと積極的に動いています。

比喩： 綱引きを想像してください。

ライターは、ロープをゴールラインの方へと引いているチームです。
キャンセラーは、もう一つのチームで、同じくらい強くロープを引いていますが、反対の方向へと引いています。
もし、彼らがどれほど強く引いているか（大きさ）だけを見れば、両者が等しく重要な「引き手」であると考えてしまいます。しかし、方向を見れば、彼らが互いに争っていることがわかります。

2. 発見：2つの集団

研究者たちは、これらをさまざまな規模（小規模から大規模まで）の異なるモデルや、異なる種類の論理パズルでテストしました。その結果、ほとんどすべてのケースにおいて、「トップ」の演奏家たちがこれら2つの対立する陣営に分かれることがわかりました。

「ライター」は、正しい答えの確率を上げます。
「キャンセラー」は、正しい答えの確率を下げます。

研究者たちが「キャンセラー」の音を消した（アブレーションを行った）ところ、モデルのパズル解決能力は実際に向上しました。それは、まるで綱引きのチームからサボタージュ（破壊工作）を行う者を排除したようなものでした。突然、「ライター」たちは抵抗を受けることなく、ロープをゴールラインへと引き寄せることができるようになったのです。

3. なぜ以前の研究は見逃したのか

以前の研究（Todd et al., 2024など）は、貢献の「大きさ」のみを見る手法を用いていました。そのため、彼らは誤ってライターとキャンセラーを混ぜて捉えてしまい、その混ざり具合はパズルによって変化していました。

あるパズルでは「キャンセラー」の方が音が大きかったため、古い手法では彼らが主要な助っ人であると判断されました。
別のパズルでは「ライター」の方が音が大きかったため、古い手法では彼らが主要な助っ人であると判断されました。

この論文は、方向（符号）を無視することは、英雄と悪党を混ぜ合わせ、彼らが皆単なる「大きな音の助っ人」であると勘違いすることになるのだと示しています。

4. キャンセラーは単なるミスなのか？

研究者たちは、「キャンセラー」がモデルの壊れたパーツや、単なる偶然のノイズではないことを確認するために、多くのテストを行いました。彼らは、これらが実在し、機能しているシステムの一部であることを証明しました。

彼らは異なるものを見ている： ライターは例題の中の「ラベル（答え）」に注目します。一方、キャンセラーは「フォーマット（句読点や空白）」に注目します。彼らはページの異なる部分を見ているのです。
彼らは内容に基づいている： キャンセラーは単にランダムに答えを抑制しているのではなく、例題の中で示された直後の答えを、具体的に抑制しようとしています。
彼らは「コピー抑制器」ではない： 論文は、これらが単なる一般的な「コピーしないためのメカニメント」であるという考えを否定しました。これらはタスクの論理に特化したものです。

5. 「L11.H4」のキャラクター研究

論文では、特定の演奏家である L11.H4 に焦点を当て、それがどのように機能するかを詳しく見ています。

この演奏家は、論理パズルの場面では「キャンセラー」として機能します（間違った答えへと押し進めようとします）。
しかし、パズルを語彙タスク（反対語のマッチングなど）に変更すると、この同じ演奏家は役割を反転させ、「ライター」になります（正しい答えを助けます）。
教訓： この演奏家は、本質的に「善」でも「悪」でもありません。その役割は、**「今示されたものを抑制すること」**です。デモンストレーションが正しい答えであれば、それを抑制します（キャンセラー）。もしデモンストレーションが（異なる文脈において）間違った答えであれば、その間違った答えを抑制することで、結果的に正しい答えを助けることになります（ライター）。

6. まとめ

この論文の主な結論は、AIモデルの最も「活動的な」部分を、単一の均一なグループとして扱うことはできないということです。

旧来の視点： 「これらはトップ20の重要なヘッドだ。これらを使ってモデルを制御しよう。」
新しい視点： 「これらトップ20のヘッドは、実は内戦状態にある。半分はモデルを正しい場所へ押し、半分は間違った場所へ押しやっている。モデルを制御したいのであれば、ライターを増幅させるのではなく、キャンセラーを黙らせる必要がある。」

この論文は、これがモデルを「安全」にしたり、医療や法律などの実社会での使用に即応できる状態にしたりすると主張しているわけではありません。単に、モデルが例からルールを学習する方法を理解するためには、内部の「演奏家」たちが協力し合っているのではなく、しばしば互いに戦っているという事実を認識しなければならない、と述べているのです。

技術要約：関数ベクトル・ヘッドは「ライター（Writers）」と「キャンセラー（Cancellers）」という2つの集団である：インコンテキスト学習における知見

1. 問題提起

メカニスティック・インタープリタビリティ（機械論的解釈可能性）の分野において、関数ベクトル（Function-Vector; FV）ヘッドは通常、インコンテキスト学習（ICL）のルール・タスクに対して大きな因果的寄与を持つ、スパースなアテンション・ヘッドの集合として特定される。標準的な特定パイプライン（例：Todd et al., 2024）では、これらのヘッドをその大きさ（magnitude）（例：Direct Logit AttributionやAIE）によってランク付けし、上位のセットを均質な機能クラスとして扱う。

本論文は、「大きさのみによるランキングは、高マグニチュードのヘッドがモデルをデモンストレーションされたルールへと一様に押し進めている」という暗黙の仮定に異議を唱える。著者らは、大きさのみによるランキングは決定的な構造的異質性を隠蔽していると主張する。すなわち、上位のセットには、互いに相反する因果効果を持つヘッドが含まれている可能性がある。もしこの仮定が崩れるならば、標準的な集計手法（ステアリング・ベクトルなど）は、意図せずに対立する力を混合してしまい、最適ではない、あるいは矛盾した介入を招く可能性がある。

2. 手法

著者らは、符号を保持する特定パイプラインと、3つのモデルファミリー（Pythia, Qwen2.5, GPT-2）および6つのスケール（410M–12B）にわたる厳格な検証フレームワークを提案している。

精緻化された直接ロジット属性（Refined Direct Logit Attribution; DLA）: 絶対的な大きさでランク付けする代わりに、著者らは各ヘッドが「正解マイナス不正解」のロジット差（ $\Delta \ell$ ）に対して与える符号付きの寄与を計算する。彼らは置換ベースの偽発見率（FDR）制御（ $q=0.10$ ）を適用し、正の寄与者と負の寄与者の両方を含む、FVヘッドの候補セットを特定する。
パス・パッチングによる検証: 候補は、直接的な効果を分離するためにパス・パッチングを用いて検証される。ヘッドは、プロンプトの振れ幅に対する直接効果の大きさに基づいて、以下の2つの集団に分割される：
- ライター（Writers; $W$ ）: 正の直接効果（振れ幅の $\ge +5\%$ ）を持ち、正解トークンのロジットを押し上げるヘッド。
- キャンセラー（Cancellers; $C$ ）: 負の直接効果（振れ幅の $\le -5\%$ ）を持ち、正解トークンのロジットを押し下げるヘッド。
カノニカル・バーディクト（標準的な判定）: 2つの対立する集団の存在は、グループ・アブレーション（ゼロ化または平均アブレーション）に関する4つの条件テストによって検証される：
1. $W$ をアブレーションすると、正解ロジットが有意に減少する（ $\Delta \ell_W < 0$ ）。
2. $C$ をアブレーションすると、正解ロジットが有意に増加する（ $\Delta \ell_C > 0$ ）。
3. 両者の符号は逆である。
4. 結合アブレーション（ $W \cup C$ ）は**減衰（attenuation）**を示す（効果が個々の効果の和よりも小さくなる）。これは、両者が同じ読み出し（readout）に対して、逆の方向から作用していることを示している。
アーティファクトの排除: 著者らは、「キャンセラー」信号に対する6つの代替的な説明を排除している：
1. 誘導の重複（Induction Overlap）: キャンセラー・ヘッドは単なる誘導ヘッドではない。
2. アテンション・シンク（Attention Sinks）: この効果は、フォーマットの接頭辞やBOSトークンへのアテンションによるアーティファクトではない（per-source DLAバケッティングにより検証済み）。
3. 汎用的な重要性: キャンセラーは、単にランダムな符号を持つ高アテンション・ヘッドではない。
4. ランク1のコピー抑制（Rank-1 Copy-Suppression）: このメカニズムは、コピーされたトークンの単純なランク1抑制ではない（GPT-2 L10.H7とは異なる）。
5. V-カスケード（V-Cascade）: この効果は、特定のV組成カスケードを介して上流のライターを抑制することによる結果ではない。
6. ランク最近傍コントロール（Rank-Nearest Controls）: 同程度の大きさを持つランダムなヘッドは、同様のキャンセル挙動を示さない。

3. 主な結果

集団の分割: 15のセル（6つの主要なPythiaセル + 9つの拡張セル）全体において、FVヘッドのセットはライターとキャンセラーに明確に分かれる。カノニカル・バーディクトは15セル中13セルで成立する。
先行研究との非対称な重複: 大きさのみによるランキング（Todd et al., 2024）は、局所的に支配的なサブ集団に対してバイアスを持つ。
- **階層的（Hierarchical）タスクにおいて、Toddのトップ20はキャンセラーの64%**を捉えているが、**ライターはわずか4%**しか捉えていない。
- **モジュラー（Modular）タスクにおいて、Toddのトップ20はライターの59%**を捉えているが、**キャンセラーはわずか8%**しか捉えていない。
キャンセラーの因果的影響: キャンセラー集団をゼロ・アブレーションすると、6/6の主要セルにおいて、一貫したロジット利得（+0.13 to +0.29 nats）と、精度向上（+2 to +7 パーセントポイント）が得られる。
構造的区別:
- QKソース: ライターはデモンストレーションのラベルにアテンションを集中させるが、キャンセラーはアテンションの質量をフォーマット接頭辞に向かってシフトさせ、ラベルから遠ざける。
- OV幾何学: ライターとキャンセラーの書き込み方向（OV）はほぼ直交しており（垂直成分の割合の平均 0.96）、それらが残差ストリーム内で完全に打ち消し合うことなく共存することを可能にしている。
- レイヤー分布: キャンセラーは初期から中期のレイヤーにクラスター化しており、多くの場合、同じセル内のライターの下流に位置している。これにより、最終段階での抑制ではないことが示されている。
ケーススタディ (L11.H4): Pythia-410Mにおける主要なキャンセラーは、「分散バイアス・コンテンツ・リーダー（distributed-bias content reader）」として特定されている。その役割はタスク・テンプレートによって反転し（ルール・タスクではキャンセラー、対義語タスクではライターとなる）、これは「デモンストレーションされたもの」を抑制しているのであって、無条件のロジット抑制を行っているのではないという仮説を支持している。これはランク1のコピー抑制やV-カスケードのテンプレートには適合しない。

4. 意義と主張

本論文は、FVヘッドの集団は均質なクラスではなく、二つの対立するサブ回路からなる構造的特性であると主張している。

方法論的修正: 標準的な「大きさのみ」のランキングは、FVヘッドの完全な機能的ランドスケープを特定するには不十分である。それは支配的な信号に対立するサブ集団を見落とし、不完全な回路モデルを導くことになる。
介入への示唆: 論文は、アブレーション（除去）、トランスプラント（移植）、および**加法的ステアリング（additive steering）**を区別している。
- アブレーション: キャンセラーを除去することでパフォーマンスが向上する。
  には、タスク平均に置き換えることで（これによりキャンセラーの特定のプロンプトごとの挙動を実質的に中和する）、ライターのみのトランスプラントよりもパフォーマンスが向上する。
- ステアリング: 著者らは、集約されたステアリング・ベクトル（ $W$ と $C$ を組み合わせたもの）が、実用的なステアリングのための正しい操作であるとは主張していない。なぜなら、 $W$ と $C$ は逆の符号を持つため、それらを単一のベクトルに集約すると、ステアリング効果が希釈される可能性があるからである。集団レベルの特定は、どのヘッドに介入すべきかを定義するためのものであり、必ずしもどのように集約すべきかを定義するものではない。
汎用性: この現象は、異なるモデルアーキテクチャ（GPT-NeoX, Llamaスタイル, Conv1D）およびスケールにわたって観察されており、これが特定のモデルやタスクのアーティファクトではなく、トランスフォーマーがインコンテキスト・ルール・フォロイングを実装する方法における根本的な特性であることを示唆している。

5. 限界

著者らは、自身の知見の範囲について謙虚な姿勢を維持している：

タスクの範囲: 主な分析は、短く、閉じたラベルを持つ合成的ICLタスク（階層的およびモジュラー・ルール）と、2つの語彙ICLテンプレート（対義語、国・首都）に限定されている。長文生成やオープンエンドな指示遂行についてはカバーしていない。
メカニズムの一般化: 「二つの集団が存在する」ことは集団レベルの知見であるが、主要なキャンセラー（L11.H4）の具体的なメカニズム的特徴（「分散バイアス・コンテンツ・リーダー」）を、キャンセラー集団全体に外挿しているわけではない。
ステアリングの主張: 本論文は、特定された集団を用いたベクトルベースのステアリングが、観察された特定のロジット・シフトを超えて、実用的なモデル制御を改善するという肯定的な主張は行っていない。アブレーションによる精度の向上は、さらなるチューニングなしに、加法的ステアリング・ベクトルへの利点を自動的に証明するものではない。