Causality $\neq$ Invariance: Function and Concept Vectors in LLMs

大規模言語モデル（LLM）には入力形式に依存しない抽象的な概念表現が存在するが、それがコンテキスト学習の性能を直接駆動する「関数ベクトル」とは異なり、入力形式に頑健な「概念ベクトル」は注意ヘッドの異なるサブセットによって構成され、分布外での一般化において優位性を示すことが明らかになった。

要約

この論文は、最新の AI（大規模言語モデル）が「どうやって考えているのか」を解明しようとした、とても面白い研究です。

タイトルにある**「因果関係（Causality）≠ 不変性（Invariance）」という少し難しい言葉を使っていますが、実はとてもシンプルで、「AI の頭の中にある『仕事をする回路』と『本質を理解する回路』は、実は別物だった！」**という発見を伝えています。

これをわかりやすく説明するために、**「優秀な翻訳者」と「抽象的な哲学者」**という 2 つのキャラクターを使って例えてみましょう。

---

1. 従来の考え方：「1 つの魔法の杖」

これまでの研究では、AI が新しいタスク（例えば「反対語を見つける」こと）を学習する時、AI の頭の中に**「そのタスクを完璧に実行するための魔法の杖（Function Vector：機能ベクトル）」**が 1 本だけ作られると考えられていました。
この杖があれば、どんな言葉や形式で質問されても、AI は同じように正解を出せるはずだ、と期待されていました。

2. この論文の発見：「2 つの異なる回路」

しかし、この研究チームは、AI の頭の中を詳しく調べて、**「実は 2 つの全く違う回路が働いている！」**と気づきました。

🔧 回路 A：「仕事をする回路（Function Vectors / FV）」

• 役割： 即座に正解を出すための**「実務家」**です。
• 特徴：
  • 得意なこと： 質問の形式が同じなら、ものすごく上手に仕事をします。例えば、「英語で選択肢付き（A/B/C）」で聞かれたら、その形式に完璧に合わせた答えを出します。
  • 弱点： 形式が変わると、その回路は**「壊れてしまう」か、「別のもの」**になってしまいます。
  • 例え： 「英語の選択肢形式」で訓練された実務家は、「フランス語の自由記述形式」で同じ質問をされると、パニックになって「えっ、何？この形式は違う！」と混乱してしまいます。
  • 結論： この回路は、「タスクそのもの」ではなく「タスク＋形式（言語や見た目）」をセットで覚えているのです。

🧠 回路 B：「本質を理解する回路（Concept Vectors / CV）」

• 役割： 質問の背後にある**「本質的な意味」を理解する「哲学者」**です。
• 特徴：
  • 得意なこと： 質問の形式（英語かフランス語か、選択肢があるかないか）がどう変わっても、**「これは『反対語』を見つける問題だ！」**という本質を常に理解しています。
  • 弱点： 実務家（FV）ほど、即座に正解を導き出す力（影響力）は強くありません。
  • 例え： この哲学者は、「反対語」の本質を理解しているので、どんな言語や形式で聞かれても、「あ、これは『反対』の話ね」と冷静に判断できます。
  • 結論： この回路は、「形式を捨てて、概念そのもの」を抽象的に捉えています。

3. 驚きの事実：「同じ場所にいるのに、全く別の人」

さらに面白いのは、この 2 つの回路（実務家と哲学者）は、AI の頭の中の**「同じ階層（レイヤー）」に存在しているのに、「使っている部品（アテンションヘッド）」がほとんど重ならない**ということです。

• **実務家（FV）**は、タスクを「実行」するために使われます。
• **哲学者（CV）**は、タスクの「意味」を「理解」するために使われます。

つまり、AI は**「本質を理解している（哲学者がいる）」のに、「実際に答えを出すときは、その理解とは別の、形式に依存した回路（実務家）を使っている」**という、少し不思議な状態になっているのです。

4. なぜこれが重要なのか？（応用編）

この発見は、AI をより賢く制御する（Steering）ために重要です。

• 同じ形式で使うなら： 「実務家（FV）」を使うのが一番効果的です。例えば、英語の選択肢形式で訓練した AI を、同じ形式で使うなら、FV を操作すれば劇的に性能が上がります。
• 違う形式で使うなら（汎用性）： 「哲学者（CV）」を使うべきです。もし「英語で教えたことを、フランス語や選択肢形式でも使いたい」という場合、FV だと失敗しますが、CV なら本質を理解しているので、うまく通用します。

まとめ：AI の「思考」の正体

この論文は、**「AI が抽象的な概念（反対語や因果関係など）を持っていることは確かだが、それが『正解を出すための動力』とは別物である」**と教えてくれました。

• FV（機能ベクトル）： 「形式に縛られた、その場限りの実務家」。
• CV（概念ベクトル）： 「形式を超えた、本質を理解する哲学者」。

私たちが AI をより賢く、汎用的に使うためには、この「実務家」と「哲学者」の両方を理解し、状況に合わせて使い分ける必要があるのかもしれません。

一言で言えば：

「AI は『反対語』という概念を本当に理解している（哲学者がいる）けれど、実際に答えを出すときは、その理解とは別の、形式に依存した『作業員（実務家）』が動いているんだ！」

これが、この論文が伝えたい「AI の頭の中の秘密」です。

技術概要

論文「CAUSALITY ≠ INVARIANCE: FUNCTION AND CONCEPT VECTORS IN LLMS」の技術的サマリー

この論文は、大規模言語モデル（LLM）が「抽象的な概念」を表面形式（入力フォーマットや言語）に依存せずに表現しているかどうか、そしてその表現がタスク遂行（コンテキスト内学習：ICL）を駆動するメカニズムとどのように関連しているかを検証した研究です。

著者らは、従来の「関数ベクトル（Function Vectors: FVs）」が必ずしも入力形式に不変（invariant）ではなく、概念とフォーマットが混在していることを発見しました。その上で、入力形式に依存しない「概念ベクトル（Concept Vectors: CVs）」を新たに定義し、両者のメカニズム的乖離を明らかにしました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定と背景

• 核心的な問い: LLM は、入力形式（自由回答 vs 多肢選択、英語 vs 他言語など）が異なっても、同じ関係性概念（例：「対義語」「翻訳」）を抽象的に表現しているか？
• 既存の仮説: 従来の研究（Todd et al., 2024 など）では、コンテキスト内学習（ICL）を駆動する「関数ベクトル（FV）」が、異なるコンテキスト間でも転移可能であるため、これが抽象的な概念の表現であるとみなされてきた。
• 仮説の矛盾: しかし、同じ概念でも入力形式が異なると FV が直交（orthogonal）に近い状態になることが示唆されており、FV が単なる抽象概念の表現ではなく、入力フォーマットの情報も混在している可能性が疑われた。
• 目的: LLM 内部に存在する「因果的にタスクを駆動するメカニズム」と「フォーマットに不変な抽象概念の表現」を分離し、その関係を解明すること。

2. 手法 (Methodology)

研究では、7 つの関係性概念（対義語、カテゴリー、因果関係、類義語、翻訳、時制変化、単数・複数）と、3 つの入力形式（英語自由回答、他言語自由回答、多肢選択）を用いて、4 つのモデル（Llama 3.1 8B/70B, Qwen 2.5 7B/72B）を評価しました。

2.1 注目ヘッドの特定手法

2 つの異なるアプローチを用いて、アテンションヘッドを特定しました。

1. アクティベーションパッチング (Activation Patching, AP) → 関数ベクトル (FV) の特定

   • 目的: 出力に因果的効果を持つコンポーネントを特定する。
   • 手法: 汚染されたプロンプト（関係性が壊れたもの）に対して、クリーンなプロンプトからの平均アクティベーションをパッチし、予測確率の変化（CIE: Causal Indirect Effect）を測定。
   • 指標: 平均間接効果（AIE）が高いヘッドを「FV 関連ヘッド」として選択し、そのアクティベーションの和を関数ベクトル (FV) とする。

2. 表現類似性分析 (Representational Similarity Analysis, RSA) → 概念ベクトル (CV) の特定

   • 目的: 入力形式に依存せず、概念のみでクラスタリングする表現を持つコンポーネントを特定する。
   • 手法: 各ヘッドの出力ベクトル間のコサイン類似度行列（RSM）と、プロンプトペアが「同じ概念か」「同じフォーマットか」を示す設計行列（Design Matrix）との Spearman 相関（$\rho$）を計算。
   • 指標: 「概念」の設計行列と高い相関を示すヘッドを「CV 関連ヘッド」として選択し、そのアクティベーションの和を概念ベクトル (CV) とする。

2.2 方向付け実験 (Steering Experiments)

特定されたベクトル（FV と CV）をモデルの残差ストリームに注入し、モデルの挙動を制御（steering）できるかを検証しました。

• タスク: AmbiguousICL（対義語と翻訳が混在するプロンプト）において、モデルが本来の予測（翻訳）から対義語へ誘導できるかを測定。
• 評価: 分布内（ID: 抽出と適用のフォーマット一致）と分布外（OOD: フォーマット不一致）での性能変化（$\Delta P$）と、分布間の一貫性（KL 発散）を比較。

3. 主要な結果 (Key Results)

3.1 FV と CV は異なるアテンションヘッドで構成されている

• 層の位置: FV と CV を構成するヘッドは、同じ層（layer）に存在する傾向があるが、具体的なヘッドの ID はほとんど重複していない（Top-K での重なりは K=20 以下でほぼゼロ）。
• 意味: 「因果的な駆動メカニズム」と「抽象的な概念表現」は、異なる回路（mechanism）によって実装されている。

3.2 表現の特性：FV はフォーマットに依存、CV は不変

• FV の性質: 同じ概念でも、入力形式（自由回答 vs 多肢選択）が異なると、FV はほぼ直交する。FV は「概念＋フォーマット情報（例：多肢選択の括弧記号、フランス語の単語）」を混在して表現している。
• CV の性質: CV は入力形式に関わらず、同じ概念でクラスタリングする。CV はフォーマット情報を排除した、より高次の抽象レベルで概念を表現している。

3.3 方向付け（Steering）におけるトレードオフ

• 分布内 (ID) 性能: FV の方が、抽出フォーマットと適用フォーマットが一致する場合、より大きな性能向上（$\Delta P$）をもたらす。FV はタスクを「実行」する主要な駆動力である。
• 分布外 (OOD) 性能: フォーマットが異なる場合、FV の性能は急激に低下し、フォーマット固有のノイズ（例：フランス語の対義語を生成してしまう、多肢選択の記号を生成してしまう）を誘発する。
• CV の汎化: CV は絶対的な性能向上幅は FV より小さいが、分布外（異なる言語や形式）でも一貫して安定した効果を示す。CV は「対義語」という抽象概念を強化し、表面形式（言語や形式）には依存しない。

4. 主要な貢献 (Contributions)

1. FV の非不変性の実証: 従来の「関数ベクトルは抽象概念を表現する」という見解を修正。FV は入力フォーマットと概念が混在しており、フォーマットが変われば直交する表現となることを示した。
2. 概念ベクトル (CV) の発見: RSA を用いて、フォーマットに不変な高次抽象概念をエンコードするアテンションヘッドを特定し、CV として定義した。
3. メカニズムの分離: 「ICL 性能を因果的に駆動する回路（FV）」と「抽象概念を表現する回路（CV）」は、同じ層に存在するが、実質的に異なるヘッド群によって構成されていることを示した。
4. 制御のトレードオフの提示:
   • 分布内での最大制御には FV が適している。
   • 分布外でのロバストな制御や、抽象知識の探査には CV が適している。

5. 意義と考察 (Significance & Discussion)

• ICL の理論的モデルへの示唆: 単一の「関数ベクトル」がすべての ICL を説明するという仮説は不完全である。LLM は、フォーマット条件付きの関数ベクトル $a(f, \phi)$ と、抽象的な概念表現 $a(f)$ を別々のメカニズムで保持している可能性が高い。
• 因果性 vs 不変性: 本研究は、LLM において「因果的な行動駆動」と「抽象的な表現の不変性」が、異なる神経回路によって仲介されていることを示した。これは、人間の類推推論における「抽象的な構造の把握」と「具体的なタスク遂行」の分離と類似している可能性がある。
• 実用的なインプリケーション:
  • 解釈可能性: 単に「タスクを制御するベクトル」を探すだけでなく、それが「抽象概念」を捉えているのか「フォーマット情報」を捉えているのかを区別する必要がある。
  • モデル制御: 特定のフォーマットや言語に依存しないロバストなモデル制御を行うには、FV ではなく CV を活用するアプローチが有効である。

結論:
LLM は抽象的な関係性概念を表現する能力（CV）を持っているが、それが直接的に ICL タスクの性能を最大化するメカニズム（FV）とは一致しない。FV はフォーマットに特化した「実行回路」であり、CV はフォーマットに依存しない「概念回路」である。この二重構造の理解は、LLM の内部メカニズム解明と、より汎用的なモデル制御技術の開発に重要な一歩である。