💬 NLP

Patches of Nonlinearity: Instruction Vectors in Large Language Models

本論文は、指示チューニングにおけるモデル内部のメカニズムを調査し、指示表現（Instruction Vectors）が線形的な分離性と非線形な因果相互作用を併せ持つこと、およびそれらが後続レイヤーにおいてタスクに応じた情報経路を選択する「回路セレクター」として機能していることを明らかにしています。

原著者： Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：AIの頭の中にある「指示のスイッチ」を探せ！

みなさんは、AI（ChatGPTのような大規模言語モデル）に何かをお願いするとき、「〜を翻訳して」「〜の反対語を教えて」といった**「指示（インストラクション）」**を出しますよね。

これまでの研究では、「AIは指示を理解している」ことは分かっていましたが、**「AIの脳内のどこで、どうやってその指示を処理しているのか？」**という具体的な仕組みは、実はまだ謎に包まれていました。

この論文は、AIの脳内を精密検査して、その仕組みを解き明かそうとした研究です。

1. 「指示のメモ帳」を見つけた！ (Instruction Vectors)

まず研究チームは、AIが指示を読んだ直後に、脳内の特定の場所に**「指示の要約メモ」**をパッと作ることを発見しました。これを論文では「インストラクション・ベクトル」と呼んでいます。

【例え話：料理のレシピ】
あなたが料理人に「今日はイタリアンを作って」と頼んだとします。料理人は、材料を切り始める前に、頭の中で「あ、今日はイタリアンだな」という**「イメージのメモ」**をパッと作りますよね。
AIも同じです。具体的な質問（「ピザの作り方は？」など）に答える前に、まず「これはイタリアンの指示だ！」というメモを脳内の特定の場所に書き込んでいるのです。

2. 「指示」は単なる知識ではなく、「回路の切り替えスイッチ」だった！ (Circuit Selectors)

ここがこの論文の最も面白い発見です。AIは、その「指示のメモ」を使って、脳内の**「使う回路」を切り替えている**ことが分かりました。

【例え話：万能工具セットと、専用のモード】
AIの脳内には、膨大な数の「道具（回路）」が入った巨大な工具箱があります。

「翻訳して」という指示が来たら、脳内の**「翻訳モード・スイッチ」**が入り、翻訳用の道具だけが手に取りやすい場所に並びます。
「計算して」という指示が来たら、今度は**「計算モード・スイッチ」**が入り、電卓や定規の道具がセットされます。

つまり、指示は単なる「知識」ではなく、**「どの道具を使って問題を解くか？」を決める「司令塔」**の役割を果たしているのです。

3. 「1＋1が3になる」不思議な協力関係 (Superadditivity)

さらに驚くべきことに、この指示の処理は、単純な足し算では説明できない**「化学反応」**のような性質を持っていました。

これまでの考え方では、「脳のAの部分がこれくらい、Bの部分がこれくらい貢献している」とバラバラに計算できていました。しかし、この研究では、**「AとBがセットになった時だけ、爆発的に力が発揮される」**という現象（超加法性）を見つけました。

【例え話：オーケストラの演奏】
バイオリン奏者（A）とピアニスト（B）が一人ずついるとき、それぞれの音は単なる音です。しかし、二人が「指示（楽譜）」に従って完璧にタイミングを合わせて演奏した瞬間、単なる音の足し算を超えた、**心を揺さぶる「音楽」**が生まれますよね。
AIの脳内でも、バラバラの層（レイヤー）が組み合わさった瞬間に、指示に従うための強力なパワーが生まれるのです。

まとめ：この研究が何を変えるのか？

この研究によって、AIが「なぜ指示に従えるのか」というメカニズムが、より深く理解できるようになりました。

AIの診断ができるようになる： 「AIが指示を無視するのは、どのスイッチが壊れているからか？」が分かるようになります。
もっと賢いAIを作れる： 「指示のメモ」をより正確に作れるように訓練すれば、もっと指示に忠実で、ミスをしないAIが作れるはずです。

一言で言えば、**「AIという魔法の箱の中に、ちゃんと『指示に従うための仕組み』が組み込まれていることを、科学の力で証明した」**という素晴らしい研究なのです。

技術要約：Patches of Nonlinearity: Instruction Vectors in Large Language Models

1. 背景と問題意識 (Problem)

近年、大規模言語モデル（LLM）の性能向上において、指示チューニング（Instruction Tuning）は不可欠なプロセスとなっています。しかし、モデルが内部的にどのように指示（Instruction）を表現し、処理しているのかというメカニズムについては、ほとんど解明されていません。

既存の研究では、指示が「関数ベクトル（Function Vectors）」のような形で表現されることが示唆されていますが、以下の点が未解明でした：

形成プロセスと幾何学的特性: 指示の表現がどのように構築され、どのような幾何学的性質を持つのか。
因果的メカニズム: 指示の表現が、後続のクエリ（Query）の処理にどのように作用するのか。
線形仮説への疑義: 多くのメカニズム解釈可能性（Mechanistic Interpretability）の研究は、情報の表現や相互作用が「線形」であることを前提としていますが、指示の処理においてこれが成立するかは不明でした。

2. 研究手法 (Methodology)

本研究では、OLMo-2（1Bおよび7Bモデル）を用い、SFT（教師あり微調整）およびDPO（直接選好最適化）の各段階における指示表現を調査しました。

A. 因果媒介分析 (Causal Mediation Analysis)

「アクティベーション・パッチング（Activation Patching）」を用い、指示の最終トークン（ $T_{inst}$ ）における残差ストリームの表現を、クエリの予測にどれだけ寄与するかを測定しました。これにより、指示の「要約（Digest）」がモデル内のどこに局在しているかを特定しました。

B. 非線形性の検証 (Superadditivity Test)

単一レイヤーのパッチングと、複数のレイヤーを同時にパッチングした場合の寄与度を比較しました。もし相互作用が線形（加法的）であれば、複数レイヤーの寄与は個々の寄与の和になりますが、そうでない場合は「超加法性（Superadditivity）」が観察されます。

C. 新しい情報流解析手法 (Locally-linear Surrogate Maps)

既存の回路発見（Circuit Discovery）手法は、各コンポーネントの寄与を「加法的」に計算するため、非線形な相互作用を捉えられません。そこで著者らは、Transformerを「局所的に線形なトークン間マップ」の集合として捉え、介入なしで情報の伝播を追跡する新しい手法を提案しました。

3. 主な貢献と結果 (Key Contributions & Results)

① 指示ベクトル (Instruction Vectors: IVs) の発見

モデルは指示を処理した後、すぐにその指示の「要約（Digest）」を構築します。これを**指示ベクトル（IVs）**と呼びます。

局在性: 指示の要約は、指示セグメントの最終トークン付近に局在して形成されます（Eager computation）。
線形分離性: 高次元空間においては、異なるタスクの指示ベクトルは線形分離可能なクラスターを形成します。

② 線形仮説を覆す「超加法性」の発見

本研究の最も重要な発見は、指示ベクトルが非線形に相互作用するという点です。

複数のレイヤーにまたがる指示ベクトルの寄与は、個々のレイヤーの寄与の合計よりも大きくなります（ $f(x_i \cup x_j) \geq f(x_i) + f(x_j)$ ）。
これは、指示の処理が単純な加算的なプロセスではなく、複雑な非線形メカニズムであることを示しています。

③ 指示ベクトルは「回路セレクター」である

提案手法を用いた解析により、指示ベクトルの役割が明らかになりました。

メカニズム: 指示ベクトルは、初期レイヤーで形成され、後続のレイヤーにおいて「どの計算回路（Circuit）を使用するか」を選択する**回路セレクター（Circuit Selector）**として機能します。
学習の効果: 事前学習済みモデルもタスクの要約を作ることはできますが、指示に従って適切な回路を選択する能力は、SFTやDPOといった指示チューニングによって初めて獲得されます。

4. 研究の意義 (Significance)

解釈可能性研究への警鐘: 従来の「一つのコンポーネントが一つの因果的役割を持つ」という、加法的な因果モデル（DAGモデル）の限界を指摘しました。変数の影響が他の変数に依存する場合、単一コンポーネントの寄与を過小評価する可能性があることを示しました。
堅牢性の向上への示唆: 指示の処理が「情報のボトルネック」を介して行われている可能性を示唆しており、これは指示に対する敵対的な摂動（Adversarial Perturbations）に対する堅牢性を高める設計に応用できる可能性があります。
ポストトレーニングの理解: SFTやDPOが、単に知識を追加するだけでなく、モデル内の既存の知識を呼び出すための「回路選択メカニズム」を確立していることを明らかにしました。