Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

本論文は、線形プロービングが示唆するところのコンテキスト内学習におけるタスクの同一性が特定の層やトークンに局在しているのではなく、むしろデモンストレーショントークンにわたる分散された出力フォーマットテンプレートとして因果的に符号化されており、その重要な介入ウィンドウはネットワーク深度の約30%付近にあることを実証する。

要約

大規模言語モデル（チャットボットを動かしているようなもの）を、巨大な多階建ての工場だと想像してみてください。タスクの例をいくつか（例えば「この単語を大文字に変換する」など）与えると、モデルはそのルールを推測し、新しい質問に適用しようとします。これを**インコンテキスト学習（ICL）**と呼びます。

長らく、科学者たちはこの工場の「どこ」にその「ルール」が保存されていると考えていました。彼らは「プローブ」と呼ばれるツール（金属探知機のようなもの）を使用し、それが大きく鳴り響き、「はい、『大文字』のルールはまさにここにあります！」と宣言するのです。彼らは工場の特定の階の特定の場所において、これらの鳴動を見つけ出しました。

大いなる驚き：金属探知機は嘘つきだ
この論文の著者たちは、その鳴動が実際に重要な意味を持つかどうかを検証することにしました。彼らは「手術」実験を試みました。金属探知機がルールがあると告げた正確な場所へ行き、その情報を取り除き、別のものに入れ替えたのです。

• 結果： 何も起こりませんでした。工場は手術を完全に無視し、完璧に機能し続けました。
• 比喩： 車のエンジンが一本の赤いワイヤーによって制御されていると思い込んでいると想像してください。そのワイヤーを切断して車が止まることを期待します。しかし、車は走り続けます。実はエンジンは一本のワイヤーで制御されているのではなく、信号は数千本のワイヤーに分散しているのです。一本を切断しても、車は気にしません。

真の発見：「分散型テンプレート」
研究者たちは、「ルール」が一つの場所に保存されているわけではないことに気づきました。それは、モデルに与えた例の全体に散らばっているジグソーパズルのようです。

1. 単一位置の失敗： パズルの一片（例の中の単語一つ）だけを交換しようとすると、モデルは気づきません。絵を完成させるために、他にもあまりにも多くのピースがあるからです。
2. 多位置の突破口： しかし、パズルのすべてのピースを同時に交換すると（例のすべての出力単語を）、モデルは考えを変えます。与えられた新しいルールに従い始めるのです。

工場の「絶好のタイミング」
研究者たちは、この「パズルの交換」が工場の特定の階で行われた場合にのみ機能することを見つけました。

• 早すぎる（1〜7 階）： パズルのピースはまだ組み立てられておらず、パターンは明確ではありません。
• 遅すぎる（15 階以上）： 工場はすでに車を完成させ、走り出しています。今になって設計図を変えても遅すぎます。
• 丁度良い（8 階）： これが「コミットメントの窓」です。工場は設計を最終確定させているが、まだ建設を開始していない場所です。ここで設計図を交換すれば、工場は新しい車を組み立てます。

実際に何が転送されるのか？
この論文は、モデルがタスクの「意味」（例えば「これは感情に関するものだ」など）を学習しているのではなく、**答えの「形状」**を学習していることを発見しました。

• 比喩： モデルに詩の書き方を教えると想像してください。例を、異なる種類の詩（例えば、押韻する連句から俳句へ）に書き換えても、トピックが同じであってもモデルは切り替わりません。
• 発見： モデルは「テンプレート」だけをコピーします。例が「単語、単語、単語」と示している場合、モデルは、その新しいタスクも「単語、単語、単語」という見た目をしている場合にのみ、新しいタスクに切り替わります。単語が猫についてなのか数字についてなのかは関係ありません。重要なのは、構造が一致していることです。

クエリと例
この論文はまた、面白い非対称性も発見しました。

• 例（デモ）： これらは「材料」のようなものです。料理を作るには、それらすべてが必要です。一つ欠けても、他のものが補うためレシピは機能します。しかし、それらすべてを交換すると、料理は完全に変わってしまいます。
• 質問（クエリ）： これはレシピを読む「シェフ」です。シェフの指示（質問部分）を間違えると、全体が失敗します。シェフは不可欠ですが、レシピを持っているのはシェフではなく、材料の方です。

平易な英語での要約

1. 金属探知機を信頼するな： モデルが一つの場所でルールを見つけられるからといって、その場所が重要だとは限りません。
2. ルールは至る所に存在する： 「タスクの正体」は一つの場所に固定されているのではなく、すべての例の答えに分散しています。
3. タイミングが重要： モデルの考えを変えることができるのは、思考プロセスの途中だけです。始めや終わりではできません。
4. 重要なのは意味ではなく形状： モデルはタスクの深い論理を理解するのではなく、答えの形式（テンプレートのようなもの）をコピーします。

この論文は、これらの AI モデルが例から学習する方法の地図を根本から書き換え、タスクの「脳」が単一のスイッチではなく、分散型で耐障害性のあるネットワークであることを示しました。

技術概要

技術的サマリー：分散型出力テンプレートがコンテキスト内学習を駆動する

問題提起

少数ショットのデモンストレーションから大規模言語モデル（LLM）がタスクの同一性をどのように符号化するかを理解することは、機械的解釈可能性における中心的な未解決問題のままです。先行研究は主にタスク表現を局所化するために線形プローブに依存し、特定の層や位置で高い分類精度を報告してきました。しかし、デコード可能性（プローブが情報を抽出する能力）と因果的関連性（その情報がモデルの行動を駆動するかどうか）の間には、決定的なギャップが存在します。本論文は、先行研究で観察された高いプロービング精度が、コンテキスト内学習（ICL）のタスク同一性に対する因果的制御に変換されるかどうかを調査します。

手法

著者は Llama-3.2-3B-Instruct に対して活性化介入実験を実施し、Llama-3.2-1B、Qwen2.5-1.5B、Gemma-2-2B の 3 つの他のモデルでも結果を再現しました。本研究は、ICL プロンプト内の 3 つの位置タイプ、すなわちデモンストレーション入力、デモンストレーション出力、およびクエリを区別します。

1. プロービング: タスク同一性のデコード可能性を測定するために、すべての（層、位置）ペアにおいて最近傍重心分類器を訓練します。
2. 単一位置介入: ターゲットプロンプト内の単一の（層、位置）ペアにおける活性化ベクトルを、ソースタスクからの平均活性化に置換します。これにより、タスク同一性が局所化されているかどうかをテストします。
3. 多位置介入: 全デモンストレーション出力トークンにおける活性化を同時に置換します。これにより、タスク同一性が分散されているかどうかをテストします。
4. 因果追跡: 特定の位置にガウスノイズを注入して必要性（妨害率）を測定し、移植によって十分性（転送率）を測定します。
5. フォーマット互換性分析: 同一の操作を持つが異なる出力フォーマット（例：「WORD」対「WORD.」）を持つタスクバリアントを作成し、転送が抽象的な規則に依存するか、表面テンプレートに依存するかを決定します。

主要な貢献と結果

1. 単一位置介入の失敗

デモンストレーション位置で100% のプロービング精度を達成し、クエリ位置で全 28 層において83%を達成したにもかかわらず、単一位置介入はすべての層で0% のタスク転送しか達成しません。対照実験（ゼロおよびランダム除去）は、単一の位置が因果的に必要ではないことを確認しており、モデルは単一位置の摂動を完全に無視します。これは、タスク符号化が本質的に分散しており、耐障害性を持つことを示しています。

2. 多位置介入のブレイクスルー

著者は、タスク同一性が同時多位置介入を通じてのみ因果的に転送され得ることを明らかにしました。

• 最適ウィンドウ: 転送は 28 層モデルの場合、第 8 層（約ネットワーク深度の 30%）でピークに達し、フォーマット互換ペアに対して96% の転送（95% 信頼区間：[87%, 99%]）を達成します。
• 位置特異性: デモンストレーションの出力トークンを置換すると 94% の転送が得られますが、入力トークンを置換すると 0% です。すべてのデモトークン（入力＋出力）を置換すると 96% となり、出力トークンが主要な信号を担っていることを示しています。
• 閾値効果: 転送は漸進的ではありません。1〜3 位置を置換すると転送は 0%、約 10 位置を置換すると 10%、すべての位置を置換すると約 90% となります。同様に、1〜3 のソースデモンストレーションでは転送は 0% ですが、5 つでは 93% となります。

3. 因果的非対称性：クエリ対デモンストレーション

ノイズ注入による因果追跡は、顕著な非対称性を明らかにしました。

• クエリ位置: 厳密に必要（層 0〜14 でノイズを注入すると 53〜100% 妨害）ですが、十分ではありません（移植しても 0% の転送）。
• デモンストレーション位置: 個別的には必要ではありません（ノイズを注入しても 0% 妨害）が、集合的には十分です（すべて置換すると 96% の転送）。
  これは、段階的なパイプラインを示唆しています。初期層は分散テンプレートを符号化し、中間層はこの情報をクエリに集約し、後期層は出力生成にコミットします。

4. 分散テンプレート仮説

転送は、表面の類似性ではなく、内部表現の互換性に依存します。

• フォーマット感受性: 同一の操作を持つが異なる出力フォーマット（例：「WORD」対「WORD.」）を持つタスクは 0% の転送を示します。逆に、構造的に類似したテンプレートを持つタスク（例：「word word」対「word, word」）は 90% の転送を示します。
• トークン数の互換性: 転送は出力トークン数の互換性によって駆動されます。例えば、uppercase（1 トークン）は linear 2x（1 トークン）に対して 100% 転送しますが、repeat word（2 トークン）は repeat n（3 トークン）に対して転送に失敗します。
• 予測可能性: 56 のタスクペアのうち 7 つ（13%）のみが 50% 以上の転送を達成します。これらは、厳格な単一トークンまたは反復トークンの出力構造を持つ手続き的タスクのクラスターを形成します。意味的タスクは、タスク間転送がほぼゼロです。

意義と主張

本論文は、分散テンプレート仮説を確立します。ICL のタスク同一性は、局所化されたベクトルや抽象的な規則として符号化されるのではなく、デモンストレーショントークン全体に分散した出力フォーマットテンプレートとして符号化されます。

• 機械的洞察: 発見は、デコード可能性と因果的関連性の間の曖昧さを解消し、高いプロービング精度が因果的制御を意味しないことを示しています。
• アーキテクチャ特異性: 約 30% の深度における最適介入ウィンドウは、LLaMA、Qwen、Gemma アーキテクチャ全体にわたる普遍的な特徴のように見え、集約前にテンプレートが符号化される一般的なトランスフォーマー処理段階を示唆しています。
• 制御への示唆: ICL に対する効果的な活性化制御には、単一ベクトル編集ではなく、初期〜中間層における調整された多位置置換が必要です。
• ICL の性質: 結果は、多くのタスクにおいて、モデルは抽象的な入力 - 出力関係を推論するのではなく、特に手続き的タスクにおいて出力テンプレートに一致させることで動作することを示唆しています。

著者は、メカニズムは一般的である一方で、成功した転送はソースとターゲットの出力フォーマット間の厳格な構造的互換性によって制約されており、表面の類似性やランダムな注入アーティファクトに基づく trivial な説明は排除されると結論付けています。