技術的サマリー：インストラクションチューニングは、後段の読み出しを条件付ける前段の状態を変化させる

問題提起

最近の機械的解釈性研究は、ポストトレーニング後の行動（拒絶、ペルソナ、インストラクション追従など）を、トランスフォーマースタックの中盤から後盤に位置する特定の方向、特徴、層に局在化させてきた。しかし、初期計算と後段スタックとの間の協力関係を理解する上で、重要なギャップが残されている。具体的には、ポストトレーニングによる差異が、主に後段の特徴そのものの変化に起因するのか、それともそれらの特徴を活性化させる前段の残差状態の変化に起因するのかは不明である。核心的な問いは次の通りである：インストラクションチューニングは単に後段の読み出し層を変更するだけなのか、それとも、それらの後段の特徴を効果的に機能させるために必要な前段の状態を根本的に変えるのか？

手法：初回分岐点クロスパッチング

この課題に対処するため、著者はインストラクションチューニング（IT）の効果を、前段依存成分と直接後段スタック成分に分解する診断手法である初回分岐点クロスパッチングを導入する。

1. 介入地点

与えられたプロンプトに対して、この手法は事前学習済みベース（PT）モデルとそのインストラクションチューニング済み（IT）対応モデルが、トップ1の次のトークンについて不一致を示す最初の生成トークン位置を特定する。これらのトークンをそれぞれ $t_{PT}$ および $t_{IT}$ とする。

2. 4 細胞因子設計

この分岐点において、著者は一方モデルの前段残差状態（$U$）と他方モデルの後段スタック（$L$）を組み合わせることで、4 つのハイブリッド順伝播パスを構築する。後段スタックとは、最終的な約 40% の層（深さの約 60% 付近から始まる）を指す。
4 つの構成は以下の通りである：

1. $Y(U_{PT}, L_{PT})$: ベース前段 + ベース後段スタック（対照）
2. $Y(U_{PT}, L_{IT})$: ベース前段 + IT 後段スタック
3. $Y(U_{IT}, L_{PT})$: IT 前段 + ベース後段スタック
4. $Y(U_{IT}, L_{IT})$: IT 前段 + IT 後段スタック（対照）

スコア $Y$ は、ロジットマージンとして定義される：$\text{logit}(t_{IT}) - \text{logit}(t_{PT})$。

3. 分解

中核となる指標は相互作用効果であり、以下のように計算される：
$$\text{Interaction} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$$
これは、IT 後段スタックが自身の（IT）前段状態を読み取る場合と、ベース（PT）前段状態を読み取る場合を比較した際に、IT 後段スタックがどれだけさらに寄与するかを測定するものである。

• 直接後段スタック効果: PT 前段と組み合わせた場合の IT 後段スタックの寄与（$Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$）。
• 前段依存効果: IT 後段スタックが IT 前段状態を読み取る場合の追加的な利益。

4. 検証と対照

本研究は、ハイブリッド状態がアーティファクトではないことを保証するために厳格な対照を設けている：

• ハイブリッド状態の整合性: PT と IT の状態間の補間は滑らかであり、ランダムな符号付き置換ではこの効果を再現できない。
• 選択バイアス: 分岐点ではないランダムな局所的な不一致（初回分岐点以外）では、相互作用は減少するが同符号であり、分岐前スコアリングはほぼゼロである。これは、初回分岐点が効果を集中させていることを確認する。
• ネイティブ履歴: 共有プレフィックスではなく、ネイティブな IT または PT 生成履歴を使用しても、効果は持続する。

主要な結果

1. 前段 - 後段の結合

5 つの高密度モデルファミリー（4B–32B: Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B）にわたる結果は、強力な前段 - 後段結合を示している：

• 直接効果: PT 前段状態と組み合わせた場合、IT 後段スタックは IT トークンに対して +0.76 ロジットを追加する。
• 前段依存効果: IT 前段状態と組み合わせた場合、IT 後段スタックは +2.44 ロジットを追加する。
• 相互作用: 相互作用項は +1.68 ロジットであり、5 つのファミリーすべてで正である。
• 解釈: 後段スタックには実質的な直接効果があるが、IT チェックポイントで観察される行動のシフトの大部分は、後段スタックが自身のポストトレーニング済み前段状態を読み取る場合にのみ現れる。

2. トレーニングレシピの分離

この診断手法は、異なるポストトレーニングレシピを区別する：

• インストラクション追従派生モデル: 強い前段依存性（大きな相互作用）を示す。それらの後段効果は、独自の特定の前段状態を必要とする。
• OpenMath2（数学ドメイン）: Llama 3.1 ベースを共有しているにもかかわらず、OpenMath2 の数学ドメインにおける後段効果は largely 移植可能である。ベース前段状態を読み取っても大きな効果を示す（相互作用 $\approx -0.15$）。
• 制御付き継続事前学習（CPT）: ドメイン NLL を改善することに成功したコードおよびバイオメディカル CPT アダプターは、メインサポートにおいてインストラクションプロンプト相互作用パターンを再現しない（相互作用はゼロ付近）。これは、前段依存性がインストラクション追従アライメントに特有のものであり、一般的なドメイン適応ではないことを示唆している。

3. 機械的証拠

• スパース最終層特徴: 最終 MLP 層上のクロスコーダーは、相互作用を部分的に仲介するスパース特徴を特定する。品質ゲート付きファミリーにおいて、上位 200 の因果特徴をアブレーションすると、相互作用の質が 26–48% 減少する。
• 前段駆動: 弱いハイブリッドに IT 前段計算をパッチすることで +1.71 ロジットが回復し、その一部はこれらの最終層特徴によって仲介される。これは、より早期の状態が最終層特徴の活性化を駆動する「ハンドオフ」メカニズムを支持する。
• 構造化された状態: 派生モデルマイナスベースの境界状態の PCA 投影は、欠落しているマージンの相当部分を埋めることを示しており、欠落している前段状態が構造化された低ランク形式を持つことを示唆している。

4. 下流への帰結

• 強制トークンスコアリング: IT が好む分岐トークンを強制することで、コンテンツ推論プロンプトにおけるサフィックスのみの正確な回答成功率が +0.157 向上する。
• 制約付き継続: 相互作用は短い時間範囲（最大 $N=8$ トークン）にわたって持続し、シャッフルされたテールよりも整合的なネイティブテールの方がより多くの相互作用を担っている。

意義と主張

本論文は、インストラクションチューニングがモデルの行動をどのように変化させるかについての局所的かつ因果的な分解を提供し、単なる特徴の局在化を超えて、それらの条件付き活性化を理解する段階へと進むことを主張する。

1. 自己完結型後段スタックの否定: 結果は、後段層が自己完結型であるという見方を支持しない。IT チェックポイントで測定された大きな後段効果は、計算が独立していることを意味しない。それはしばしば、IT トレーニングレシピによって生成された特定の前段状態に依存している。
2. レシピ固有のメカニズム: 「前段依存性」のシグネチャは、インストラクション追従アライメントに特有の性質であり、OpenMath2 のようなドメイン固有の微調整や、一般的な継続事前学習とは区別される。
3. 運用診断: 著者は、後段層に差異を局在化させるあらゆる研究は、それらの効果が他方のチェックポイントの前段状態下で生存するかどうかをテストすべきであると提案する。もし効果が消滅するか著しく縮小する場合、後段スタックは自己完結型ではない。
4. スコープの限界: 著者は明示的に、これらは初回分岐点における局所的な次トークン読み出しテストであると述べている。平均的な展開行動の推定や、インストラクション追従の完全な回路再構築を主張するものではない。発見は、高密度トランスフォーマーファミリーと特定のプロンプトサポートにスコープが限定されている。

要約すると、本論文は、インストラクションチューニングが前段計算と後段読み出しとの間の協力関係を再編成すると論じている。ここで、インストラクション追従出力を生み出す後段スタックの能力は、チューニング済みモデルのより早期の層によって生成された特定の前段残差状態に強く条件付けられている。