Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

技術的サマリー：計画はどこにあるか？軽量な機械的介入による言語モデルにおける潜在計画の局在化

問題定義
自己回帰型言語モデルはトークンごとにテキストを生成するが、韻を踏む連句（rhyming couplets）のような長距離の構造的整合性を必要とする出力を頻繁に生成する。これは「潜在計画（latent planning）」に関する根本的な問いを提起する：モデルは、これらのプロセスが外部の行動評価には見えない場合であっても、生成を因果的に駆動する未来出力の内部表現を形成しているのか？先行研究では、一部のモデルに計画と互換性のある情報が存在することは確立されているが、フォワードパス中にこの情報が正確に「どこ」に存在し、それが移動するかどうか（著者らが「計画サイトの形成（planning site formation）」と呼ぶ現象）は依然として不明である。さらに、単に符号化された（受動的な）情報と、因果的に利用される（能動的な）情報とを区別することは、正確な機械的理解と安全性評価にとって決定的に重要である。

手法
著者は、韻を踏む連句の完成というクリーンなテストケースを採用する。韻語 $r_1$ で終わる最初の行が与えられたとき、モデルは韻語 $r_2$ で終わる 2 行目を生成しなければならない。本研究では、3 つのオープンソースモデルファミリー（Qwen3、Gemma-3、Llama-3）のさまざまなスケール（最大 70B パラメータ）において、2 つの軽量な機械的介入手法を用いる：

1. 線形プロービング（符号化の証拠）： 線形分類器を訓練し、さまざまな層 $\ell$ と位置 $i$ の隠れ状態 $h_{\ell,i}$ から未来の韻トークン $r_2$ を予測する。これにより、計画と互換性のある情報が特定の場所（例：最後の単語トークン対改行トークン）で「復号可能」かどうかを判定する。
2. 活性化パッチング（因果的証拠）： 「汚染（corrupt）」実行（異なる韻のファミリーをターゲットとする）における特定の位置と層の隠れ状態を、「クリーン」実行に置換する。この介入が生成を汚染された韻の方向へ転向させる場合、その場所は因果的に能動的な計画サイトとして特定される。

本研究は特に、因果的影響の移動を追跡するために、最後の単語トークン（位置 $i \approx -1$ または $-2$）と**改行トークン**（位置$i = 0$）を比較する。

主要な結果

• 符号化と因果性の分離：

  • プロービング： 3 つのモデルファミリーすべてにおいて、線形プローブは改行トークンで未来の韻に関する情報を成功裏に復号した。このシグナルの強さは一般的にモデルのスケールとともに増加し、計画と互換性のある表現がより大規模なモデルの創発的性質であることを示唆している。
  • 活性化パッチング： 強力なプローブシグナルにもかかわらず、Gemma-3-27B だけが改行トークンに因果的に能動的な計画サイトを示した。このモデルでは、生成の因果駆動要因が、層 30 付近で最後の単語トークンから改行トークンへ移動する。
  • その他のモデル： Qwen3（最大 32B）と Llama-3（最大 70B）は、生成を通じて最後の単語トークンを条件とする。改行トークンで韻情報を符号化しているにもかかわらず（プローブにより示される）、これらのモデルで改行トークンをパッチングしても、出力への因果的効果はほぼゼロである。

• 引き継ぎの局在化（Gemma-3-27B）：

  • 最後の単語から改行への因果的影響の「引き継ぎ（handoff）」は、層 28 と 30 にある5 つの希少なアテンションヘッドによって媒介される。
  • 2 段階パスパッチングを用いることで、著者はこれら 5 つの特定のヘッドを同時にパッチングすることで、通常は改行における残差ストリーム全体を上書きすることで達成される韻のルーティング容量の約**90%**を回復することを示した。
  • このメカニズムはアテンションに特異的であり、対応する MLP をパッチングしても効果はない。

主要な貢献

1. 計画サイトの形成の定義： 本論文は、計画と互換性のある表現（プロービングにより検出可能）と因果的に能動的な計画サイト（介入により確立）との区別を形式化し、前者が後者を保証しないことを強調している。
2. スケーラブルな機械的フレームワーク： 著者は、トランスコーダーの訓練を必要とせず、ステアリングベクトルアプローチよりもはるかに少ないデータを必要とする、線形プロービングと活性化パッチングを用いたフレームワークを提案する。これにより、大規模なオープンソースアーキテクチャへの適用が可能となる。
3. 乖離の実証的発見： 本研究は、異なるモデルアーキテクチャ（同じスケール範囲内であっても）が、構造的制約に対して根本的に異なるメカニズムで解決することを明らかにした：一部は静的な「最後の単語」条件に依存するのに対し、他者（Gemma-3-27B など）は改行への動的な「引き継ぎ」を実装している。
4. 希少回路の同定： この研究は、Gemma-3-27B における複雑な計画行動を、特定の少数のアテンションヘッドに局在化することに成功し、そのような創発的現象が拡散的ではなく構造化され得ることを実証した。

意義と主張
本論文は、プローブシグナルのみが計画サイトの証拠として不十分であると主張する。受動的な符号化と能動的な因果的利用を区別できない場合、標準的な行動評価や単純なプロービングは、モデルの計画能力を体系的に過小評価したり、誤って特徴付けたりする可能性がある。

著者は、計画サイトの形成が、強力な計画と互換性のある表現の普遍的帰結ではなく、特定のモデルスケールとアーキテクチャに紐付いた固有の創発的現象であると主張する。希少で因果的な回路（5 つのアテンションヘッド）の同定は、潜在計画が高度に構造化された計算プロセスとなり得ることを示唆している。

本研究は、知見が現在 3 つのモデルファミリーと単一の構造化されたタスク（韻踏み）に制限されているという控えめな限界で結論づける。著者は、この「引き継ぎ」メカニズムが一般的な計画プリミティブなのか、それとも音韻的制約に特化したものなのか、また Qwen や Llama モデルにこの引き継ぎが存在しないことがアーキテクチャの違いによるものか、訓練データによるものか、は依然として未解決の問題であると指摘している。