What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

技術的サマリー：「計画は何か？LLM における暗黙的計画の指標と、韻律生成および質問応答への応用」

問題定義
大規模言語モデル（LLM）は次のトークン予測に基づいて訓練されているが、それらが「暗黙的計画」、すなわち中間生成を条件付けるために隠れ状態に将来の目標を表現する能力を示すかどうかについて、議論が深まっている。リンゼイら（2025）による Claude 3.5 Haiku に対するクロスレイヤートランスコーダを用いた研究などの先行証拠は、モデルが韻を踏む単語のために先を見越して計画している可能性を示唆していた。しかし、そのような知見は単一のクローズドソースモデルに限定され、計算コストが高く再現が困難な手法に依存していた。さらに、LLM の一般的な計画能力に対する懐疑論も残っており、一定時間のトークン生成は原理的な推論を排除するという議論もある。本論文は、暗黙的計画が多様なモデルファミリーおよびサイズにわたって存在する普遍的なメカニズムかどうかを確立し、それを評価するためのスケーラブルかつ定量的な手法を開発することを目的とする。

手法
著者は、複雑な辞書学習やクロスレイヤートランスコーダを必要とせず、暗黙的な前方および後方計画を検出・定量化するための、より単純でスケーラブルな技術のセットを提案する。この手法は、入力シーケンスの特定の位置に適用される平均活性化差分ステアリング（Arditi ら、2024）に依存する。

1. 計画の定義:

   • 前方計画: 将来の目標トークンの性質を符号化する表現を、より早い位置で生成すること。
   • 後方計画: その表現を用いて、目標に至る中間トークンの生成を条件付けること。
   • 暗黙的計画: 表現が明示的な出力（例：思考の連鎖）ではなく、隠れ状態内に存在すること。

2. 実験タスク:

   • 韻律生成: モデルに連句の完成を促す。目標は、1 行目に基づいて 2 行目の韻律ファミリーを予測すること。
   • 質問応答（QA）: モデルに質問に回答させる。ここで、対象名詞が冠詞（"a"対"an"）を決定する。目標は、名詞の答えを予測すること。

3. ステアリング手順:

   • ベクトル推定: ステアリングベクトルは、特定の位置（例：1 行目の最後の単語、改行トークン、または疑問符）における 2 つのカテゴリ（例："-ight"で終わる行対"-ake"で終わる行）間の隠れ活性化の平均差分として計算される。
   • 介入: 生成中に、ステアリングベクトルが選択された位置とレイヤの残差ストリームに追加される。
   • 指標:
     • 前方計画: ステアリングされた生成における「正しい韻律ファミリー/答えの割合」によって測定される。
     • 後方計画: 「再生指標」によって測定される。モデルに、元のコンテキストなしで生成された行の最終単語を再生成させる。モデルが後方計画を成功させていれば、再生成された単語は依然として意図された韻律/答えファミリーと整合するはずである。
     • 確率指標: ステアリングによって引き起こされる確率分布の変化を検出するために、中間ステップにおける KL 発散およびトップ 1 トークンのシフトを分析する。

4. データセットとモデル:

   • データセット: 10 の韻律ファミリーのための 1,050 行、および 20 の名詞ペア（母音/子音で始まる名詞を区別）のための 500 の質問。
   • モデル: 1B から 32B パラメータにわたる 4 つのファミリー（Gemma2、Gemma3、Qwen3、Llama3.1/3.2）にまたがる 23 のオープンウェイトモデル。ベース版とインストラクションチューニング版の両方を含む。

主要な結果

• 暗黙的計画の普遍性: 1B パラメータ規模のものを含むすべての 23 のモデルにおいて、成功した前方および後方計画の証拠が確認された。これは、計画が巨大なモデルに限定されない普遍的なメカニズムであることを示唆している。
• ステアリングの有効性:
  • 1 行目の終わり（最後の単語または改行トークン）でのステアリングは、2 行目に生成される韻律ファミリーを成功裡に変更した。
  • QA タスクにおいて、名詞の答えが生成される前にステアリングを行うことで、冠詞の選択（"a"対"an"）を成功裡にシフトさせ、後方計画を確認した。
  • インストラクションチューニングモデルは、ベース版の対応モデルに比べて、一般的により強い計画行動と高いステアリング有効性を示した。
• 後方計画の検証: 再生指標は、元のコンテキストが除去された場合でも、ステアリング下で生成された行がターゲットの韻律/答えで完了される可能性が高いことを示した。これは、計画表現が最終出力だけでなく、中間トークンにも影響を与えたことを示している。
• 回路分析（Gemma2 9B）: 著者は、ステアリング方向から読み取り、1 行目の最後の単語と改行トークンに注意を向ける特定の注意ヘッド（L30H3 および L31H15）を特定した。これらのヘッドをステアリングされた活性化でパッチングすることで、ステアリング効果の 59〜93% が回復し、韻律計画に特化した回路が存在することを示唆した。
• モデル間の差異: メカニズムは普遍的であるが、具体的な実装は異なる。例えば、Gemma2 9B および Gemma3 27B は計画に改行トークンを利用するのに対し、Llama モデルは主に最後の単語トークンに依存している。

意義と主張
本論文は、暗黙的計画が 1B パラメータ規模のモデルにさえ存在する LLM における普遍的な特徴であることを示す、最初の広範な定量的証拠を提供すると主張する。高価な訓練なしに多数のモデルに簡単に拡張可能な手法を導入することで、著者はこれらの能力を研究する直接的な方法を提供している。

著者は、その発見が LLM 純粋な反応的なトークン予測ではなく、人間と同様のヒューリスティックな計画に従事しているという見方を支持すると強調している。彼らは、これらの計画回路の理解が AI の安全性と制御にとって不可欠であると論じている。なぜなら、暗黙的計画によりモデルは特定の、潜在的に隠された目標を達成するために中間ステップを操作できるからである。本研究は、特定の回路がモデルやタスク（韻律対 QA）によって異なるが、将来の目標を表現し、それに基づいて行動する能力という基盤的な能力は、アーキテクチャの一般的な性質であると結論付けている。

限界と将来の方向性
著者は、特定の単語のステアリング（例：韻律ファミリーではなく「rabbit」という特定の単語を強制する）は、ファミリーレベルのステアリングよりも効果的ではないと指摘しており、特定の単語の計画にはより大規模なモデルが必要かもしれないとしている。また、Gemma2 9B 以外のモデルにおける計画回路の正確な性質は未解決の問題であると認めている。この手法は、指示追従や思考の連鎖推論などの他の分野における計画のさらなる分析の基盤として提案されている。