What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

技術サマリー：LLM における概念の定義、探査、および追跡

問題提起
大規模言語モデル（LLM）が意思決定に与える影響が拡大するにつれ、その内部の「思考プロセス」を理解する必要性が極めて高まっている。過去の研究では、線形プローブが LLM の埋め込み空間内で特定の言語特性（品詞、時制など）や概念（時間、場所、真偽など）を検出できることが示されているが、既存の概念検出手法には重大な限界が存在する。スパースオートエンコーダ（SAE）は、計算コストの高い教師なし学習を必要とし、どの特定の概念を検出するかを制御できないため、ターゲットを絞った監視には不適切である。また、LLM に概念の特定を促すプロンプトを用いるアプローチは、個別のモデル呼び出しを必要とするため、継続的な監視にはコストがかかりすぎる。本論文は、通常の運用中に LLM の埋め込み空間内に存在する暗黙の概念の有無を監視できる、低コストかつスケーラブルな特定プローブの作成ニーズに応えるものである。

手法
著者は、概念プローブの作成と活用のための 3 段階のパイプラインを提案する。

1. 概念の定義（Delineation）: 中核的な革新は、特定の概念向けに高品質な二値データセットを作成するための半自動手法である。

   • テンプレート生成: 著者はプロジェクト・グーテンベルクのテキストから 3 万個の文テンプレートを作成し、人間を主題とし、一貫した構造を含むようにフィルタリングした。
   • 例文生成: プロンプト付き LLM（gpt-4o）を用いて、テンプレートの構文構造を模倣しつつ、意味を目標の概念を反映するように変更することで、各概念（存在 vs 不在）のペアを生成した。このアプローチは、モデルが概念そのものではなく、見せかけの相関を学習する「ラベル漏れ」を防ぐことを意図している。
   • 洗練とラベル付け: 信頼性を確保するため、プロンプト付き LLM 分類器が生成されたすべての例文を再ラベル付けした。プロンプトは反復的に改良され、手動ラベル付けの検証セットで 90% 以上の精度を達成した。データセットは、対照的なラベルを持つペアのみを保持するようにフィルタリングされ、プローブが構造的な類似性ではなく概念そのものを学習することを保証した。選択された 4 つの概念は、「野心（ambition）」、「調査（investigation）」、「民主主義（democracy）」、「嫉妬（envy）」である。

2. プローブのトレーニングと評価:

   • トレーニング: 線形プローブ（二値分類器）を、対象 LLM の各層から抽出した埋め込みベクトル上でトレーニングした。著者は、最終トークンの埋め込み（$N$番目）と、層内のすべての埋め込みの平均という、2 つの代表的な埋め込み戦略をテストした。
   • 制御タスク: プローブがタスクを独立して学習するのではなく、埋め込みに符号化された概念を検出していることを確認するため、制御タスクを採用した。
     • ランダム化: ランダム化された埋め込みまたはラベルでトレーニングすると、精度は約 50% に低下し、プローブが埋め込み内の意味のある情報に依存していることを確認した。
     • パラメータ削減: プローブを 80 未満のパラメータに制約（PCA 経由）した。大幅な圧縮下でも高い精度が維持されたことは、埋め込みが特徴を頑健に符号化していることを示唆している。

3. 概念の追跡（増減）:

   • ストーリーデータセット: 各概念について、3 段落からなる 50 のストーリーを構築した。目標概念は段落をつなぐ遷移文にのみ存在し、それ以外では不在であった。
   • 動的監視: トレーニング済みのプローブを、入力コンテキストが拡張するにつれて（単語ごとに）適用した。これにより、コンテキストの進化に伴う概念の存在確率の変動、特に概念信号の「増減（waxing and waning）」を監視することが可能になった。

主要な結果

• 概念推論: 本研究は、LLM（Llama-3-8B、Gemma-2、Qwen2.5 ファミリーでテスト）が 4 つの目標概念を推論していることを確認した。プローブはほとんどの層で 50% を有意に上回る精度を達成し、特に埋め込み層（層 0）では、平均埋め込みを使用した場合、「野心」に対して驚くべき高い精度（87%）を示したが、これはより長いコンテキストでは当てはまらなかった。
• プローブの効率性: プローブは極めて少ないパラメータで強力な性能を発揮した。「野心」の場合、精度は 40 パラメータで 75% 以上を維持し、80 パラメータ付近で頭打ちとなった。これは、モデルの埋め込み次元（Llama-3-8B の場合 4,096）を大幅に下回る値である。
• 追跡ダイナミクス: プローブは、入力コンテキストが拡張するにつれて、概念の有無をリアルタイムで正常に追跡した。最終トークン埋め込みを使用する場合、プローブの出力は概念がテキストに存在する際に 0.5 の閾値を上回り、不在の場合はその下まで低下した。一方、累積平均埋め込みは信号を希釈し、これらのダイナミクスを捉えられなかった。これは、LLM における概念推論が単純な単語袋（bag-of-words）表現以上のものであることを示している。
• 層の特异性: 異なるモデルにおいて、特定の概念を追跡するのに最適な層は異なっていた。例えば、Llama-3-8B では、層 13 が「野心」の追跡に最適であり、層 31 が「調査」の追跡に最適であった。

意義と主張
本論文は、LLM の監視のための広範なプローブセットを作成する能力への「最初のステップ」を踏んだと主張している。主な貢献点は以下の通りである。

1. 偶発的なラベル漏れを最小限に抑える、概念を二値データセットに定義するための再現性のある半自動手法。
2. 最小限のパラメータ（<80）を用いて高精度で暗黙の概念を検出できる線形プローブの実証。これにより計算コストを低減。
3. コンテキストの拡大に伴う概念の動的な「増減」を追跡できる、低コストかつ継続的な監視器として機能する証拠。
4. LLM の説明可能性に関するさらなる研究を可能にするため、作成されたデータセット（テンプレートと概念固有の例）の公開。

著者は、生成されたデータが特定の分布に従う可能性や、ラベル付けにおける LLM ベースの分類器への依存性などの限界を認めつつ、謙虚なトーンを維持している。現在の研究は 4 つの概念に焦点を当てているが、このプロセスをスケーリングすることで、新しいモデルの監視や、推論された内部概念と生成された出力との間の因果関係の探求が可能になり、それによって LLM の安全性と説明可能性が向上すると提唱している。