テクニカルサマリー：NeuroCogMapが明らかにする大規模言語モデルの認知組織化

問題提起

大規模言語モデル（LLM）は広範な認知的な振る舞いを示す一方で、その内部の認知組織は依然として不透明なままである。現在の解釈可能性へのアプローチは断片化されている。行動評価はモデルが「何」ができるかは明らかにするが、「どのように」機能が実装されているかは明らかにしない。メカニズム的研究は孤立したニューロンや回路を特定するが、システムレベルの整合性に欠けている。また、表現解析は広範な意味構造を明らかにするものの、それらを特定の機能単位や階層的組織へと結びつけることができていない。LLMにおける分散されたコンポーネントがいかにして一貫した機能単位を形成し、異なる抽象度間で相互作用し、高次の能力を支え、そして病理的な振る舞い（例：ハルシネーション、バイアス、拒絶失敗）においてどのように崩壊するのかという点には、決定的なギャップが存在する。さらに、これらの人工的な構造が、生物学的認知に対する検証可能な洞察を提供したり、人間の神経反応の予測を改善したりできるかどうかも不明である。

メソドロジー：NeuroCog-Mapフレームワーク

著者らは、認知神経科学の原理（機能的パセレーション、表現マッピング、階層的抽象化）に着想を得たフレームワークであるNeuroCogMapを導入し、LLMの内部認知構造をマッピングする。このフレームワークは、以下の4つの連結されたステージで構成される：

1. 機能的アトラスの構築（パセル）:

   • 特徴抽出: 多様なデータセットを用いて、LLM（Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B）の残差ストリームから疎なオートエンコーダ（SAE）の活性化を抽出する。SAEは、多義的なニューロンの活性化を、分離可能で解釈可能な特徴方向へと分解するために使用される。
   • クラスタリング: SAEの特徴を、タスク誘発性の応答プロファイルと層の分布に基づいてクラスタリングする。クラスタリングの質、機能的記述の質、および非冗長性のバランスをとる結合スコアによって最適な粒度が決定され、結果として270の機能的パセルが得られる。
   • アノテーション: 各パセルに対し、高活性の例とキーワード抽出に基づき、自然言語による機能的記述（例：「矛盾分析」、「地理知識の検索」）を割り当てる。

2. 認知アトラスと能力のマッピング:

   • 能力インベントリ: 文献に基づき、45の認知能力（例：堅牢性、推論、安全性）からなる精選された空間を確立する。
   • 連結: 3つのエビデンスストリームを用いて、パセルを能力に紐付ける：タスク誘発性の活性化相関、因果的介入効果（パセル活性化のステアリング）、およびパセルの記述と能力定義の間の意味的一貫性。

3. 認知階層:

   • 能力は、ブルームのタキソノミーに着想を得た4つのレイヤー、すなわち**知覚（Perception）、表現（Representation）、抽象（Abstraction）、適用（Application）**に整理される。
   • フレームワークは、あるレイヤー内のパセルが他のレイヤーよりもそのレイヤーの記述に対して意味的に類似していること、および低レベルの能力が高次推論の前提条件となることを示すことで、この階層構造を検証する。

4. 構造的コネクトーム:

   • 構成要素であるSAE特徴量の層間関係に基づき、パセル間の指向性接続を推定し、調整と崩壊を分析するためのモデルレベルの構造的コネクトームを作成する。

主要な結果

1. 安定かつ解釈可能な認知ユニットの出現

NeuroCogMapは、LLM内部の活動が、恣意的なクラスターではなく、安定した機能的に意味のあるユニットを形成していることを特定した。

• 安定性: 270個のパセルからなるアトラスは、高い内部意味的一貫性（パセル内類似度 ＞ パセル間類似度）と、異なるLLMアーキテクチャ間での部分的なクロスモデルの一貫性を示している。
• 解釈可能性: 活性化プロファイルから導出された機能的記述は、保持されたデータに対するパセルの活性化ランキングを成功裏に予測し、ニューロンベースやキーワードのみのベースラインを上回った。
• 因果性: 特定のパセルに対する標的を絞った介入（ステアリング）は、モデルの出力を割り当てられた機能と一致する方向にシフトさせ、パセルと行動の間の因果的リンクを裏付けた。

2. 病理に関するシステムレベルの分析

NeuroCogMapは、モデルの失敗が均一なエラーではなく、特定の認知システムにおける明確な崩壊であることを明らかにしている：

• ハルシネーション:
  • TruthfulQAにおいて、ハルシネーションは、誤導的な検索に対する高次の評価制御（例：「真実性チェック」および「バイナリ事実チェック」の活性化低下）の失敗に起因する。
  • NQ-Openにおいて、ハルシネーションは、事実的検索システム間の断片化した調整（例：「地理知識」と「事実検索コア」の結合の弱体化）から生じる。
  • 検出と緩和: これらの崩壊から得られたシグネチャにより、ハルシネーションの検出（AUROC 最大0.840）が可能となり、過剰に動員された検索パセルの抑制と、過少に動員された評価パセルの強化による標的介入を通じて、事実的正確性を大幅に向上させた。
• 拒絶失敗:
  • 拒絶失敗（有害な指示への遵守）は、制御・モニタリングシステム（例：「法的・道徳的評価」）から、手続き的実行システム（例：「アクションプランニング」）へのシフトを反映している。
  • NeuroCogMapによるステアリングは、拒絶精度を大幅に改善した（例：Gemma2-2BのAdvBenchにおいて38.3%から98.6%へ）。

3. 人間の皮質機能との整合性

本フレームワークは、LLMの組織化と人間の脳活動との間の機能的な対応関係を確立した：

• 神経予測: NeuroCogMapのパセル活性化は、自然な物語のリスニング（LeBelデータセット）中のヒト皮質BOLD応答を、標準的な埋め込み（BERT, Word2Vec）や一般的なLLM隠れ状態よりも高い精度（$r=0.407$）で予測する。
• 局在化: 予測の優位性は、高次連合野（デフォルトモード、前頭頂部制御、サリエンスネットワーク）に局在しており、特に意味検索とコンテキスト統合に関与する領域で見られる。
• 機能的対応: ヒトの皮質パセルを最も良く予測するLLMのパセルは、類似した機能的記述を共有している（例：LLMにおける「エピソード記憶の検索」は、ヒトのデフォルトモード記憶領域と一致する）。表現類似性解析（RSA）は、整列したLLMパセルの内部幾何学が、ヒトの皮質ネットワークの構造を保持していることを確認している。

4. 認知モデル発見のガイダンス

NeuroCogMapは、古典的な認知モデルを洗練させるための、LLMに潜む戦略を露出させる。

• 行動適合性: NeuroCogMapのシグネチャは、多様な認知タスク（例：2ステップの意思決定、時間的選択）において、LLMがどの程度人間の行動をシミュレートできるかを予測する。
• モデルの洗練: 人間のデータに最も適合するLLMの内部シグネチャを分析することで、著者らは潜在的なメカニズム（例：動的な調停、履歴に敏感な固執、ルールのようなポリシー切り替え）を特定した。これらのメカニズムを古典的な二重過程モデル（Dual-systems Model）に組み込むことで、行動トレースのみを用いて洗練されたモデルと比較して、保持された人間の行動データへの適合性が有意に向上した（AICの低下）。

重要性と主張

本論文は、NeuroCogMapを、LLMにおける局所的なメカニズム的解釈可能性と高レベルの行動分析の間のギャップを埋めるシステムレベルのフレームワークとして位置づけている。その主な貢献は以下の通りである：

1. 新たな説明レベル: モデル間の普遍性を明らかにするのに十分な粗さ（coarse）を持ちつつ、因果的介入と行動的解釈をサポートするのに十分な具体性を持つ、「メゾスコピック」な機能組織のスケールを定義した。
2. メカニズム主導の介入: モデルの病理（ハルシネーション、拒絶失敗）が、出力レベルのフィルタリングを超えて、内部認知アーキテクチャの特定の崩壊を標的にすることで診断および緩和できることを示した。
3. 生物学的関連性（等価性なし）: 人間の認知と人工的なシステムを結びつける構造的な基盤を提供する。本フレームワークは、LLMが脳のメカニズム的複製であると主張することなく、人間の神経および行動データによって検証された、認知組織に関する仮説を生成するための実験的システムとして機能できることを示している。
4. 認知科学の進展: 「ブラックボックス」としてのLLMを活用して、人間の行動をより正確に説明する潜在的な戦略を発見することで、古典的な認知モデルを洗練させる経路を提供する。

著者らは、本研究を、認知組織が人工的および生物学的システムの両方において実験的に扱い可能な対象となる、「人工知能の認知神経科学」への一歩として位置づけている。