技術要約：大規模言語モデルの神経トポロジーの探索

問題提起

大規模言語モデル（LLM）を、ニューロンの活性化を解釈可能な意味論に結びつけることで探索する手法は、内部メカニズムへの洞察をもたらしてきたが、神経機能的な共活性化（neural functional co-activation）と創発的なモデル能力との間の複雑な関係については、依然として多くが未知のままである。既存のアプローチは主に静的なニューロン活性化に焦点を当てており、知能の創発に不可欠であると考えられている時間的および機能的な神経トポロジー（temporal and functional neural topology）——すなわち、ニューロン間の動的な結合パターン——を見落としている。さらに、これらのトポロジー的発見を、LLMの知性の主要な指標である言語生成性能に明示的に結びつけた研究はほとんど存在しない。

手法：グラフ・プロービング（Graph Probing）

著者らは、LLMニューロンの機能的結合性と、それが言語性能とどのように関連しているかを調査するための新しいフレームワークであるグラフ・プロービングを導入する。

1. 神経トポロジーの構築:

   • 神経科学（fMRIやEEGから機能的脳ネットワークを構築すること）に着想を得て、本手法ではLLMのニューロンをグラフ内のノードとして扱う。
   • LLMがトークン列 $X = [x_0, \dots, x_t]$ を処理する際、$n$ 個のニューロンに対して隠れ状態の時系列 $H \in \mathbb{R}^{n \times t}$ を生成する。
   • 重み付き結合行列 $A \in \mathbb{R}^{n \times n}$ を構築する。ここで、各エッジの重み $a_{ij}$ は、ニューロン $i$ とニューロン $j$ の活性化時系列間のピアソンの相関係数を表す。これにより、時間的な共活性化パターンを捉える。

2. プロービング・メカニズム:

   • 従来のプロービングが平坦化されたニューロン活性化を入力とするのに対し、グラフ・プロービングは平坦化された結合行列 $A$ を入力として使用する。
   • 単純な線形または**多層パーセプトロン（MLP）**プローブを訓練し、このトポロジーから言語性能指標（例：パープレキシティ、意味回帰）を直接予測する。
   • 核心となる仮説は、計算の「大きさ（magnitude）」よりも、計算の「構造（structure）」（結合性）の方が、モデルの知性に関するより豊かな情報を含んでいるというものである。

3. スケーラビリティ:

   • 密なグラフの二次的な計算コスト（$O(n^2)$）に対処するため、著者らはスパース化（弱いエッジの除去）と、重み共有を通じてパラメータを削減する**グラフニューラルネットワーク（GNN）**プローブを採用している。

主要な貢献と結果

1. 性能の普遍的な予測可能性

本研究は、神経トポロジーのみを用いて、言語生成および理解の性能を高い信頼度で予測できることを実証している。

• テストされたモデル: 実験は、160Mから14Bパラメータに及ぶ3つのファミリー（GPT-2, Pythia, Qwen2.5）にわたって行われた。
• 性能向上: グラフ・プロービングは、活性化ベースのプロービングを大幅に上回った。
  • パープレキシティ予測: トポロジーベースのプローブは $R^2$ が0.90近辺またはそれ以上を達成したが、活性化ベースのプローブは0.45を下回ることに苦戦した。これは最大**130.4%**の性能向上に相当する。
  • 意味回帰: 空間（経度/緯度）および時間（リリース年）の予測において、トポロジーベースのプローブは活性化ベースのプローブを最大**67.7%**上回った。
• 堅牢性: 予測能力は、ニューロン結合のわずか**1%**のみを保持した場合でも持続しており、強力な結合の小さなサブセットが決定的なトポロジカル信号を運んでいることを示唆している。

2. トポロジーへの依存に関する因果的証拠

著者らは、LLMが内部のトポロジー構造を能動的に利用しているという因果的証拠を提示している。

• デフォルトネットワーク: 分析により、安定した「デフォルトネットワーク」が存在することが明らかになった。そこでは、コアとなる約40個の「ハブニューロン」（最高次数を持つもの）が、多様な入力やデータセットを横断して一貫してハブとして機能している。
• 介入実験: トポロジー次数に基づく上位1%のハブニューロンを無効化すると、MMLUベンチマークにおいて壊滅的な性能低下（例：14Bモデルで69.8%の低下）を引き起こした。これは、活性化の大きさやランダムな選択に基づいてニューロンを無効化した際の影響を大きく上回る。これにより、ハブニューロンが機能的に支配的であることが確認された。

3. 概念実証としての応用

本論文は、グラフ・プロービングの2つの実用的な応用を示している。

• モデルのプルーニング（枝刈り）: トポロジーに基づく低次度ニューロンの除去によるプルーニング戦略は、活性化に基づく最新のWANDA法よりも堅牢で効果的であることが証明された。モデルは、低次度ニューロンを50%削除した後でも、ランダムな精度を上回る精度を維持した。
• ハルシネーション（幻覚）検知: グラフ・プロービングをTruthfulQAデータセットにおける二値分類に適応させた。トポロジーベースのプローブは、すべてのベースライン（HaMIやCCSを含む）を最大**9.73%**上回り、真実の生成とハルシネーション生成の間には明確に異なるトポロジカルなシグネチャが存在することを示唆している。

4. 拡張分析

• レイヤー固有性: LLMの中間層が、性能を予測する上で最も情報量が多いことが判明した。これは、これらの層が意味処理を担うという先行研究の結果と一致している。
• 機能的分化: 異なる主題（例：STEM vs 社会科学）に対して異なるトポロジーパターンが観察された。特定のニューロンが「STEMニューロン」として機能し、STEM関連の出力に不釣り合いなほど大きな影響を与えることが示された。
• クロスモデル・マッチング: 対照学習を用いたグラフ・マッチングにより、モデル間の遺伝的な関係（例：同じファミリーか異なるファミリーか）を正常に検出し、ファインチューニング中の大幅な重みのドリフト後でも安定した堅牢なフィンガープリント・ツールとして機能した。

重要性と主張

本論文は、神経トポロジーは、ニューロンの活性化単独よりも、LLMの性能に関する桁違いに豊かな情報を含んでいると主張している。焦点を「ニューロンが何をしているか（活性化）」から「ニューロンがどのように接続されているか（トポロジー）」へと移すことで、著者らは創発的な能力を理解するための新しいレンズを提供している。

著者らは、グラフ・プロービングを以下のためのツールとして位置づけている：

1. 内部メカニズムの解明: LLMが、言語能力の基礎となる複雑かつ一貫したトポロジー構造を発達させていることを明らかにする。
2. 開発の指針: トポロジーを考慮したプルーニングやハルシネーション検知を通じて、LLMの効率性と信頼性を向上させる経路を提供する。
3. 学問分野の架け橋: LLMとヒトの脳ネットワークの間の類似性を強化し、共通の組織原理（例：ハブニューロン、デフォルトネットワーク）を示唆する。

著者らは、安定したデフォルトネットワークやハブニューロンを特定したものの、より微細な構造（モチーフやスモールワールド性など）やそれらの因果的役割については未解決の課題であるとして、謙虚な姿勢を保っている。また、最大14Bパラメータまでのモデルを評価したため、より大きなモデルについては今後の課題であることも認めている。さらなる研究を促進するため、コードとデータは公開されている。