技術的概要：LLM における計算密度の追跡

問題定義

トランスフォーマーベースの大規模言語モデル（LLM）は、数十億のパラメータと演算を含む深層かつ広範な計算グラフとして機能する。しかし、これらのモデルがすべての入力に対してフル容量を利用しているのか、それとも著しく疎なサブネットワークに依存しているのかは依然として不明である。主要な未解決の問いには以下が含まれる：

• 忠実な予測に必要な実効計算は均一に分布しているのか、それとも明確な高密度および低密度のサブグラフから構成されているのか？
• 実効計算の量は、特定の入力特性に依存するか？
• モデルの出力分布を再構築するために必要な計算フットプリントをどのように正確に定量化できるか？

これらの問いに答えることは、実用的な効率性（プルーニング、ルーティング、蒸留）と理論的理解（機械的解釈可能性、言語の記号的視点と分散的視点の調和、言語的複雑性の測定）の両方にとって重要である。

手法：s-Trace

著者らは、完全なモデルの出力分布を最もよく近似するサイズ $s$ のサブグラフを効率的に推定する手法としてs-Traceを導入する。

1. グラフ定式化

LLM は有向非巡回グラフ $G=(V, E)$ としてモデル化される。ここで：

• ノード ($V$): 各層における中間トークン状態を表す。
• エッジ ($E$): 情報フローに影響を与える演算を表し、以下に分解される：
  • アテンションエッジ: ソーストークンとターゲットトークンの間でベクトルを移動させる特定のアテンションヘッドからの寄与。
  • MLP エッジ: マルチレイヤーパーセプトロンからの更新。
  • 残差エッジ: 前層の状態を運ぶ恒等接続。
    この定式化により、それらを集約するのではなく、個々のアテンションヘッドの寄与を区別するトークン単位の粒度が可能となる。

2. トレースの定義

s-Trace ($T_s$) は、完全なモデルの出力分布 $P(t_{n+1}|t)$ と、サブグラフの制限された予測 $\hat{P}_{T_s}(t_{n+1}|t)$ の間の距離を最小化するサイズ $s$（エッジ数を指す）の最適サブグラフとして定義される。使用される距離指標は**総変動距離（TV 距離）**であり、その有界性と低確率の尾部ではなく支配的な確率モードに焦点を当てる点から選択された。

3. トレース抽出

大規模モデル（7B～14B パラメータ）において最適サブグラフを見つけることは計算的に困難であるため、著者らはトレーニング不要の貪欲な最良優先探索戦略を採用する：

• 重要度スコアリング: エッジは、その更新ベクトルの L1 ノルムに基づいてスコア付けされ、公平な比較を確保するためにターゲットノードごとに正規化される。
• トラバース: 最終層の最終トークンノードから開始し、アルゴリズムは予算 $s$ に達するまで、最も重要な利用可能なエッジとそれに接続されたノードを反復的に追加する。

4. 実験設定

• モデル: 7B から 14B パラメータまでの 7 つの HuggingFace ファミリーに属する 10 の LLM（例：Llama-3、Mistral、Qwen、OLMo、Phi-4）。
• データ: Wikitext から 5,000 系列（平均 40 単語）。
• 粒度: トレースは、$10^{-5}$ から $10^0$（完全モデル）までの 26 段階のサイズで抽出された。

主要な結果

1. 計算の 2 つの明確なフェーズ

再構築誤差とトレースサイズの関係の分析は、すべてのモデルで一貫して 2 つのフェーズを明らかにする：

• 構築フェーズ ($s \in [10^{-4}, 10^{-2}]$): 再構築誤差の急激な非線形減衰を特徴とする。このフェーズ中、最小コアが $s \approx 10^{-3}$（完全モデルの 0.1%）付近で出現する。このコアは確率質量のトップ 1%（最も確からしいトークン）を回復するのに十分であり、入力に対して極めて安定している。
• 洗練フェーズ ($s > 10^{-2}$): 最小コアを超えると、誤差は緩やかに減少する。このフェーズでは、残りの確率質量を回復するために（例：40% から 90% へのカバレッジ）、トレースサイズが桁違いに増加する必要がある。追加されたエッジの限界効用は低く、微妙な情報の統合を示唆している。

2. トレースの構成的構成

• 層分布: 最小コアは主に初期層ノード（初期および初期中盤の層）で構成され、$s=10^{-3}$ においてエッジの約 80% を占める。トレースが洗練フェーズに入ると、後続の層が追加されたエッジを支配するようになる。
• コンポーネント分布:
  • 完全モデルでは、アテンションエッジが可能なエッジの 99% 以上を占める。
  • 最小コアでは、分布は驚くほどバランスが取れている：残差が約 30%、MLP が約 20%、アテンションエッジが約 50%。
  • 洗練フェーズは、アテンションエッジの割合の急激な増加を特徴とし、出力分布の微調整におけるそれらの特定の役割を示している。

3. 入力依存性の疎性

計算密度（誤差対サイズの曲線下面積で測定）は入力特性と相関する：

• モデルの不確実性: 計算密度とモデルの出力のシャノンエントロピーの間には正の相関がある。高エントロピー（不確実な）入力は、低い再構築誤差を達成するためにより大きなトレース（より多くの計算）を必要とする。
• トークン頻度: 予測トークンの頻度と計算密度の間には負の相関がある。頻出トークン（浅い統計）はより疎なトレースによって再構築されるのに対し、稀なトークンはより高密度なサブグラフを必要とする。
• モデル間の一貫性: これらのパターンは異なるモデルアーキテクチャやスケール間で驚くほど一貫しており、リソース配分はアーキテクチャの詳細ではなく、本質的な入力特性によって駆動されていることを示唆している。

意義と主張

本論文は、LLM の実効計算を定量化する一般的な手法を提供し、一貫したモジュール化された組織を明らかにすると主張する：

1. 疎な初期コア: 初期層演算の小さく安定したサブグラフが、最も確からしいトークンを特定するのに十分な概略予測を提供する。
2. 高密度な後続の洗練: 後続の層は、出力分布の全豊かさを捉えるために、この予測を洗練させるより高密度で分散された計算を実行する。

解釈可能性への示唆:

• 回路規模: 最小コア（モデルの約 0.1%）は「忠実な」回路発見の下限を表す。これより小さい回路は、本質的なダイナミクスを捉えられない可能性がある。
• 分布の重要性: 二値タスクの成功（例：トップ 1 精度）のみでサブグラフを評価することは不十分であり、完全な出力分布の保持が重要である。
• 超疎性の超越: 機械的解釈可能性は、超疎な回路の発見に限定されるべきではなく、高密度で分散された処理フェーズも分析すべきである。

認知科学への示唆:

• 言語的複雑性: 計算密度は、入力難易度（不確実性と希少性）に比例してスケーリングするため、言語的複雑性の新たな指標となり得る。
• 効率的な処理: 頻出語に対して LLM がより少ないリソースを動員するという発見は、人間の言語処理の効率的な理論と整合する。
• 記号的対分散的: 基本的な統計（記号的規則に類似）を処理する疎な初期層コアが存在し、それに分散された洗練が続くという事実は、言語能力の記号的視点と分散的視点の間の潜在的な調和を提供する。

著者らは、これらの知見がトランスフォーマーアーキテクチャと英語データに固有のものであると維持しており、トレースの同定は選択された抽出手法（L1 ノルムに基づく貪欲探索）に依存すると指摘している。彼らは、この作業を単純な回路同定を超えた LLM の内部ダイナミクスを特徴づけるための最初のステップとして位置づけている。