技術要約：大規模言語モデルのスペクトル・シグネチャ

問題提起

公開されている大規模言語モデル（LLM）の急速な普及は、体系的な管理、系統（リネージ）の追跡、およびスケールでの評価において重大な課題を生み出している。既存のタスク特化型のベンチマークでは、オープンソースのリポジトリ（例：Hugging Face）に見られる、アーキテクチャ、パラメータスケール、および学習手順の膨大な多様性を特徴付けるには不十分である。現在のモデル比較手法は、以下の特定の限界に直面している：

• データ依存型の手法（例：出力比較、活性化ベースの埋め込み）は、プロンプトセットに対する推論を必要とするため、大規模な「モデルの動物園（zoo）」の分析を行うには計算コストが高く、非現実的である。
• 重みベースの手法は、多くの場合、スケール指標に依存するか、明示的なニューロンのマッチングや整列を必要とする。そのため、入力・出力関数を維持しつつも、生の重み値を変化させてしまう出力不変な変換（例：スケーリング、置換）や再パラメータ化に対して敏感である。

したがって、ダウンストリームのタスクデータに依存することなく、モデルのソースを追跡し、モデル固有の特性を捉え、性能を定量化するための、原理に基づいた、データフリーかつ計算効率の高いフレームワークが必要とされている。

手法

著者らは、重い裾を持つ自己正則化（Heavy-Tailed Self-Regularization: HT-SR）理論に基づいたスペクトル形状ベースのフレームワークを提案している。この理論は、十分に学習されたニューラルネットワークは、その重み行列の経験的スペクトル密度（Empirical Spectral Density: ESD）において、ヘビーテイル（重い裾）構造を示すと仮定している。

コア指標：PL_Alpha_Hill

本論文では、主要なスペクトル・シグネチャとしてPL_Alpha_Hill指標を利用している。

• 定義： 各重み行列の相関行列 $W^\top W$ の固有値に適合するべきべき分布の裾指数（$\alpha$）を推定する。推定式は以下の通りである：
  $$PL\_Alpha\_Hill = 1 + \frac{k}{\sum_{i=1}^k \ln \frac{\lambda_{n-i+1}}{\lambda_{n-k}}}$$
  ここで、$\lambda$ はソートされた固有値であり、$k = n/2$ である。
• 特性： ノルムベースの指標（例：スペクトルノルム）とは異なり、PL_Alpha_Hillはスケール不変であり、かつ置換不変である。これは、固有値の大きさではなく、固有値スペクトルの「形状」を捉えるため、出力不変な再パラメータ化（スケーリング、隠れユニットの置換）やノイズに対して堅牢である。

スペクトル・シグネチャの構築

$L$ 個のトランスフォーマー・ブロックと $N_{mod}$ 個のモジュールタイプ（例：Attention Q/K/V、MLP）を持つモデルに対し、著者らはスペクトル・シグネチャ・テンソル $Z \in \mathbb{R}^{N_{mod} \times L}$ を構築する。各エントリは、特定のレイヤーにおける特定のモジュールタイプのPL_Alpha_Hill値を表す。このコンパクトな表現は、高次元のパラメータ空間 $\Theta$ を、構造化されたスペクトル空間へと写像する。

適用フレームワーク

スペクトル・シグネチャは、以下の3つのダウンストリーム・タスクに適用される：

1. 類似性測定： モデル間のペアワイズの類似性は、整列されたモジュールタイプにわたるシグネチャ・ベクトルのスペアマン順位相関係数の平均によって算出される。
2. 分類およびクラスタリング： 近傍探索による系統特定（最近傍分類）や、HDBSCAN、BGMM、スペクトラル・クラスタリングなどのアルゴリズムを用いたモデルファミリーのクラスタリングに使用される。
3. 性能予測： 非パラメトリック回帰タスクとしてモデル化される。既知のスコアを持つ参照モデルのプールに基づき、距離加重 $k$-最近傍（$k$-NN）補間を用いて、ベンチマーク上の性能が推定される。

主な貢献

1. 形状ベースの指標の導入： 著者らは、LLMを特徴付けるための信頼できる、データフリーかつ理論に基づいた指標としてPL_Alpha_Hillを導入した。これはスケール不変であり、計算が容易で、学習後の変換に対して堅牢である。
2. 包括的なベンチマーク： Llama、Mistral、Qwen、Pythiaファミリーに及ぶ最大499個の多様なコーパスをキュレートし、類似性、分類、クラスタリング、および性能予測のタスクにおいて、スペクトル・シグネチャをベースライン（Logits、REEF、PCS、AWM）と比較検証した。
3. 堅牢性の検証： スペクトル形状指標は、出力不変な再パラメータ化（スケーリング、置換）やノイズ摂動の下でも安定していることを示した。一方で、スケールベースのベースラインや整列依存の手法は、大幅に劣化する。

実験結果

1. 類似性測定

• 堅牢性： スペクトル・シグネチャは、ファインチューニング、インストラクション・チューニング、およびドメインシフトの下でのLlama-2バリアント間において、高い類似度スコア（$>0.97$）を維持した。対照的に、データ依存型のベースライン（Logits、REEF）は、言語シフトや特定のプロンプト条件下で著しい低下を示した。
• ノイズと変換： ガウスノイズ注入（$\gamma=1.0$）の下でも、スペクトル・シグネチャの類似性は高く維持された（$\approx 0.97$）。これはPCS（$\approx 0.70$）を上回る結果である。また、隠れユニットの置換に対しても不変であり、PCSがほぼゼロまで崩壊したのに対し、高い値を維持した。
• プルーニング（枝刈り）： この指標は構造的変化に対して感度を示し、非構造的プルーニング（30〜50%）の下では類似性が緩やかに低下し、70%のスパース性で大幅に低下した。これは、本手法が構造的完全性を捉えていることを示している。

2. 分類およびクラスタリング

• 系統分類： 本手法は、128個の派生モデルを8つの基本ファミリーに分類する際、98.44%の精度を達成した。性能は、異なる類似性カーネル（Spearman、RBF、Cosine）間で一貫していた。
• クラスタリング： 形状ベースのシグネチャ（PL_Alpha_Hill）は、スケールベースの指標（Log_Norm、Spectral_Norm）よりも優れたクラスタリング品質を示し、シルエット係数0.91およびデビーズ・ボウルディン指数0.22を達成した。シグネチャは、低次元埋め込み空間において明確に異なるモデルファミリーを分離することに成功した。

3. 性能予測

• 精度： 499個のモデルに対する$k$-NN補間を用いた結果、スペクトル・シグネチャはベンチマーク・スコア（MMLU、ARC、HellaSwag、TruthfulQA）を低い平均絶対誤差（MAE）で予測した。MMLUにおいて、MAEは1.95であり、EmbedLLM（3.14）およびLLMDNA（6.78）を上回った。
• 順位相関： 予測されたランキングと実測のランキングの間のケンドールのタウ（Kendall's Tau）は、全ベンチマークにおいて100回の反復試行の**100%**で統計的に有意であった。
• 効率性： スペクトル・シグネチャの抽出には、Llama-2-7Bモデルに対して337秒を要した。これは、フォワードパスや推論を必要としないため、EmbedLLM（2,633秒）やLLMDNA（5,393秒）よりも大幅に高速である。

4. 汎用性

• MoEアーキテクチャ： 本手法は、エキスパートの指標を平均化することで、混合エキスパート（MoE）モデル（Pangu-Pro-MoE）のソースファミリーを特定することに成功した。
• 深さの不一致： 動的計画法を用いたレイヤーのマッチングにより、スペクトル・シグネチャは異なる深さを持つモデル（例：Llama-3.1-8BとLlama-3.2-3B）を効果的に整列させ、無関係なペアと比較して関連するペアのほうがマッチングコストが低いことを示した。

重要性と主張

本論文は、提案されたスペクトル・シグネチャが、LLMにおける**広範な性能傾向の有意義なプロキシ（代理指標）**を提供すると主張している。重み行列の固有の幾何学的性質をHT-SR理論を通じて活用することで、本アプローチは以下を可能にする：

• 効率的な組織化： 推論の計算オーバーヘッドなしに、大規模なモデルコレクションをスケールして比較・クラスタリングする。
• 信頼できる系統追跡： 学習後、蒸留、または再パラメータ化が行われた後でも、モデルの出自を確実に特定する。
• データフリーの定量化： 学習データやテストデータにアクセスすることなく、モデルの性能を推定し、モデルをランク付けする。

著者らは、本研究を現代のLLMエコシステムを管理するための実用的なツールとして位置付けており、理論的に裏付けられ、計算量が軽量で、モデル開発パイプラインで一般的な変換に対して堅牢なソリューションを提供している。さらなる研究を促進するため、コードは公開されている。