🤖 machine learning

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

本論文はトランスフォーマーの重みの大きさを診断するための2パラメータ・ワイブル分布フレームワークを導入し、アーキテクチャに関わらずフィードフォワード層と出力投影層が一貫して特定の形状パラメータ（k ≈ 1.20）に収束する一方、入力投影層は記憶メカニズムに応じて逸脱し、スケールパラメータ（lambda）は学習の進行を追跡することを明らかにする。

原著者： Tiexin Ding

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tiexin Ding

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

トランスフォーマーモデル（チャットボットやコード生成器を駆動する AI の種類）を、巨大で複雑なオーケストラだと想像してみてください。長年、研究者たちはこのオーケストラが、グループ全体の「音」を聴くか、あるいは一枚のぼやけた楽譜として総覧を見ることで、どのように学習するかを理解しようとしてきました。

この論文は、聴き方の新たなアプローチを提示します：それは個々の音符のための顕微鏡です。オーケストラ全体を見るのではなく、著者たちは各楽器の弦の「重み」（強さ）を調べるためのツールを開発しました。彼らは、これらの弦が単にランダムに強くなったり弱くなったりするのではなく、AI が何を行っているかを正確に明らかにする、非常に具体的で予測可能なパターンに従っていることを発見しました。

以下に、彼らの発見をシンプルなアナロジーを用いて解説します。

1. 彼らが発明した「定規」（ワイブル分布）

著者たちはワイブル分布と呼ばれる数学的な形状を用いました。これは 2 つの設定を持つ特別な定規だと考えてください：

形状（ $k$ ）： これは重みの「性格」を測定します。分布は滑らかで均一でしょうか、それとも荒々しく重い尾部（極端な外れ値）を持っていますか？
尺度（ $\lambda$ ）： これは重みの「音量」や大きさを測定します。

魔法のアンカー：
AI が学習を開始する（何も学んでいない状態）とき、その重みはガウス分布のベル曲線のようにランダムに設定されます。著者たちは、この初期状態を彼らの定規で測定すると、「形状」( $k$ ) が常に特定の数値：1.20 に収まることを証明しました。

1.20 を「ゼロ」と考えてください。 これは基準線です。AI の一部が 1.20 のままなら、その根本的な性質は変わっていません。もし 1.20 から離れるなら、何らかの興味深いことが起こったことになります。

2. 2 種類のミュージシャン

最も興奮すべき発見は、AI の内部部分がオーケストラの異なる 2 つのセクションのように、自然と 2 つの明確なグループに分かれることです。

グループ A：「送信者」（安定した奏者）

彼らは誰か： モデル内を情報を通過させる部分（フィードフォワードネットワークやアテンション出力など）。
彼らがすること： 彼らは信頼できる高速道路のように機能します。道の本質を変えずに、データを A 地点から B 地点へ移動させます。
結果： 学習後も、彼らの「形状」( $k$ ) は初期の1.20に驚くほど近いままです。彼らは安定しており、一貫性があり、性格を変えません。
アナロジー： 同じルートを毎日走る配送トラックを想像してください。大きくなる（より多くの荷物を運ぶ）かもしれませんが、それは同じトラックのままです。

グループ B：「選択者」（特化したハンター）

彼らは誰か： 何に注意を払うかを決定する部分（アテンション機構におけるクエリとキーの射影）。
彼らがすること： 彼らは選び抜く必要があります。賢明な決定を下すために、いくつかの信号を増幅し、他の信号を無視する必要があります。
結果： 彼らの「形状」( $k$ ) は 1.20 から離れ、通常は低下します（0.76 から 1.16 の間）。これは彼らが「重い尾部」を発達させることを意味します。つまり、いくつかの極端で超強力な接続が生まれ、残りは通常のままになるということです。
アナロジー： 広範な網から始め探偵を想像してください。学習するにつれて、彼らは広い網を張るのをやめ、特定の証拠を掴むために、いくつかの非常に鋭く特化したツールを開発します。彼らの「性格」は出発点から劇的に変化します。

3. アーキテクチャがゲームを変える

論文は、AI アーキテクチャの「種類」が「選択者」の漂移の度合いを変えることを発見しました：

分離されたヘッド（MHA）： AI が多くの独立した「ヘッド」を持つ場合（OLMo のように）、選択者は暴走します。彼らの形状は最も低下します（約 0.76 まで）。彼らは非常に特化します。
グループ化されたヘッド（GQA）： AI がヘッドをグループ化する場合（LLaMA-3 や Mistral のように）、選択者は極端ではなくなります。彼らはまだ漂移しますが、それほど遠くまでではありません（1.10–1.16 程度）。これは、メモを共有する探偵チームを持っているようなものです。彼らは全員が全く異なる方向に行くことはできません。
統合されたヘッド（Pythia）： AI がそれらを完全に統合する場合、それらは真ん中に位置し、2 つのスタイルの間の遷移として機能します。

4. 音量と性格

著者たちは、彼らの定規の 2 つの設定が 2 つの異なる物語を語っていることを発見しました：

尺度（ $\lambda$ ）は、学習がどの程度進んでいるかを示します。 AI が学習するにつれて、重みの「音量」は増大します。これはオーケストラがより大きな音を出すようなものです。この増大は、AI の学習速度（学習率）と、それがどの程度「規律付けられているか」（重み減衰）に関連する予測可能な数学的規則に従います。
形状（ $k$ ）は、その部分が「何をするか」を示します。 それは、その部分が「送信者」（安定）なのか「選択者」（特化）なのかを伝えます。

5. 「スーパーウェイト」（ドラゴンキング）

この論文はまた、ほとんどの重みが正常なままなのに対し、ごく少数の個々の重みが巨大な外れ値（「スーパーウェイト」と呼ばれる）になることに気づきました。

アナロジー： 合唱団で 99% の歌手が通常の音量で歌っているが、1 人の歌手が突然、全員より 100 倍も大きな声で叫び始める状況を想像してください。
発見： これらの「叫び声」はすべてのモデルに現れます。しかし、著者たちの「中間 80% ルール」（測定時に最も大きく、最も静かな 10% を無視する）は、これらの叫び声を無視しつつ、合唱団の真の性格を正確に読み取ることを可能にします。これは、いくつかの「放浪」する重みが狂乱している間でも、「送信者」は安定したままであることを証明しています。

まとめ

この論文は、私たちに新しい診断ツールを提供します。AI の重みの「形状」と「尺度」を測定することで、私たちは以下のことができます：

AI のどの部分が安定しているか（送信者）と、どの部分が特化することを学んでいるか（選択者）を特定する。
AI のアーキテクチャ（その構築方法）がこれらの部分に異なる振る舞いを強いる様子を見る。
最も大声で叫ぶ少数の「放浪」する重みに混乱することなく、「音量」の増大を観察することで、AI の進捗を追跡する。

これは、AI 学習のブラックボックスを読みやすい地図に変え、学習がどこで起こっているか、そしてモデルがどのように知識を構造化しているかを正確に示します。

技術的概要：トランスフォーマー重み分布の診断のための 2 パラメータ・ワイブルフレームワーク

問題と動機

トランスフォーマーの学習ダイナミクスに対する現在の診断ツールは、学習された重みの微細な構造を捉えられない直交空間で動作している。WeightWatcher や HT-SR などの手法は固有値スペクトルを分析し、行列要素を特異値分布に圧縮する一方、AlphaDecay は最大特異値のドリフトを追跡する。大規模な活性化分析は活性化の大きさを測定する。これらのアプローチのいずれも、著者らがモデルが学習した内容の最も微細な表現であると主張する重み大きさの要素ごとの分布（ $|W_{ij}|$ ）を直接特徴づけるものではない。

著者らは、集約的なスペクトル統計が、同一モデル内の機能的なコンポーネント間（例えば、FFN レイヤー対アテンション射影）の体系的な差異を曖昧にしていると仮定している。この課題に対処するため、本論文は、極値理論に由来する 2 パラメータ族であるワイブル分布を、重み大きさの要素ごとの分布に対する診断レンズとして適用することを提案する。

手法

ワイブル診断フレームワーク

このフレームワークは、重み要素の絶対値 $|w|$ を、形状パラメータ $k$ と尺度パラメータ $\lambda$ によって定義されるワイブル分布に適合させることに依存する：
$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$

1. 初期化のアンカー：
初期化時、トランスフォーマーの重みは i.i.d. ガウス分布（ $w \sim \mathcal{N}(0, \sigma_{init}^2)$ ）に従うため、 $|w|$ は半正規分布に従う。特定のプロトコルを用いてこの半正規分布をワイブルモデルに適合させることで、著者らは普遍的なアンカーを確立する：

形状（ $k_0$ ）： 約 1.20。この値は初期化スケール $\sigma_{init}$ に依存せず、無次元の測定基準として機能する。学習済みモデルにおける $k_0 \approx 1.20$ からのいかなる逸脱も、学習ダイナミクスに起因する。
尺度（ $\lambda_0$ ）： 約 $0.8875 \cdot \sigma_{init}$ 。

2. 適合プロトコル（中央 80% 切り捨て）：
外れ値や数値精度のアーティファクトに対する堅牢性を確保するため、著者らは中央 80% 切り捨てプロトコルを採用する。適合前に、 $|W_{ij}|$ の値のうち最小および最大 10% を破棄する。

理論的根拠： ワイブル確率座標において、サンプリングノイズの分散は両端（ $p \to 0$ および $p \to 1$ ）で発散し、 $p \approx 0.80$ 付近で最小値に達する。最下位 10% は、最適な中央領域よりも約 6.5 倍のノイズを伴う。
効果： 全データを適合させると、 $k$ が体系的に 3〜7% 過小評価され、モデルがしばしば予想される「伝送」バンドの外側に押し出される。80% 切り捨ては分布の「本体」を分離し、重たい裾を持つ外れ値（スーパーウェイト）に対して指標を堅牢にする。

3. 機能分類：
このフレームワークは、 $k$ の軌跡に基づいてトランスフォーマーコンポーネントを 2 つの明確なクラスに分割する：

伝送クラス： FFN モジュール（ $W_{gate}, W_{up}, W_{down}$ または $W_{FFN\_in}, W_{FFN\_out}$ ）およびアテンション出力射影（ $W_o$ ）。
選択クラス： アテンション入力射影（ $W_q, W_k$ ）。

主要な知見

このフレームワークは、パラメータ数が 70M から 14B の範囲にある7 つのアーキテクチャファミリー（Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3）にわたる12 のモデルエントリーに適用された。

1. 伝送バンド（安定性）

伝送クラスのコンポーネントは、形状パラメータ $k$ において驚異的な安定性を示す。

すべてのアーキテクチャ、活性化関数（SwiGLU, GeLU）、正規化の配置（Pre-LN, QK-Norm）、およびモデルサイズにわたって、これらのコンポーネントの中央値終端 $k$ は狭い区間 $[1.186, 1.204]$ に収まる。
12 のエントリーにわたる変動係数（CV）はわずか**0.51%**である。
この安定性は、これらのコンポーネントが初期化分布の形状を保持し、選択フィルターではなく情報導管として機能することを示唆している。

2. 選択クラス（逸脱）

選択クラス（ $W_q, W_k$ ）のコンポーネントは、初期化アンカー（ $k_0 \approx 1.20$ ）から体系的に逸脱し、より重い裾（より低い $k$ ）を発達させる。この逸脱の深刻さはアーキテクチャに依存する：

個別保存型 MHA（OLMo-1, OLMo-2）： 最も深いドリフトを示し、中央値終端 $k \in [0.76, 0.99]$ となる。
グループ化クエリアテンション（GQA）（LLaMA-3, Mistral, Qwen2.5/3）： 穏やかなドリフトを示し、中央値終端 $k \in [1.10, 1.16]$ となる。
統合 $W_{qkv}$ （Pythia）： 無次元の学習予算 $T/\tau$ を単調に追跡する過渡領域 $k \in [1.05, 1.18]$ を占める。
メカニズム： 著者らは、このドリフトを機能的必要性（スパースアテンション）、AdamW の符号降下ダイナミクス、および softmax 飽和フィードバックに起因すると帰属させる。GQA における K ヘッド共有のアーキテクチャ的制約は、個々の射影に利用可能な特化の自由度を機械的に制限し、MHA に比べて深刻度の低いドリフトをもたらすようだ。

3. 尺度パラメータ（ $\lambda$ ）と学習の進展

$k$ が機能クラスをラベルするのに対し、尺度パラメータ $\lambda$ は学習の進展をラベルする。

$\lambda$ は学習中に大幅に増加する（1.4 倍から 7.8 倍の要因で）。
Pythia ファミリー内では、伝送コンポーネントの終端平均 $\lambda$ は $\sqrt{\eta / \lambda_{wd}}$ に比例し（ピアソン相関係数 $r = 0.94$ ）、Fan ら [2025] の AdamW 定常状態スケーリング分析と方向的な一貫性を示す。
$\lambda$ はコンポーネントタイプ全体で一様に増加する（例： $\lambda_O$ と $\lambda_{FFN\_out}$ は非常に相関が高く、 $r=0.9967$ ）、これは残差ストリーム内の結合ダイナミクスを反映している。

4. スーパーウェイトと裾の挙動

分布の本体（80% 切り捨てを通じて適合された部分）はワイブル適合性を保つ一方、著者らは学習済みモデルの極端な裾に孤立した「スーパーウェイト」（ドラゴンキング外れ値）の出現を観察する。

これらの外れ値はすべてのアーキテクチャファミリーに現れ、最大値から第 99 パーセンタイルまでの比率は約 7 倍から 100 倍以上の範囲にある。
中央 80% プロトコルは、これらの外れ値に対して特に堅牢に設計されており、診断用 $k$ が極端な値に引きずられるのではなく、バルク分布を反映することを保証する。

貢献

診断フレームワーク： 著者らは、原理的な初期化アンカー（ $k_0 \approx 1.20$ ）とノイズ最適化適合プロトコル（中央 80% 切り捨て）を用いたワイブル分布の手法を形式化した。このフレームワークは、 $W_q$ と $W_k$ が初期化アンカーから体系的に逸脱し、その逸脱の大きさが保存アーキテクチャによって形作られることを特定する。
ファミリー横断的実証的証拠： 本論文は、12 のモデルにわたる堅牢な「伝送/選択」分割を文書化している。調整可能なパラメータなしで、狭い FFN 伝送バンドとアーキテクチャ依存の選択ドリフト（MHA 対 GQA）を再現する。
オープンソースツール： 著者らは、適合とベンチマークのための 8 つの診断関数（F1–F8）を実装した Python ライブラリ**npm-weibull-py v0.4と、12 のモデルエントリーのベンチマークデータベースDATABASE_v9_1**をリリースする。

意義と限界

意義：
本論文は、要素ごとの統計がスペクトル手法では見えない構造を明らかにすると主張する。コンポーネントを伝送クラスと選択クラスに分離することで、このフレームワークは、異なるレイヤーと射影行列が異なる軌跡に沿って進化するという学習ダイナミクスの微細な視点を提供する。2 つのワイブルパラメータは独立した情報を担う： $k$ は機能的役割（伝送対選択）を識別し、 $\lambda$ は学習の進展の大きさを追跡する。

限界（著者による記載）：

因果メカニズム： 本論文は選択ドリフトの 5 つの候補駆動力（機能的必要性、符号降下、softmax 飽和、残差結合、学習予算）を特定しているが、各寄与を分離するための制御されたアブレーション実験は提供していない。MHA/GQA アーキテクチャとドリフトの深刻さの間の相関は観察的なものである。
ファミリー横断的スケーリング： スケーリング則 $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ は Pythia ファミリー内で検証されているが、異なる初期化レシピや正規化の配置などの交絡因子のため、異なるファミリー間では観察的なものに留まる。
下游タスク性能： 本論文は重みの統計的構造を特徴づけるが、 $(k, \lambda)$ 署名と下游タスク性能の間の直接的な相関を確立していない。
データカバレッジ： Qwen2.5-14B については、GPU メモリ制約により、ブロックごとの統計は 48 レイヤー中の最初の 27 レイヤーに限定されるが、定性的な主張は有効であると期待される。

著者らは、このフレームワークがトランスフォーマー学習の診断のための新しいアーキテクチャに依存しない測定基準を提供し、「選択」コンポーネント（ $W_q, W_k$ ）が構造的変化の主要な場であり、「伝送」コンポーネントは統計的に安定したままであることを明らかにすると結論づけている。