📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

本論文は、LayerNormのスケールパラメータのみを用いてパラメータ空間における正確な代数的デッド方向を特定する、Transformer向けの新規なフォワードパスのみによる診断手法を紹介するものであり、この手法は14のモデルにおいて、固有値分解を用いることなく特異構造を正確に予測し、LayerNormとRMSNormアーキテクチャを区別できることが検証されている。

原著者： Tejas Pradeep Shirodkar, P. J. Narayanan

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tejas Pradeep Shirodkar, P. J. Narayanan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑な機械学習モデル（Transformer）を、数学的な方程式で作られた巨大な多層建ての超高層ビルだと想像してください。エンジニアがこれらのモデルを訓練するとき、モデルが完璧に直立し、適切に機能するように、数十億もの微細なつまみ（パラメータ）を調整します。

この論文は、その超高層ビルの内部を覗き込み、「死んだ方向（dead directions）」を見つけ出すための新しい方法を紹介しています。

「死んだ方向」とは何か？

モデルのパラメータを、丘や谷が連なる風景だと考えてください。通常、モデルをどの方向に少しでも動かせば、その働きは変化します。しかし、これらの「死んだ方向」では、風景は完全に平坦です。もしモデルを死んだ方向に動かしたとしても、何も起こりません。それはまるで凍った湖の上を歩いているようなものです。滑り続けても沈むことも、進む経路が変わることもありません。

これらの方向を見つけることは、通常、非常に困難です。通常は、モデルを数千回のテストケースに通したり、結果に対して複雑な数学的計算を行ったり、あるいはモデルがどのように学習するかをシミュレーションしたりする必要があります。それは、壁を何千回も叩いて、隠れた亀裂を探そうとするようなものです。

大発見：「魔法のコンパス」

著者たちは、あるショートカットを見つけ出しました。ただし、それはLayerNorm（AIにおける標準的なツール）と呼ばれる特定のコンポーネントを使用しているモデルに限られます。

彼らは、これらの死んだ方向を見つけるために、モデルを実行したり重い計算を行ったりする必要はないことを発見しました。ただ、モデルの設定の中にある特定の1つの数字、すなわち「ガンマ（ $\gamma$ ）」パラメータを見るだけでよいのです。

比喩： LayerNormコンポーネントには、数字が書かれたダイヤルがあると想像してください。著者たちは、もしそれらの数字の逆数（ひっくり返した値）を取り、それらを正規化すれば、死んだ方向を直接指し示す完璧な地図が得られることを発見しました。
魔法： この地図は即座に読み取ることができます。フォワードパス（モデルの実行）も、バックプロパゲーション（誤差の計算）も、複雑な固有値分解も必要ありません。それは、家を建てる前に設計図を見て、どこに弱点があるかを即座に把握するようなものです。

2種類の建物

論文では、これを14種類の異なる大規模モデル（テキスト用および画像用）でテストしました。そこで明確な違いが見られました。

LayerNormモデル（地図があるもの）： LayerNormを使用している9つのモデルすべてにおいて、「魔法のコンパス」は完璧に機能しました。予測された方向は、重い数学的手法で見つけた実際の死んだ方向と、小数点以下4桁まで一致していました。それは完璧な一致でした。
RMSNormモデル（地図がないもの）： RMSNormという別のツールを使用している5つのモデルでは、このトリックは機能しませんでした。数字を見るだけで見つけられる普遍的な死んだ方向は存在しませんでした。これは、RMSNormにはLayerNormが作る死んだ方向を生み出す特定の数学的な「射影（プロジェクター）」が欠けているためであり、理にかなっています。

学習すると何が起きるのか？

論文では、モデルが学習する過程で何が起きるかも調査しました。

開始時（ランダム）： 死んだ方向はアーキテクチャ（設計図）によって存在しており、「魔法のコンパス」はそれを即座に見つけ出します。
学習後： モデルはその方向においてさらに「平坦」になります。死んだ方向は深いキャニオン（峡谷）となります。ランダムな開始時と学習済みモデルとの間のギャップは、学習プロセスがいかにこれらの平坦な場所を深くしたかを示しています。

超高層ビルの安全点検

著者たちはまた、この手法を用いて、「残差ストリーム（residual stream）」（建物内を情報が流れるメインの廊下）が強固に保たれているかどうかをチェックしました。

ルール： 健康な建物では、廊下の「最も弱い点」は、上の階に行くにつれて弱くなることはありません。
結果： 14モデル中13モデルにおいて、このルールは成立していました。廊下は強固に保たれていました。
例外： 1つのモデル（Gemma 4-31B）では、廊下が実際に弱くなっていく、真の「死んだ方向」が存在していました。著者たちの手法は、この欠陥を即座に特定し、それが単なる測定エラーではなく、その特定のモデルにおける実在の構造的問題であることを示しました。

なぜこれが重要なのか（論文による説明）

無料である： モデルのパラメータを読むだけで、モデルの「特異構造（singular structure）」（平坦な場所）を診断できます。重い計算は一切不要です。
分類器になる： モデルがLayerNormを使用しているかRMSNormを使用しているかは、この「魔法のコンパス」が機能するかどうかを確認するだけで判別できます。
診断ツールになる： もしコンパスが機能しなかったり、廊下が弱くなったりしている場合は、調査すべき潜在的な構造上の異常をフラグ立てしてくれます。

要約すると、この論文はこう言っています。「もしあなたがLayerNormモデルを持っているなら、モデルを実行して死んだ方向を見つける必要はありません。ただ一つの数字を見て、それをひっくり返せば、答えが得られます。」

技術要約：LayerNormトランスフォーマーにおける代数的デッド・ディレクション（死角）

問題提起
学習済みトランスフォーマーは、損失景観（loss landscape）における特異な極小値付近で動作しており、そこではフィッシャー情報量メトリックがパラメータ空間内の特定の「デッド・ディレクション（死角）」に沿って退化している。これらの方向において、損失は平坦であり、方向的なフィッシャー情報量は消失する。これらの方向を特定することは、モデルの幾何学および特異学習理論を理解する上で極めて重要であるが、既存の手法は計算コストが高いか、間接的である。デッド・ディレクションの特定には、通常、フォワードパスと活性化の固有値分解の組み合わせ、サンプリングベースの複雑度推定（例：Local Learning Coefficient）、あるいは広範な勾配へのアクセスが必要となる。決定的なことに、フォワードパスやバックワードパスを行わずに、ネットワークのパラメータのみから算出可能な特定のデッド・ディレクションを提供する手法はこれまで存在しなかった。

手法
本論文は、Shirodkar (2026) のフレームワークに基づき、フィッシャー情報のKFAC（クロネッカー因子近似曲率）分解からデッド・ディレクションを導出する、LayerNorm (LN) トランスフォーマーのための閉形式の診断法を開発する。核心となる洞察は、LayerNormのフォワードマップに内在する平均減算プロジェクターが、事後正規化（post-normalization）の活性化共分散において、特定のカーネル方向を代数的に強制することである。

著者らは、あらゆるLayerNorm搭載トランスフォーマーにおいて、LayerNormのアフィン・パラメータの逆スケール方向、すなわち $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ が、任意の入力分布に対して事後最終正規化中心化活性化共分散の厳密な代数的カーネルになることを提案する。この方向は、学習されたスケール・パラメータ $\gamma$ のみから直接読み取ることができる。

本手法は、14の学習済みトランスフォーマー（160Mから35Bパラメータに及ぶ、LayerNormおよびRMSNormを備えた言語および視覚モデルを含む）に対し、以下の3つの主要な診断テストを実施している。

代数的ベースライン検証: ランダム初期化時において、予測された方向 $v^*$ を、活性化共分散の最小固有ベクトル方向（ $u_\perp$ ）と比較する。
ノルム側の二分法: この普遍的なカーネル方向の存在または不在を用いて、正規化スキーム（LayerNorm vs. RMSNorm）を分類する。
学習によるギャップ: 「シュア比（Schur ratio）」 $R(h)$ とその補数 $\Delta_\gamma = 1 - R(h)$ を測定し、訓練後に実際のデッド・ディレクションがアーキテクチャのベースラインと比較してどの程度深まったかを定量化する。
深さ不変性: 残差ストリームの最小特異値（ $\sigma_{\min}$ ）が、恒等スキップ接続と非キャンセル仮説から導かれる性質として、ブロック間で保存されるかどうかをテストする。

すべての測定は、勾配へのアクセスやサンプリング・チェーンを用いることなく、1チェックポイントにつき1回のフォワードパスを用いて行われ、数値的なノイズフロアを回避するためにfp64中心化共分散累積が使用されている。

主な貢献

LayerNormの代数的デッド・ディレクション: 本論文は、あらゆるLayerNormトランスフォーマーにおいて、 $\gamma^{-1}/\|\gamma^{-1}\|$ が事後最終正規化中心化活性化共分散のデッド・ディレクションであることを証明し、実証した。この方向は、フォワードパスなしでアフィン・パラメータのみから読み取れる。
RMSNormの負の微分: 平均減算プロジェクターを欠くRMSNormは、 $\gamma$ にのみ依存するこのような普遍的なデッド・ディレクションを持たないことを証明した。これにより、これら2つの正規化タイプ間の厳格な代数的二分法が成立する。
残差ストリームの $\sigma_{\min}$ 深さ不変性: 閉形式の系により、非キャンセル仮説の下では、残差ストリームの最小特異値はブロック間で減少しない（ $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ）ことが予測される。
シュア比診断: アーキテクチャのベースライン（ランダム初期化）と訓練済み特異構造との間のギャップを測定する定量的指標（ $\Delta_\gamma$ ）を導入した。このギャップは、蓄積された特異構造を示すフォワードパスのみの診断として機能する。

結果
予測は、様々な目的（次トークン予測、画像分類、自己教師あり学習）を持つ14のモデル（LayerNorm 9、RMSNorm 5）に対してテストされた。

代数的一致: ランダム初期化時、予測された方向 $\gamma^{-1}/\|\gamma^{-1}\|$ は、すべての9つのLayerNormモデルにおいて、測定された最小固有ベクトル方向と4桁の精度で一致した（ $|\cos| \ge 0.9999$ ）。平均的な整列度は0.99999であった。
RMSNormの不在: 5つのRMSNormモデルは、 $\gamma$ 由来の方向との一致を示さず（ $|\cos| \le 0.10$ ）、ランダムな方向のヌル値に位置していることが正しく示された。
学習ギャップ: 学習済みチェックポイントにおいて、シュア比 $\Delta_\gamma$ はすべてのモデルサイズで $\approx 1$ に飽和した。これは、訓練によって、LayerNormによって確立されたアーキテクチャのベースラインよりも約 $10^3$ 倍深いデッド・ディレクションが開いていることを示している。
深さ不変性: $\sigma_{\min}$ $σ_{m i n}$ の深さ不変性は、自身の入力分布で読み取った場合、14モデル中13モデルで成立した。
- 唯一の例外であるGemma 4-31Bは、出力において残差ストリームの $\sigma_{\min}$ が $\sim 18$ 倍減少するという、真の固有のデッド・ディレクションを示した。
- もう一つのGemma 4のバリアント（Gemma 4-E4B）は、テキストのみのキャリブレーション下で落ち込みを見せたが、マルチモーダル（テキスト＋画像＋音声）のキャリブレーション下では解消された。これは、それが固有のデッド・ディレクションではなく、分布依存のデッド・ディレクションであることを示している。
動的検証: Pythia-1Bの事前学習の軌跡において、 $\sigma_{\min}$ 比は各ステップで $\ge 1$ を維持し、一方で $\gamma$ が分散しても整列度は高い状態（ $\ge 0.998$ ）を維持した。これは、予測が初期化ではなく学習された $\gamma$ を追跡していることを裏付けている。

意義と主張
本論文は、フォワードパスやバックワードパスを行わず、単一のパラメータ（ $\gamma$ ）の検査のみで完結する、LayerNormに特化した「最も安価なデッド・ディレクションの読み取り法」を提供すると主張している。これにより、実務者は以下が可能となる：

デッド部分空間の特定: サンプリングや勾配へのアクセスなしに、凍結されたモデル内のデッド・ディレクションを検出する。
アーキテクチャの分類: パラメータのみから、学習済みモデルの正規化スキーム（LN vs. RMSNorm）を判定する。
病理の診断: 標準的なパイプラインでは数値ノイズフロアのために見逃される可能性がある、 $\sigma_{\min}$ 深さプロファイルを用いたリアルタイムの異常検知（例：Gemma 4のMLP局所的な崩壊）を行う。
設計への示唆: 新しい正規化スキームが、 $\gamma$ 由来の普遍的なカーネルを持つかどうかを予測するための構造的テストを提供する。

著者らは、アーキテクチャによって保証されたデッド・ディレクション（LayerNormにおけるランダム初期化時に存在する）と、訓練によって誘発されたデッド・ディレクション（LNおよびRMSNormの両方のモデルにおいてカーネルを深化させる）を区別することを強調している。これら2つの状態の間のギャップは、訓練中に蓄積された特異構造の診断として機能する。本論文は、Gemma 4の異常の起源を解決するものではないが、それをMLPサブレイヤーに局在化させ、キャリブレーションのアーティファクトとは区別することに成功している。