🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

本論文は、標準的な損失関数と正に偏った活性化との相互作用によって生じる根本的な負の重みドリフトを特定し、これが深層ネットワークにおいて高い活性化のスパース性と精度の急落を引き起こすことを明らかにし、これにより著者らはスパース性、安定性、性能のバランスを取る効果的な解決策としてクリップド ReLU $^2$ および GELU $^2$ を提案する。

原著者： Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。何千もの小さなスイッチ（ニューロン）で構成され、パターンを認識することを学ぶ、巨大で複雑な機械を構築している状況を。長年、エンジニアたちは、なぜ機能するのかを完全に理解することなく、うまく機能するように見える機能を追加しながら、試行錯誤によってこれらの機械を微調整してきました。

この論文「Bug or Feature2」は、これらの機械が学習する際の隠れた気まぐれさを調査しています。著者たちは、機械の中に「ゴースト」を発見しました。内部の設定（重み）が負の方向にゆっくりと漂流する傾向であり、これにより多くのスイッチが完全にオフになってしまうのです。

以下に、彼らの発見を簡単なアナロジーを用いて解説します。

1. 「負の漂流」（綱引き）

機械の設定がすべてゼロの周りで完璧にバランスしている状態から始まると想像してください。著者たちは、機械が誤りを計算する方法（「損失関数」と呼ばれる標準的な数学式を使用）と、情報を処理する方法（ReLU などの「活性化関数」を使用）によって、微妙で目に見えない綱引きが生じていることを発見しました。

メカニズム: 学習の最初の数秒間で、数学的な計算が設定をわずかに負の側へと押しやります。
結果: 一度設定が負になると、それは負のままになります。まるでボールが丘を転がり落ちるようなもので、一度動き出せば壁にぶつかるまで転がり続けます。これは機械にランダムで無意味なデータを与えられた場合でも起こります。これはデータの問題ではなく、学習プロセスそのものの欠陥です。

2. 「沈黙するスイッチ」（活性化の疎性）

次に、それらのスイッチを電球だと想像してください。

ReLU（一般的なスイッチタイプ）の場合: 設定が負に漂流すると、電球は完全にオフになり、その状態のままです。著者たちは、あるモデル（GPT-nano という小さな言語モデルなど）では、最大90% の電球がオフになり、沈黙していることを発見しました。
問い: これはバグでしょうか、それとも機能でしょうか？
- バグ: 光る電球が多すぎると、機械は盲目になり、学習を停止する可能性があります。
- 機能: 点いている電球が少ない状態で機械が仕事をこなせるなら、より効率的である可能性があります。

3. 「崖」（危険地帯）

研究者たちは、機械が壊れる前にどれだけの沈黙を処理できるかをテストしました。彼らは鋭い**「崖」**を発見しました。

安全域: スイッチの最大**70%**をオフにしても、機械は以前とほぼ同じように機能します。驚くほど頑健です。
崖: 70% 以上（例えば 80% や 90%）をオフにしようとすると、機械のパフォーマンスは崩壊します。まるで車輪が一つしかない車で運転しようとするようなもので、ある速度までは問題なく動きますが、それを超えると崩れ去ります。
例外: 「スキップ接続」を持つ機械（ResNet やトランスフォーマーなど）は、予備の車輪を持つ車のようです。クラッシュするまで、はるかに多くの沈黙を処理できます。

4. 「二乗」の実験（ReLU2）

著者たちは、信号を二乗する（大きな数をさらに大きくする）新しいタイプのスイッチであるReLU2を試しました。

問題点: これにより「スパイク」が発生しました。まるでいくつかの電球が突然激しく点滅し、システムを焼き切ったり、盲目にしたりするかのようにです。機械の中間層では、これらのスパイクが危険なほど大きくなりました。
解決策: 彼らは、スパイクをクリップすること（電球の明るさの上限を設定すること）で問題が解決することを見つけました。
勝者: 「クリップド ReLU2」はオリジナルよりも優れており、「クリップド GELU2」（異なる滑らかなスイッチ）は、言語モデルにおいて最も優れた性能を発揮し、最低のエラー率を達成しました。

5. 「凍結」のトリック（計算効率）

「漂流」は学習の最初の数ステップで主に発生します。その後、設定は安定します。

アイデア: 通常、機械は新しい画像や文章を見るたびに「重心」（正規化統計量）を再計算します。これは遅いです。
ハック: 著者たちは、初期の漂流が収束した後（短い「ウォームアップ」後）、その計算を凍結できることを見つけました。再計算を停止し、初期の数値を使用するだけです。
メリット: これにより、最終的な知能を損なうことなく、機械の学習が約25〜30% 高速になります。まるで部屋が適切な温度に達したら、毎秒温度を確認するのではなく、サーモスタットを設定するのと同じです。

まとめ

この論文は、現代の AI モデルが、学習方法における数学的な気まぐれさにより、多くのニューロンが機能を停止する「デッドゾーン」を自然に発達させることを明らかにしています。

これはデータ上のバグではありません; 最適化数学のバグです。
沈黙はある程度まで（70%）は問題ありませんが、沈黙が多すぎるとクラッシュします。
新しいスイッチ（二乗関数）は強力ですが、 危険なスパイクを防ぐために「クリップ」が必要です。
初期の計算を凍結することで、 学習を大幅に高速化できます。

著者たちは、ランダムな副作用に見えるものが、実は制御可能なメカニズムであり、それを理解すれば、より高速で効率的な AI を構築するのに役立つと結論付けています。

技術的サマリー：Bug or Feature2：重みドリフト、活性化の疎性、およびスパイク

問題定義

現代のニューラルアーキテクチャ設計は、漸進的な経験的選択を通じて進化してきたが、トレーニングダイナミクスを支配する内在的なメカニズムは依然として部分的にしか理解されていない。本論文は、平均中心化正規化の欠如下において、標準的な損失関数（MSE、交差エントロピー）と正のバイアスを持つ活性化関数（例：ReLU、GELU、SiLU）との相互作用によって引き起こされる体系的な負の重みドリフトを特定している。

核心的な問題は、トレーニングの初期反復において、勾配降下法が重みを負の値へと駆動することである。これは、正の事前活性化に対する期待勾配が非負となるためである。その結果、事前活性化は下方にシフトし、より多くのニューロンがゼロ以下に陥る。ReLU などの活性化関数を通過すると、これらの負の事前活性化はゼロに圧縮され、ハードな活性化の疎性を誘発する。著者らは、この創発的な疎性が効率化のための有益な機能（Feature）なのか、モデル性能を低下させる有害なバグ（Bug）なのかを調査する。さらに、本論文はトランスフォーマーアーキテクチャ内で観測される病理的な活性化スパイクについても検討する。

手法

1. 重みドリフトの形式的分析

著者らは、初期化段階における ReLU ベースの多層パーセプトロン（MLP）に対して形式的な証明を提供する。

理論的枠組み: 後続の線形層と ReLU ゲートの合成を表す有効重み行列 $V_{eff}$ を定義する。
主要な定理: 平均ゼロの i.i.d. 重み初期化の下では、 $V_{eff}$ の行は平均ゼロを示すが、非負の相互相関（ $E[\langle v_i, v_j \rangle] \ge 0$ ）を示す。
勾配分析: MSE および交差エントロピー損失の両方において、任意の正の事前活性化に対する期待勾配は非負である。勾配降下法は重みを勾配の負の方向に更新する（ $w \leftarrow w - \eta \nabla w$ ）ため、この一貫して正の勾配は重みを負の値へと駆動する。
自己増幅サイクル: 重みが負になるにつれ、事前活性化はさらにゼロ以下にシフトし、死んだニューロンの割合を増加させ、ドリフトを強化する。

2. 経験的検証

著者らは、多様な設定でこれらのダイナミクスを検証する。

アーキテクチャ: MLP、ResNet-18、MaxViT、MP-SENet、GPT-nano。
活性化関数: ReLU、GELU、SiLU、NoisyReLU、SUGARBSiLU、ReLU2。
データ: 実世界のデータセット（CIFAR-10、ImageNet-1K、FineWeb）と、最適化ダイナミクスをデータ分布から分離するために完全にランダムな入力との両方でのトレーニング。
オプティマイザ: SGD、モーメンタム付き SGD、Adam/AdamW。

3. 疎性制御とトレードオフ分析

著者らは、疎性が「バグ」か「機能」かを判断するために、2 つのメカニズムを用いて疎性レベルを明示的に制御する。

Top-K 疎性: 活性化の上位 $k\%$ を保持する（GELU と併用）。
パーセンタイル中心化（PC）: ReLU 適用前に平均ではなく目標パーセンタイル $q$ だけ活性化をシフトする提案手法であり、ゼロ化される活性化の割合を直接制御する。
評価: 疎性レベルとモデル精度/損失の関係をマッピングするために、アーキテクチャ全体で 79 設定をベンチマークする。

4. 二乗活性化とスパイクの調査

本論文は、GPT-nano におけるReLU2（ $max(0, x)^2$ ）およびGELU2を分析する。

スパイク検出: ReLU2 を使用した際、GPT-nano の層 2〜4 で巨大な活性化スパイクが観測される。
緩和策: スパイクが有害（バグ）か有益（機能）かを判断するため、これらの活性化を閾値（15 および 50）でクリップするテストを行う。

主要な結果

1. 負の重みドリフトは内在的である

普遍性: 明示的な正規化（例：RMSNorm）を欠くものを含め、テストされたすべてのアーキテクチャおよび活性化関数でドリフトが発生する。
最適化由来: ランダムなデータ上でも現象は持続し、データ分布ではなく最適化ダイナミクスの性質であることを確認する。
規模: ドリフトはトレーニングの最初の反復で最も顕著であり、勾配が減少するにつれて安定化する。モーメンタムベースのオプティマイザはこの初期ドリフトを加速する。
疎性の帰結: ReLU ベースのモデルでは、このドリフトは明示的な正則化なしに GPT-nano で最大**90%**の自然な疎性を誘発する。

2. 疎性 - 精度の「崖」

トレードオフ曲線: 中程度の疎性レベル（ $s \lesssim 0.7$ ）では性能は安定しているが、臨界閾値（「崖」）を超えると急激に劣化する。
アーキテクチャ依存性:
- MLP: 約 85% の疎性で壊滅的な崩壊を被る。
- ResNet: 構造化された（チャネルごとの）疎性では単調な劣化を示すが、非構造化疎性では堅牢性を維持する。
- トランスフォーマー（ViT、GPT）: 極端な耐性を示す。GPT-nano は約 91% の疎性までベースラインに近い性能を維持する。
メカニズムの独立性: 疎性を誘発する具体的な方法（Top-K 対パーセンタイル中心化）は、疎性レベル自体に比べて影響が限定的である。

3. 活性化関数と疎性

GELU: ほとんどの分類タスクで最高精度を達成するが、自然な疎性は最小限である。
ReLU2: 正規化に非常に敏感である。正規化なしの MLP では崩壊するが、GPT-nano においては GELU（3.260）と比較して最低の検証損失（3.250）を達成する。
ReLU 化: GELU でトレーニングされたモデルを 1 エポックの微調整を通じて ReLU に変換すると、精度の低下（<1%）をほぼ伴わずに 55〜74% の疎性を回復でき、効率化のための実用的な戦略となる。

4. 病理的スパイクとクリッピング

スパイクの起源: GPT-nano におけるスパイクは、MLP ブロックのアップ射影に由来し、ReLU2 における二乗操作によって増幅される。
クリッピングの利点:
- クリップ済み ReLU2: クリップなしの ReLU2（3.251）を上回る（3.236）、極端なスパイクが有害であることを示す。
- クリップ済み GELU2: GPT-nano において全体的に最高の検証損失（3.233）を達成する。
- ViT の結果: 二乗活性化は MaxViT において GELU を上回らないため、二乗活性化の利点は自己回帰モデルに特異的である可能性がある。

5. 蓄積停止による計算効率化

観察: 重みドリフトは数千ステップ後に安定するため、トレーニング全体を通じて正規化統計量（パーセンタイル、平均）を動的に計算する必要はない。
手法: 著者らは**蓄積停止（Accumulation Stop, AS）**を提案する。これは、ウォームアップ期間（例：50k ステップ）中に指数移動平均（EMA）を介して統計量を計算し、その後凍結するものである。
結果: これにより、動的なパーセンタイル計算のオーバーヘッド（約 25〜30%）を除去しつつモデル品質を低下させることなく（FID/IS スコアは安定または向上）、トレーニングスループットをベースラインに近いレベルに回復させる。

意義と主張

本論文は、活性化の疎性をデータの創発的性質としてではなく、損失関数、活性化関数、および正規化層の相互作用による制御可能な帰結として再定義する。

メカニズム的理解: 現代のアーキテクチャ（RMSNorm の使用など、平均中心化を省略するもの）が体系的な重みドリフトと高い疎性を示す理由についての理論的および経験的説明を提供する。
設計ガイドライン:
- 疎性制御: トランスフォーマーベースのモデルでは、顕著な性能低下なしに（最大約 70〜80% までの）積極的な疎性を達成でき、計算効率化への道筋を提供する。
- 活性化の選択: ReLU2 は LLM で性能向上をもたらすが、病理的スパイクを緩和するためにクリッピングが必要である。GELU は堅牢な汎用ベースラインとして残る。
- 効率化: 「蓄積停止」技術は、初期ドリフト安定化フェーズ後に正規化統計量を凍結することで、トレーニングオーバーヘッドを削減する実用的な方法を提供する。
限界: 著者らは、理論的証明は厳密には初期化と ReLU に適用され、滑らかな活性化への拡張は経験的であることを指摘する。これらの知見が最先端規模の LLM（10 億パラメータ以上）に適用可能か、および異なるアーキテクチャに対する最適なクリッピング閾値は、未解決の課題である。

本論文は、これらの「一見偶発的」な設計選択を理解することが、特に非中心化正規化と疎性推論へと分野が移行する中で、将来のアーキテクチャ開発にとって不可欠であると結論づけている。