技術的サマリー：記憶と一般化の共存の解明

問題提起

大規模言語モデルなどの高度に過剰パラメータ化されたモデルは、ノイズの多いラベルを記憶する能力と、未見のデータに対して良好に一般化する能力を同時に示すことが知られている。しかし、これら二つの異なる振る舞いがどのように共存しているかを支配する内部メカニズムは、依然として十分に理解されていない。現実的な状況では、訓練データはしばしばノイズ（例えば、誤ったラベル付けされたサンプル）によって汚染されており、これにより「一般化」（未見のデータに適用可能な構造的規則を発見すること）と「記憶」（基礎となる規則を反映しない特定のノイズラベルに適合すること）との間で内部的な競合が生じる。

複雑な実世界のタスクにおけるこの相互作用を診断することは困難である。なぜなら、高いテスト精度は、真の規則の学習と、局所的なパターンやショートカットの搾取との間を本質的に区別するものではないからである。この課題に対処するため、著者らは制御された実験環境として、モジュラ算術タスク（特に $P$ に関する加算と乗算）を調査対象とした。これらのタスクは、規則に基づく一般化と点ごとの記憶との明確な区別、記憶の後に遅れて一般化が生じる「グロッキング（grokking）」現象の発現、そして特定のモデル構成に対する既知の解析的解の利用可能性が選定理由である。

手法

本研究では、ラベルノイズを導入したモジュラ算術タスク上で訓練された、$\theta = \{W, U, V, \mu\}$ でパラメータ化された 2 層ニューラルネットワークを用いる。ノイズ比率 $\alpha$ を変化させ、訓練データのサブセットに真の結果とは異なる一様ランダムなラベルを割り当てる。

本研究は、さまざまな活性化関数（ReLU、二次関数、GeLU、LeakyReLU）、オプティマイザ（Adam、AdamW、Muon、SGD）、および正則化の強さを網羅する広範な実験を通じて、以下の 3 つの主要な問いに答える。

1. Q1: ノイズの多いラベルにおいて、モデルサイズを増大させることが一般化を改善するのはどのような条件下か？
2. Q2: モデルは極端なラベルノイズの下で内部の構造的規則を回復できるか？
3. Q3: 一般化を担うニューロンを記憶に使用されるニューロンから分離できるか？

手法には以下が含まれる：

• 訓練ダイナミクスの分析: 訓練中のクリーンなサブセットとノイズの多いサブセットに対する精度を追跡し、学習順序を観察する。
• 周波数フィルタリング（FF）: 周期的構造を示す二次関数活性化に対する既知の解析的解を活用して、ReLU ネットワークの重みを分解する。著者らは、一般化信号が重みの支配的な周波数成分によって運ばれ、記憶は残りの周波数に符号化されていると仮定する。
• ネットワーク分割: タスク非依存のニューロン重要度スコア（逆参加比とニューロン強度）とタスク固有の周波数事前分布を用いて、ネットワークを一般化サブネットワークと記憶サブネットワークに分離しようとする試み。

主要な知見

1. スケーリングとダブルデセント

著者らは、ラベルノイズの存在下でダブルデセント現象を頑健に観察する。

• 過剰パラメータ化: 過剰パラメータ化領域内では、最適化と正則化が適切に設定されていれば、モデルサイズを増大させることがテスト精度を一貫して改善する。
• 正則化: より強力な正則化は、モデルを過剰パラメータ化領域から未過剰パラメータ化領域へとシフトさせ、2 番目の降下を遅らせる。
• 活性化関数: ReLU モデルは過剰パラメータ化領域において非減少のテスト精度を示す。一方、二次関数または GeLU 活性化を持つモデルは、モデルサイズが増大するにつれてテスト精度に天井を示し、これはノイズの吸収方法に関する対称性の制約によるものかもしれない。

2. 直感に反する学習ダイナミクス

重要な発見として、初期の訓練エポックにおいて、オプティマイザ（AdamW、Adam、Muon）やノイズ比率に関係なく、ノイズの多いラベルはクリーンなラベルよりも速く記憶されることが挙げられる。

• この典型的な学習順序の逆転は、フルバッチ訓練ダイナミクスに起因する。ノイズの多いサブセットはサイズが小さいため、より大きなクリーンなサブセットと比較して、フルバッチ勾配からサンプルあたりの強い最適化信号を受け取り、その精度が早期に上昇する。
• この現象は MNIST 実験でも観察されており、明示的なラベル改ざん下での初期のフルバッチ最適化におけるより広範な性質であることを示唆している。

3. 規則とノイズの共存

極端なラベルノイズ（最大 80%）の下でも、モデルは内部的に正しい代数規則を学習するが、この規則はノイズラベルに補間する必要性によって生じる生出力において抑制される。

• 周波数フィルタリング: 重みの支配的な周波数成分（二次関数活性化の解析的解と整合する）を分離することにより、著者らは完全モデルの出力が重度に汚染されている場合でも、ほぼ完璧なテスト精度を達成するサブネットワークを抽出できる。
• 残差: 残りの周波数成分は主にノイズラベルへの適合能力を保持するが、一般化にはほとんど寄与しない。
• 活性化関数の独立性: 訓練済みのネットワークにおいて ReLU 活性化を二次関数または逆 ReLU に置き換えても、一般化は保持されるか向上する。これは、学習された重みがすでにこれらの関数と互換性のある対称的な規則表現を符号化していることを示している。

4. タスク非依存分離の限界

本論文は、フーリエ構造のようなタスク固有の事前分布に依存せずに、ニューロンレベルで一般化と記憶を分離できるかどうかを調査する。

• ニューロン選択: 逆参加比（IPR）やニューロン強度（Str.）などの指標を用いて、著者らは一般化のためのニューロンを選択するためにネットワークを剪定する。これにより一般化はわずかに改善されるが、その利益は周波数フィルタリングによって達成されるものよりも著しく弱い。
• 絡み合い: 結果は、一般化可能な構造がニューロンの小さなサブセットに局在しているのではなく、ネットワーク全体に拡散的に符号化され、ノイズ記憶に使用される成分と深く絡み合っていることを示唆している。タスク非依存の剪定では、モデルが学習した規則構造を完全に抽出することはできない。

意義と主張

本論文は、過剰パラメータ化学習における構造的な一般化と構造的でない記憶の間に、厳密で検証可能な境界を提供すると主張する。その主な貢献は以下の通りである。

1. メカニズム的洞察: 過剰パラメータ化モデルは明示的なラベルノイズの下でも内部的に基礎となる規則を学習できるが、これらの規則はノイズへの適合の必要性によって覆い隠されていることを示す。
2. 周波数ベースの脱結合: タスクの構造的な事前分布を利用する手法（周波数フィルタリング）を導入し、モジュラ算術タスクにおいて一般化と記憶を成功裏に分離し、重度に汚染された訓練からほぼ完璧な精度を回復する。
3. 事後剪定の限界: 現在のニューロンレベルのツールの根本的な限界を浮き彫りにする。タスク非依存のニューロン選択はわずかな改善をもたらすものの、規則がネットワーク全体に分散し絡み合っているため、一般化可能な構造を完全に抽出することはできない。
4. 広範な含意: 著者らは、将来の学習パラダイムは訓練中に記憶を論理的推論から明示的に分離する必要がある可能性があり、効果的な事後知識抽出には、汎用的な重要度スコアではなくドメイン固有の構造的な事前分布が必要であると示唆する。

著者らは、自らの設定が自然な視覚や言語タスクの複雑な変動性を抽象化していることを認めている。しかし、彼らは記憶と一般化の共存を厳密に研究するためにこの制御された設定が必要であり、これらプロセスが過剰パラメータ化ネットワークにおいて深く絡み合っていることを示す基礎的な証拠を提供していると主張している。