技術概要：ランダム行列理論を用いた長期ホライズン・グロッキング中のニューラルネットワークにおける過学習の検出

問題定義

深層ニューラルネットワーク（NN）を過学習させずに訓練することは困難であり、過学習を検出することも同様に困難である。特に、訓練データ、テストデータ、オプティマイザの状態、または訓練履歴へのアクセスが利用できない場合、これは顕著な課題となる。これはオープンウェイトの基盤モデルにおいて重要な問題である。ユーザーはモデルの重みとカードを保有していても、チェックポイントが堅牢に訓練されたものなのか、それとも特定のデータ相関に過学習しているのかを判断するための文脈を欠いている可能性がある。

本論文は、訓練精度がほぼ完璧に達する一方、テスト精度が長期間にわたり偶然のレベルにとどまり、その後急激に向上する現象であるグロッキングに焦点を当てる。従来の研究は記憶から汎化への移行に注力してきたが、本研究はグロッキング後の長期ホライズン領域を調査する。この段階は**「アンチ・グロッキング」**と称され、成功裡に汎化したモデルが、訓練精度をほぼ完璧に維持しながらも、保持されたデータに対する性能を失い、訓練データへの過学習へと逆戻りする現象を指す。標準的な訓練/テスト精度曲線のみを用いる場合、両方の領域とも訓練精度が高くテスト精度が低いという点で類似しているため、この有害な「アンチ・グロッキング」段階と、モデルがまだ汎化解を見出していない初期の「プレ・グロッキング」段階を区別することは困難である。

手法

著者らは、データへのアクセスを必要とせず、モデルの重み行列のみを操作して機能する、**ランダム行列理論（RMT）**に基づく新たな診断手法を提案する。

中核概念：相関トラップ

本手法は自己平均化の原理に依存している。適切に訓練され汎化しているモデルでは、内部構造をランダム化した場合、重み行列はランダム行列と整合的な統計的性質を示すべきである。

1. ランダム化: 各層の重み行列 $W$ について、要素ごとにシャッフルしてランダム化された行列 $W_{rand}$ を作成する。
2. スペクトル解析: 共分散行列 $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$ の経験的スペクトル分布（ESD）を計算する。
3. マルチェンコ・パストゥル（MP）基準: ESD をマルチェンコ・パストゥル分布に適合させる。これは自己平均化され、無相関なランダム行列に対する理論的基準となる。
4. トラップの検出: 著者らは、適合した MP 分布の右端（トレイシー・ウィドム揺らぎを考慮したもの）を著しく超える固有値外れ値（$\lambda_{trap}$）を相関トラップとして特定する。
   • 定義: 相関トラップとは、$\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$ である固有値 $\lambda_{trap}$ である。
   • 意義: これらの外れ値は自己平均化の違反を示しており、要素ごとのシャッフル後も存続する、構造化された非ランダムな相関が層内に存在することを示唆する。

有害なトラップと無害なトラップの区別

トラップの存在は非自己平均化を示すものの、それ自体が有害な過学習を証明するわけではないため、著者らはデータフリーの JSD（ジェンセン・シャノン・ダイバージェンス）診断アブレーションテストを導入する。

• 手順: 特定のトラップ（固有ベクトル）をランダムなベクトルに置き換える。その後、モデルをプローブ入力（トランスフォーマーの場合はランダムトークン、MLP の場合はガウス入力）で実行する。
• 指標: 元のモデルとアブレーション済みモデルの出力ログit間の JSD を計算する。
• 分類:
  • 有害なトラップ: トラップを除去するとモデルの出力分布が著しく変化し（高 JSD）、テスト精度も変化する。
  • 無害なトラップ: トラップを除去しても出力や精度への影響は無視できるほど小さい。

主要な貢献

1. 相関トラップの定義: 著者らは、マルチェンコ・パストゥル基準に違反するシャッフルされた層重み行列のスペクトル外れ値を「相関トラップ」として定義し、これを非自己平均化構造のシグネチャとして位置づけた。
2. アンチ・グロッキングの同定: 本論文は、成功裡の汎化後にテスト精度が低下する一方、訓練精度は高いまま維持される「アンチ・グロッキング」を、明確な段階として特徴づけた。この段階は構造的にプレ・グロッキングとは異なる。
3. 診断としての相関トラップ: 本研究は、相関トラップがプレ・グロッキングおよびグロッキング中には存在せず、アンチ・グロッキングの開始時に特に数と規模において出現・増大することを示した。
4. 過学習への機械的リンク: 著者らは、これらのトラップを局在化（分散が少数の座標に集中する現象）およびスペクトル凝縮（単一の支配的なモードが巨視的な分散を担う現象）と結びつけた。これらはいずれも汎化誤差が集中するのを妨げる。
5. 実証的検証: 本手法は、3 つの異なるアーキテクチャとタスクで検証された。
   • MNIST 上の 3 層 MLP。
   • モジュラ加算（MA）タスク上の小型トランスフォーマー。
   • 合成の構成タスク上の GPT2 風トランスフォーマー。
6. 基盤モデルへの適用: 本診断は、OpenAI の gpt-oss-20b および gpt-oss-120b のオープンウェイトチェックポイントに適用され、相関トラップの存在が明らかとなった。これは、フロンティア規模のモデルにおける潜在的な過学習を示唆している。

結果

• 段階の分離: 3 つのベンチマーク（MLP、MA、GPT2）のすべてにおいて、相関トラップの数はプレ・グロッキングおよびグロッキング中に実質的にゼロのままである。トラップ数の急激な増加は、アンチ・グロッキング段階におけるテスト精度の低下と正確に相関している。
• 重み減衰制御: 重み減衰（WD=0.01）を用いた実験では、アンチ・グロッキングは依然として発生するものの、重み減衰なしの設定（WD=0）と比較して、相関トラップの成長およびテスト精度低下の深刻さは著しく抑制されたことが示された。
• 摂動への頑健性: 摂動研究により、トラップ数が単に重みのグローバルなスケール（ノルム）の代理指標ではないことが確認された。グローバルな重みノルムが変更された場合でも、トラップはプレ・グロッキング/グロッキング中には存在せず、アンチ・グロッキング時のみ出現した。
• 機械的洞察（MLP）: MLP のケーススタディにおいて、局在化したトラップ方向がピクセル空間内で「プロトタイプのような」構造へと進化することが発見された。これらの構造により、モデルはセマンティックな数字のパターンではなく、グローバルな入力大きさ（例：$\|x\|^2$）に依存するようになり、シャッフルされた入力やガウス入力に対しては脆い挙動を示す一方で、訓練精度は完璧に維持された。
• JSD アブレーション: JSD 診断は、除去時にモデル性能を低下させる（有害な）トラップと、ほとんど影響を与えない（無害な）トラップを成功裡に区別した。

意義と主張

本論文は、相関トラップが、訓練データやテストデータへのアクセスなしに、訓練済みモデルにおける潜在的に有害な過学習のシグネチャを検出するための実用的な重みのみの診断を提供すると主張している。

• 構造的な区別: 主な意義は、まだ学習していない（プレ・グロッキング）モデルと、学習した後で学習し直した、あるいは不適切に汎化した（アンチ・グロッキング）モデルを構造的に区別できる点にある。両状態は精度指標では同一に見えるが、重みスペクトルという点で根本的に異なる。
• 基盤モデルのスクリーニング: 大規模なオープンウェイト LLM における相関トラップの検出は、基盤規模のモデルが、スペクトル分析を通じて検出可能な方法で、訓練データに意図せず過学習している可能性を示唆している。
• 規制および実用的有用性: 著者らは、この手法が、プロプライエタリなデータが利用できない場合、規制当局やユーザーがモデルの安全性と堅牢性を測るための偏りのないツールとして機能し得ると示唆している。
• 限界: 著者らは控えめに、彼らの証拠は制御された長期ホライズン・グロッキング設定から得られたものであると指摘している。彼らは、すべての過学習が相関トラップを生むと主張するものではなく、フロンティアモデルにおけるトラップの存在が、さらなるタスクベースの評価なしに有害な挙動を決定論的に証明するとも主張していない。トラップ数は警告シグナルであり、普遍的な品質スコアではない。