技術要約：深層ニューラルネットワークにおける記憶（Memorization）の研究のためのランダムラベル予測ヘッド

問題提起

現代の深層学習モデルは極端な過剰パラメータ化（over-parameterization）という特徴を持ち、それが過学習（overfitting）を招きやすい要因となっている。データ拡張や明示的な正則化といった戦略は存在するものの、これらは実用的な汎化性能の問題に対処するものであり、過学習のメカニズムそのものに対する深い洞察を与えるものではない。近年の研究（例：Zhang et al., 2021）は、最先端のモデルがランダムに割り当てられたラベルを持つデータセットを完全に適合できることを示しており、これはモデルがタスクとは無関係なサンプル固有の情報を記憶する能力を持っていることを示唆している。

「記憶」と「汎化」が現実世界のタスクにおいてどのように相互作用しているのかを理解することには、重大なギャップが存在する。従来の理論では、過学習を記憶と同義とし、後者が本質的に有害であると考えてきた。しかし、「ダブルディセント（二重降下）」現象やロングテール分布に関する観察結果は、より微細な関係性を示唆している。さらに、既存の手法には、主要なタスクの性能を変化させることなく、標準的な学習プロセスの中で記憶を明示的に測定し、制御するメカニズムが欠けている。

手法

著者らは、記憶を調査および正則化するための手法として、**ランダムラベル予測ヘッド（RLP-head）**を用いたハイブリッドなアプローチを提案している。

1. アーキテクチャとメカニズム

• RLP-Head: 標準的な分類ヘッドと並列に、特徴抽出器（通常はペンウルティメイト層の後、あるいは任意の深さに配置可能）に補助的な予測ヘッドを付加する。
• ランダムラベル: 学習の開始時に、各訓練サンプルに対して固定されたランダムなラベルが割り当てられる。これらのラベルは真のクラスラベルとは独立している。
• 学習ダイナミクス:
  • RLP-headは、これらのランダムラベルを予測するように標準的なクロスエントロピー損失（$L_{rnd}$）を用いて学習される。
  • $L_{rnd}$ からの勾配はRLP-headのみに伝播し、メインの分類ヘッドには影響を与えない。
  • 解釈: ランダムラベルに対するRLP-headの精度は、モデルの**ラデマッハー複雑性（Rademacher complexity）**の実証的な推定値として機能する。ランダムラベルの精度が高いことは、ネットワークが任意のパターンを記憶するのに十分な容量を備えていること、すなわち高いモデル複雑性を反映している。

2. 正則化戦略

記憶を能動的に制御するために、著者らは記憶正則化器（memorization regularizer）（$L_{reg}$）を導入する。

• 目的: ランダムラベルに対するエラーを最小化するのではなく、ランダムラベルを正しく予測したことに対してRLP-headにペナルティを課す。
• 定式化: $L_{reg} = \log(1 - \hat{p}_{\hat{y}})$ とする。ここで $\hat{p}_{\hat{y}}$ は予測されたランダムラベルの確率である。これは標準的なクロスエントロピーの論理を反転させたものであり、ランダムラベルに対する自信のある予測に対してペナルティを増幅させる。
• 勾配の流れ: $L_{reg}$ からの勾配は、RLP-head自体ではなく、特徴抽出器に対してのみバックプロパゲーションされる。これにより、特徴抽出器は、RLP-headがランダムラベルを通じて個々のサンプルを識別することを許さないような表現を学習することを強制され、結果としてサンプル固有の特徴学習が抑制される。

主な貢献

1. プロービングツールとしてのRLP-Head: ネットワーク全体をランダムラベルで再学習させることなく、層ごとの記憶とモデルの複雑さを実証的に測定する手法として、RLP-headを導入した。
2. 指標の検証: ランダムラベルの精度が、確立された複雑性正則化手法（Dropout、Weight Decay、Label Smoothing）と相関しており、ラデマッハー複雑性の有効なプロキシ（代理指標）として機能することを示した。
3. 新しい正則化技術: RLP-headの性能にペナルティを課すことで記憶を明示的に制約し、特徴抽出器がサンプル固有の情報をエンコードする能力を調整する手法を提案した。
4. 記憶の役割の再評価: 記憶が常に有害であるという仮定に対し、サンプリング方法によっては記憶が汎化を阻害することもあれば促進することもあるという、経験的な証拠を提示した。

実験結果

1. 記憶のダイナミクス

• 層ごとの分析: ImageNetで学習されたVision Transformer (ViT) において、ランダムラベルの精度はネットワークの深さとともに上昇する。初期層では精度がほぼゼロであるのに対し、深い層では約70%に達しており、記憶が抽象化された特徴表現の中で発生していることを示している。
• 時間的進化: ランダムラベルの精度は、訓練精度とテスト精度の乖離が始まる前にわずかに上昇する。これは、記憶が学習プロセスの早い段階で始まっていることを示唆している。

2. 正則化が汎化に与える影響

記憶の抑制による効果は、データセットとモデルによって大きく異なる。

• ImageNet (ViT-B/32): RLP正則化はランダムラベルの精度（記憶）を減少させることに成功した。これにより訓練精度は低下したが、**テスト精度は大幅に向上（最大+1.5%）**し、訓練とテストのギャップが縮まった。これは、記憶が汎化を損なうという古典的な理論と一致する。
• CIFAR-100 (WideResNet-16-4): RLP正則化は記憶を減少させるものの、テスト精度を低下させる。これは、たとえ正則化係数が小さくても同様である。訓練精度は安定している。これは、記憶が少なければ常に汎化を向上させるという古典的な見解に矛盾する。

3. データサンプリングの役割

著者らは、記憶の二面性はサンプリングの効果によって駆動されていると仮定している。

• 十分にサンプリングされた分布（例：ImageNet）: 記憶を抑制することで、モデルは共有されたクラスレベルの特徴を学習することを強制され、汎化性能が向上する。
• 不足している分布（例：CIFAR-100、ロングテール）: サンプルが少ない領域では、真のデータ分布を捉えるために特定のインスタンスの記憶が必要となる。これを抑制すると、モデルは不十分なサンプリングによる偽の共有特徴やアーティファクトに依存せざるを得なくなり、汎化が損なわれる。
• 証拠:
  • ImageNetのサブセットにおいて、正則化器はデータの利用可能な割合が大きい場合にのみテスト精度を向上させる。
  • ロングテールデータセット（ImageNet-LT）において、記憶を抑制することは希少クラスの正しい予測を妨げる。
  • ラベルノイズの追加：このシナリオでは、記憶は純粋に有害である。正則化器は一貫してテスト性能を向上させており、記憶が分布上の目的を果たさない場合、それは汎化を阻害することを裏付けている。

4. 記憶のシフト

RLP正則化を最終層にのみ適用した場合、記憶は排除されるのではなく、より前の層へとシフトする。ネットワークは、正則化器を回避するために、サンプル固有の特徴をクラスに関連する情報へと変換する。全層に正則化を適用すると、このシフトは抑制されるが、必ずしもテスト精度の向上には繋がらない。これは、ある程度の初期層での記憶が有益である可能性を示唆している。

意義と主張

本論文は、深層ニューラルネットワークにおける記憶を研究し、制御するための制御されたフレームワークを提供すると主張している。ランダムラベルの精度をラデマッハー複雑性の実証的なプロキシとして解釈することで、著者らはモデルの容量とサンプルレベルの記憶を直接測定する手段を提示している。

主な意義は、過学習と記憶を同一視する従来の考え方に異議を唱える点にある。著者らは、記憶は本質的に有害なのではなく、その影響はデータセットが十分にサンプリングされているかどうかに依存すると提案している。サンプリングが不足している状況では、特定の例を記憶することが、同じ分布から未知のデータへ汎化するための唯一の方法となる場合がある。

本研究は、RLP-headおよび派生した正則化器が以下の用途において効果的なツールであることを示唆している。

• ネットワーク内のどこで、いつ記憶が発生するかを診断する。
• 十分にサンプリングされた設定において、記憶を明示的に減らして汎化性能を高める。
• データの不足により記憶が学習の不可欠な要素となっているシナリオにおける、トレードオフを理解する。

著者らは、これらの知見は、現代の深層学習における記憶の相反する結果を調和させるための新しい仮説を必要とするものであると結論付けている。つまり、記憶を単なる誤差の源泉とする二元的な見方を超えた議論が必要である。