技術的概要：信号対雑音比とサンプルサイズがニューラルネットワークにおける表現の整合性を支配する

問題提起

独立して訓練された深層学習モデルは、構造的に類似した内部表現に収束することが多く、この現象は「表現の整合性」として知られている。この「プラトニック表現仮説」の実証的証拠は確固たるものであるが、それを支配する理論的メカニズムは依然として不明瞭である。具体的には、以下の根本的な問いが残されている：

1. 整合性が訓練データの質（ノイズレベル）と量（サンプルサイズ）にどのように依存するか。
2. 過小パラメータ化領域と過大パラメータ化領域の間で、整合性を駆動するメカニズムが異なるかどうか。
3. 表現の整合性がモデルの質（汎化誤差）の信頼できる予測因子であるかどうか。

既存の研究は主に、表現類似性分析（RSA）、特異ベクトル正準相関分析（SVCCA）、中心化カーネル整合性（CKA）などのツールを用いて整合性を定量化している。しかし、これらの指標は線形対応を前提としており、高度に曲がった非多様体上に存在する表現には不適切な場合がある。さらに、より良い汎化性能が必ずしもより整合性の取れた内部表現を意味するかどうかは不明である。

手法

理論的枠組みと指標

著者は、**条件付きコピュラエントロピー（CCE）**と呼ばれる整合性のための新しい統計的指標を提案する。対称的な指標（例：CKA）とは異なり、CCE は非対称であり、ある表現の近傍構造が他の表現の近傍構造をどの程度よく予測するかを定量化する。

• 定義：CCE は情報不均衡（II）から導出され、コピュラ変数の負の条件付きエントロピーとして定義される：$CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$。
• 根拠：これは、空間 $A$ において点が無限小に近いという条件のもとで、空間 $B$ における距離に関する不確実性の減少を測定することで、局所的な表現の整合性を捉える。
• 解析的扱いやすさ：決定的なことに、ガウスベクトルの 1 次元射影に対して、CCE は相関係数 $\rho$ に依存する閉形式の式を許容する：$CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$。

実験設定

本研究は理論を検証するために多段階のアプローチを採用している：

1. 線形教師 - 学生設定（解析的）：
   • モデル：ノイズのある線形回帰タスク（$y = w^* \cdot x + \epsilon$）において勾配降下法で訓練された 2 層の深層線形ネットワーク。
   • プロトコル：2 つの同一の学生ネットワークを、同一の教師分布から引き出された独立したデータセット上で独立して訓練する。
   • 分析：著者は、2 つのネットワークの隠れ表現間の漸近相関（$\rho^*$）を、大域的最適解において導出する。これにより、信号対雑音比（SNR）と訓練サンプル数と入力次元の比（$\alpha = n/d$）の関数としての CCE の解析的計算が可能となる。
2. 非線形シミュレーション（数値的）：
   • モデル：ReLU 活性化関数を持つ 2 層ネットワーク。
   • タスク：線形設定と同じ合成回帰タスク。
   • 比較：同一のデータ上で訓練された線形ネットワークと ReLU ネットワークの間で、整合性と汎化誤差を直接比較する。
3. 実世界分類：
   • データセット：CIFAR-10（CNN を使用）および MNIST（全結合ニューラルネットワークを使用）。
   • プロトコル：ネットワークを、ラベルノイズの異なるレベル（逆 SNR として機能）を持つデータの独立した部分集合上で訓練する。
   • 指標：CCE を、最終層の直前の層の表現間で計算する。

主要な貢献

1. 理論的導出：本論文は、深層線形ネットワークにおける表現の整合性を分析するための理論的枠組みを確立し、学習された重みの相関に基づいた CCE の閉形式式を導出した。
2. 支配要因：著者は、整合性が 2 つの主要な要因によって支配されることを実証した：
   • 信号対雑音比（SNR）：整合性は、すべての領域（線形および非線形、回帰および分類）において SNR とともに単調に増加する。
   • サンプルサイズ：整合性は訓練サンプルサイズに対して非単調に変化する。それは補間閾値（$n \approx d$ または $n \approx p$）の近くで最小値に達し、汎化誤差で観察される「ダブルディセント」の挙動を反映する。
3. 整合性と汎化の分離：本研究は、高い汎化性能が必ずしも高い表現の整合性を意味しないという証拠を提供する。
   • 過小パラメータ化領域では、異なる SNR を持つネットワークが同一の汎化誤差を達成し得るが、異なる程度の整合性を示す。
   • 過大パラメータ化領域では、低い SNR（より良い汎化）を持つネットワークは、高い SNR を持つネットワークよりも整合性の低い表現を持つ可能性がある。
4. 情報性と性能：本論文は、あるネットワークが低い性能を持つネットワークよりも少ない情報を持つ内部表現を学習しながら、より高いタスク性能を達成し得ることを示している。これは、タスク性能が表現の質の十分代理指標ではないことを浮き彫りにする。

結果

線形ネットワーク

• 汎化誤差：特徴的なダブルディセント曲線を示し、補間閾値（$\alpha = 1$）でピークに達する。
• 整合性（CCE）：サンプルサイズに対する非単調な依存性も示し、補間閾値で最小値（ほぼゼロの整合性）に達する。
• SNR 依存性：高い SNR は一貫して強い整合性をもたらす。注目すべきは、過小パラメータ化領域（$\alpha > 1$）では、異なる SNR が同一の汎化誤差をもたらすが、明確に異なる整合性レベルをもたらす点である。

非線形ネットワーク（ReLU）

• 定性的類似性：ReLU ネットワークにおける CCE と汎化誤差の挙動は、線形の場合と定質的に類似している：サンプルサイズに対する非単調な依存性（補間閾値付近で最小）と、SNR による単調な改善。
• 定量的差異：線形の場合とは異なり、汎化誤差は補間閾値で発散せず、CCE もゼロに崩壊しない。代わりに、SNR に依存する値に収束し、閾値においても非線形ネットワークが何らかの共有情報を保持していることを示唆している。
• 線形対 ReLU 比較：同一のデータセット上で訓練された場合、線形ネットワークはより低い汎化誤差（この線形問題に対するベイズ最適学習器に近い）を達成するが、ReLU ネットワークと比較して少ない情報を持つ表現（低い CCE）を学習する。ReLU ネットワークは、より高い誤差にもかかわらず、より豊かな構造的情報を捉える。

実世界データ（CIFAR-10, MNIST）

• ラベルノイズ：ラベルノイズ（逆 SNR）を導入すると、汎化誤差が増加し、表現の整合性が低下する。
• サンプルサイズ：サンプルサイズと整合性の間の非単調な関係は維持され、補間閾値付近で最小値となる。
• 一貫性：これらの知見は、合成線形設定から、標準的なアーキテクチャを用いた複雑な実世界分類タスクへと拡張される。

意義と主張

本論文は、整合性が汎化性能から分離された、データ品質と量に対する非自明な依存性を提供すると主張する。CCE を導入することで、著者は従来の線形指標（CKA、SVCCA）が失敗するか、偽の類似性を報告する可能性のある、高度に曲がった多様体上の整合性を捉えることのできる指標を提供する。

核心的な意義は、より良いタスク性能がより良い、あるいはより整合性の取れた内部表現を意味するという仮定に挑戦することにある。著者は以下を主張する：

• タスク性能は表現の質の十分代理指標ではない。あるネットワークが特定のタスクにおいて他を凌駕しても、構造的または情報的に少ない内部表現を符号化し得る。
• 整合性は「良い」学習の普遍的指標ではない。整合性を駆動するメカニズム（SNR、サンプルサイズ）は、特定の領域において汎化誤差を駆動するメカニズムとは独立して作用する。

これらの知見は、独立して訓練されたネットワークが構造的に類似した内部表現に収束する具体的な条件（次元に対する SNR とサンプルサイズ）を特定することで、表現学習の原理的な理論の構築に貢献する。この研究は、表現の「プラトニック」な収束は保証されるものではなく、データの統計的性質と訓練領域によって厳密に支配されることを示唆している。