Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy

問題提起

現代のニューラルネットワークは通常、過剰パラメータ化されており、ターゲットとなる入出力関係を符号化するために厳密に必要なものよりもはるかに多くの隠れユニットを保有している。このことは、ネットワークの内部組織に関する根本的な問いを投げかける。すなわち、どのニューロンが予測性能にとって不可欠であり、タスクのラベルや勾配にアクセスすることなく、この区別を特定できるのか、という問いである。効率性と解釈可能性に関する既存のアプローチは、多くの場合、教師あり信号（例：重みの大きさ、サリエンシー、または勾配ベースのスコア）やランダムなプルーニング戦略に依存している。著者らは、隠れ表現自体の統計的構造が、特定のタスクの損失とは独立して、どのユニットが機能的に重要であるかを符号化している可能性があると仮定している。

手法

著者らは、ニューロン選択を**粗視化（coarse-graining: CG）**問題として定式化している。フィードフォワードネットワークの隠れ層は、微視的な構成空間として扱われる。粗視化された記述は、全幅 $K$ のうち $n_{cg}$ 個のニューロンのサブセットを保持することによって定義され、これにより隠れ層を実質的に削減（デシメーション）する。

特定のサブセット（マッピング）の品質を評価するために、著者らは**マッピングエントロピー（Mapping Entropy: ME）**最適化ワークフロー（MEOW）を採用している。

1. バイナリ構成: 連続的な隠れ活性化は、その符号（$s_i = \text{sign}(h_i)$）によってバイナリ構成 $\phi$ として二値化される。この保守的な選択は、恣意的なビン分割を避け、堅牢性を確保する。
2. マッピングエントロピー ($S_{map}$): 微視的な構成 $\phi$ を減少した構成 $\Phi$ へ投影する与えられたマッピング $M$ に対して、MEは、元の経験的分布 $p(\phi)$ と、逆写像された分布 $\bar{p}_M(\phi)$ との間のカルバック・ライブラー（KL）ダイバージェンスとして定義される。逆写像された分布は、減少した状態の確率を、互換性のあるすべての微視的状態に一様に再分配することによって構築される。
   $$S_{map}(M) = \sum_{\phi} p(\phi) \log \frac{p(\phi)}{\bar{p}_M(\phi)}$$
   $S_{map}$ が低いことは、減少した表現が元のアンサンブルの統計的な識別可能性をより多く保持していることを示す。
3. 最適化: 目標は、$S_{map}$ を最小化するニューロンのサブセットを見つけることである。小さな隠れ層については全探索によって行われ、より大きな層については、EXCOGITOソフトウェアを用いた確率的シミュレーテッドアニーリングが用いられる。

実験設定

本研究では、以下の3つの異なるシナリオにおいてMEOW基準を評価している。

1. 教師・生徒（Teacher-Student: TS）システム: 「生徒」ネットワーク（幅 $K$）が「教師」ネットワーク（幅 $M < K$）から学習する制御された設定。生徒の隠れユニットは、調整可能なミスマッチパラメータ $\eta$ を持つ教師ユニットの複製として解析的に構築されるか、オンラインで訓練される。これにより、生徒のニューロンと教師の特徴との間のアライメントを明示的に監視することが可能になる。
2. 非線形ガウス過程（Non-Linear Gaussian Process: NLGP）: 合成されたバイナリ分類タスクであり、隠れニューロンは、局在型（localised）（特定の入力に重みが集中している）と振動型（oscillatory）（広範で交互の符号を持つプロファイル）という2つの明確な機能クラスへと自発的に組織化される。これは、明示的な複製なしに不均一性を検出する手法の能力をテストするものである。
3. MNIST バイナリ分類: 1と7の数字を用いた、平行移動拡張を伴う単一層ネットワークを用いた実用的なベンチマーク。

主な結果

1. 教師・生徒システムにおける最小表現の回復
生徒ニューロンが教師ニューロンの完全なコピーである正確な複製極限（$\eta=0$）において、MEの最小化は、すべての教師モードに対して完全にバランスの取れた（$\Delta = 1$）サイズ $n_{cg} = M$ のサブセットを選択する。これは、MEがタスクのラベルや勾配を使用することなく、隠れ活性化の統計のみを用いて、最小の教師整合的表現を特定できることを示している。
ミスマッチ（$\eta > 0$）が導入されると、維持すべき最適な $n_{cg}$ は増加する。著者らは、このシフトを隠れ層の残留変動の定量化として解釈している。すなわち、レプリカが統計的に区別可能になるにつれ、追加の情報を解決するためにより多くのニューロンを保持しなければならなくなる。訓練されたネットワークでは、有効なミスマッチ $\eta_{eff}$ は時間の経過とともに減少し、MEによって選択されたサブセットもそれに応じて進化し、現在のアライメントレベルに対応するバランスの取れたマッピングを一貫して回復する。

2. NLGPにおける機能クラスの検出
NLGPタスクにおいて、隠れニューロンは局在型と振動型のクラスに分かれる。MEの最小化は、ランダムな混合を選択するのではなく、単一の表現クラスから抽出されたコヒーレントなマッピングを選択する。

• 学習初期: 最適なマッピングは、ほぼ排他的に局在型ニューロンで構成されている。
• 学習後期: 学習が進むにつれて、ランドスケープが変化する。より大きなサブセットサイズでは、最適なマッピングは振動型ニューロンが支配的なものへと遷移する。
• Wang-Landau サンプリング: 状態密度（DoS）の分析により、MEの最小値は、混合領域ではなく、マッピング空間の端（純粋な局在型または純粋な振動型）に位置することが確認された。この手法は、学習中の「好ましい」表現モードの進化を正常に追跡している。

3. 減少したネットワークの予測性能
選択されたサブセットの機能的重要性が、ネットワークをプルーニングし、出力バイアスのみを再最適化することによって検証された。

• NLGP: MEによって選択されたサブセットは、同サイズのランダムなサブセットよりも一貫して優れた性能を示した。これは、特に強力な圧縮領域（例：30個のうち8〜12個を保持する場合）において顕著であった。この優位性は、サブセットのサイズが全層幅に近づくにつれて減少する。
• MNIST: 平行移動拡張を伴うMNISTタスクにおいても同様の結果が得られた。MEによって選択されたサブセットは、小さい、あるいは中程度の $n_{cg}$ において、ランダムなサブセットよりも系統的に高い精度を達成しており、構成的な識別可能性の保持が予測性能の保持へとつながることを示した。

意義と主張

本論文は、マッピングエントロピーの最小化が、情報の多いサブセットを特定するための厳密に教師なしの基準を提供すると主張している。

• 教師なしの性質: 重みの大きさや勾配に基づくプルーニング手法とは異なり、MEは隠れ活性化の統計的構造のみに依存する。これは、ラベルや損失関数へのアクセスを必要としない。
• 性能との関連性: 本研究は、情報理論的な最適性（識別可能性の損失の最小化）と予測性能との間の具体的な結びつきを確立している。MEによって選択されたサブネットワークは、ランダムなものよりも強い圧縮下での劣化が少ない。
• 解釈可能性: この手法は、ネットワークの内部組織を明らかにするためのプローブとして機能し、機能的な不均一性（NLGPにおける異なるニューロンクラスなど）や、学習中の表現の進化を明らかにすることができる。
• 相補性: 著者らは、MEOWを標準的な教師ありプルーニング技術に対する相補的なアプローチとして位置づけており、タスク固有の信号ではなく、データの表現の固有の幾何学に基づいた重要なユニットを特定する方法を提供している。

本論文は、構成的な識別可能性の保持が、タスクに関連する情報を保持するための堅牢なプロキシ（代理指標）であることを結論付けており、隠れ層の統計的構造自体が、どのユニットが機能的に重要であるかを符号化していることを示唆している。