OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

技術的サマリー：OUI を構造的観測量として

問題定義
現在のニューラルネットワークの学習診断は、損失、精度、最終的な較正などの外部指標に大きく依存している。これらの指標は往々にして遅延しており、学習の内部の物語を圧縮してしまい、学習過程においてモデルが進入する特定の構造的レジームを明らかにできない。活性化関数は、活性化パターンを通じて入力空間を異なる機能領域に分割することを可能にすることで、ネットワークの表現力を生み出す源泉であるが、標準的な診断ではこれらの内部構造の進化をほとんど監視していない。このギャップは、高価なハイパーパラメータ探索、失敗の遅れた検出、学習ダイナミクスに関する解釈性の欠如をもたらす。

手法と定義
本論文は、学習ダイナミクスにおける構造的観測量として再定義された「過学習・未学習指標（OUI）」を中心に据える。著者らは、学習をオンラインで監視するためのバッチベースの定式化（Fernández-Hernández et al., 2026）を採用する：

1. 活性化マスキング: $d_l$ 個のユニットを持つ層 $l$ とバッチ $B_t$ に対して、各ニューロン $n$ とサンプル $x_b$ に対し、事前活性化が正であるかどうかを示す二値マスク $m^{(l)}_{b,n}(t)$ を定義する。
2. 活性化カウント: 各ニューロンについて、バッチ内の活性サンプル数 $s^{(l)}_n(t)$ を計算する。
3. マイノリティカウント: 指標 $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$ を計算する。この値は、ニューロンがバッチをバランスよく分割している場合に高く、ニューロンが一貫してオンまたはオフ（偏っている）場合に低くなる。
4. OUI 計算: モジュールの OUI は、これらマイノリティカウントを $\lfloor B/2 \rfloor$ で正規化した平均である。

実用的には、高い OUI は多くのユニットがプローブバッチをバランスよく分割していることを示し、豊かな内部活性化構造を反映する。低い OUI は、ユニットが入力に対して均一に振る舞う偏った状態になったことを示唆する。

主要な結果と証拠
本論文は、OUI がラベル不要の早期シグナルとしての有用性を示すために、3 つの異なるドメインからの証拠を統合する：

• 教師あり学習（正則化）: CIFAR-100 における DenseNet-BC-100 の実験において、OUI の軌跡は異なる重み減衰値に対して学習の早期（約 15% 時点）で分かれた。高い OUI 値は良い汎化性能と相関し、低い値は標準的な検証指標がそれらを区別する前に未学習または過学習のレジームを予見した。
• 強化学習（PPO Actor-Critic）: PPO 向けに再定式化された OUI は、学習の早期に学習率レジーム間を成功裏に識別した。重要なことに、論文は構造的な非対称性を観察している：最適なクリティックは中間的な OUI 帯域を占有するのに対し、強力なアクターはより高い OUI 値で動作する傾向がある。これは、「良い」構造的レジームが文脈に依存することを示唆している。
• 活性化パターンの収束: 最近の研究（Pérez-Corral et al., 2026）を引用し、論文は活性化パターンがパラメータの更新よりもはるかに早く安定化することが多いと指摘する。ViT-B16 の学習において、活性化収束指標は飽和した一方で損失は改善を続けた。これは、ネットワークが安定した活性化レジーム内で重みを洗練させるという、2 つの時間スケールを持つ見方を支持している。

貢献
本論文の主な貢献は新しいアルゴリズムではなく、既存の証拠の概念的再構成と統合にある：

1. 構造的観測量: 論文は、OUI を単なるハイパーパラメータ調整のためのヒューリスティックではなく、学習の内部構造的次元の最初の実用的な観測量として理解すべきであると主張する。
2. 活性化中心の視点: 内部活性化構造は収束以前に情報的かつ実行可能になるという「学習ダイナミクスに関する活性化中心の理論」を提案する。これは、終点指標では捉えられない学習の次元を提供する。
3. 証拠の統合: 教師あり学習、強化学習、オンライン制御にわたる知見を統合し、反復的なパターンを示す：活性化ベースの観測量は、学習実行の運命を早期に明らかにしうる。
4. 研究の方向性: 学習の「位相構造」（早期の構造化対後期の洗練）、特定の役割やタスクに対する活性化レジームの「適切性」、そしてこれらの観測量と安定性および汎化の形式的概念との理論的接続など、この見方を進展させるために必要な未解決の課題を特定する。

意義と主張
論文は、OUI を構造的観測量として見ることで、学習の視点が遅延した外部結果の監視から、内部構造的組織の監視へと移行すると主張する。これは、後期段階での失敗が高コストとなる基盤モデルの事前学習における早期スクリーニングにとって、即座に実用的な含意を持つ。さらに、これは機能的制御の転換を示唆しており、学習を最適化器がパラメータに対して行っていることではなく、ネットワークがデータに対して機能的に行っていることに近いシグナルによって規制することを可能にする。

著者らは謙虚な立場を維持し、OUI は現在、より広範な理論への「経験的な足がかり」であると認めている。ReLU 様のパターンに対する OUI の自然な定義や、オンライン制御シグナルとして使用される場合のフィードバックループの交絡のリスクといった限界を指摘している。論文は、活性化を隠れた副産物から研究の明示的な対象へと見るという転換が成り立つならば、活性化中心の学習理論がニューラルネットワークがどのように学習するかを理解するための必須のステップとなると結論づけている。