OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

技术摘要：OUI 作为结构可观测量

问题陈述
当前的神经网络训练诊断严重依赖外部指标，如损失、准确率和最终校准。这些指标往往具有滞后性，压缩了训练的内部叙事，且无法揭示模型在学习过程中进入的具体结构机制。尽管激活函数是网络表达能力的来源——通过激活模式将输入空间划分为不同的功能区域——但标准诊断很少监测这些内部结构的演变。这一差距导致了昂贵的超参数搜索、故障的延迟检测，以及对训练动态缺乏可解释性。

方法论与定义
本文的核心是过拟合 - 欠拟合指示器（OUI），在此被重新定义为学习动态的结构可观测量。作者采用基于批次的公式（Fernández-Hernández 等人，2026）来在线监控训练过程：

1. 激活掩码：对于具有 $d_l$ 个单元的第 $l$ 层和一个批次 $B_t$，为每个神经元 $n$ 和样本 $x_b$ 定义一个二元掩码 $m^{(l)}_{b,n}(t)$，指示预激活是否为正。
2. 激活计数：对于每个神经元，计算批次中激活样本的计数 $s^{(l)}_n(t)$。
3. 少数计数：计算指标 $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$。当神经元以平衡方式分割批次时，该值较高；当神经元持续处于开启或关闭状态（有偏）时，该值较低。
4. OUI 计算：模块的 OUI 是这些少数计数的平均值，并归一化除以 $\lfloor B/2 \rfloor$。

在操作上，高 OUI 表明许多单元以平衡的方式分割探测批次，反映了丰富的内部激活结构。低 OUI 则表明模块已变得有偏，单元在不同输入下表现一致。

关键结果与证据
本文综合了三个不同领域的证据，以证明 OUI 作为早期、无标签信号的有效性：

• 监督学习（正则化）：在 CIFAR-100 上的 DenseNet-BC-100 实验中，OUI 轨迹在不同权重衰减值下很早就（约在训练的 15% 左右）出现分离。高 OUI 值与更好的泛化能力相关，而低值则在标准验证指标能够区分之前，就预示了欠拟合或过拟合机制。
• 强化学习（PPO 演员 - 评论家）：经重新表述用于 PPO 后，OUI 在训练早期成功区分了不同的学习率机制。关键的是，论文观察到一种结构不对称性：最优评论家占据中间的 OUI 带，而强大的演员倾向于在更高的 OUI 值下运行。这表明“良好”的结构机制是依赖于上下文的。
• 激活模式收敛：引用近期工作（Pérez-Corral 等人，2026），论文指出激活模式往往比参数更新更早显著稳定。在 ViT-B16 训练中，激活收敛指标已饱和，而损失仍在改善，这支持了一种双时间尺度观点，即网络在稳定的激活机制内细化权重。

贡献
本文的主要贡献并非新算法，而是对现有证据的概念重构与综合：

1. 结构可观测量：论文主张，OUI 应被理解为学习内部结构维度的首个实用可观测量，而不仅仅是超参数调整的启发式方法。
2. 以激活为中心的观点：它提出了一种“训练动态的以激活为中心理论”，认为内部激活结构在收敛之前就变得具有信息量和可操作性，提供了一个端点指标无法捕捉的训练维度。
3. 证据综合：它统一了监督学习、强化学习和在线控制领域的发现，展示了一种重复出现的模式：基于激活的可观测量可以早期揭示训练运行的命运。
4. 研究方向：它指出了推进这一观点所必需的开放性问题，包括训练的“相结构”（早期结构组织与晚期细化）、激活机制相对于特定角色和任务的“充分性”，以及这些可观测量与稳定性和泛化的形式概念之间的理论联系。

意义与主张
论文主张，将 OUI 视为结构可观测量，将训练视角从监控滞后的外部结果转变为监控内部结构组织。这对基础模型预训练中的早期筛选具有直接的实践意义，因为在后期阶段失败的成本高昂。此外，它暗示了功能控制的转变，允许训练由更接近网络对数据实际执行功能的信号来调节，而不仅仅是优化器对参数执行的操作。

作者保持谦逊的立场，承认 OUI 目前只是通向更广泛理论的“经验立足点”。他们指出了局限性，例如 OUI 对类 ReLU 模式的自然定义，以及如果将其用作在线控制信号时可能存在的反馈回路混淆风险。论文总结道，如果将激活视为隐藏副产品转变为显式研究对象的转变成立，那么以激活为中心的训练理论将成为理解神经网络如何学习的必要步骤。