OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

Resumen Técnico: OUI como Observable Estructural

Enunciado del Problema
Los diagnósticos actuales del entrenamiento de redes neuronales dependen en gran medida de métricas externas como la pérdida, la precisión y la calibración final. Estas métricas suelen ser tardías, comprimen la narrativa interna del entrenamiento y no logran revelar los regímenes estructurales específicos en los que entra un modelo durante el proceso de aprendizaje. Si bien las funciones de activación son la fuente del poder expresivo de una red —permitiendo la partición del espacio de entrada en regiones funcionales distintas mediante patrones de activación—, los diagnósticos estándar rara vez monitorean la evolución de estas estructuras internas. Esta brecha conduce a búsquedas costosas de hiperparámetros, detección tardía de fallos y una falta de interpretabilidad en la dinámica del entrenamiento.

Metodología y Definición
El artículo se centra en el Indicador de Sobreajuste-Subajuste (OUI), redefinido aquí como un observable estructural de la dinámica de aprendizaje. Los autores adoptan una formulación basada en lotes (Fernández-Hernández et al., 2026) para monitorear el entrenamiento en línea:

1. Enmascaramiento de Activación: Para una capa $l$ con $d_l$ unidades y un lote $B_t$, se define una máscara binaria $m^{(l)}_{b,n}(t)$ para cada neurona $n$ y muestra $x_b$, indicando si la preactivación es positiva.
2. Conteo de Activación: Para cada neurona, se calcula el conteo $s^{(l)}_n(t)$ de muestras activas en el lote.
3. Conteo de Minoría: Se calcula la métrica $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$. Este valor es alto cuando una neurona divide el lote de manera equilibrada y bajo cuando la neurona está consistentemente encendida o apagada (sesgada).
4. Cálculo del OUI: El OUI para el módulo es el promedio de estos conteos de minoría normalizado por $\lfloor B/2 \rfloor$.

Operacionalmente, un OUI alto indica que muchas unidades están particionando el lote de prueba de manera equilibrada, reflejando una rica estructura de activación interna. Un OUI bajo sugiere que el módulo se ha vuelto sesgado, con unidades comportándose uniformemente ante las entradas.

Resultados Clave y Evidencia
El artículo sintetiza evidencia de tres dominios distintos para demostrar la utilidad del OUI como una señal temprana y libre de etiquetas:

• Aprendizaje Supervisado (Regularización): En experimentos con DenseNet-BC-100 en CIFAR-100, las trayectorias del OUI se separaron temprano (alrededor del 15% del entrenamiento) para diferentes valores de decaimiento de pesos. Los valores altos de OUI se correlacionaron con una mejor generalización, mientras que los valores bajos anticiparon regímenes de subajuste o sobreajuste antes de que las métricas de validación estándar pudieran distinguirlos.
• Aprendizaje por Refuerzo (Actor-Crítico PPO): Reformulado para PPO, el OUI discriminó con éxito entre regímenes de tasa de aprendizaje al inicio del entrenamiento. Crucialmente, el artículo observa una asimetría estructural: los críticos óptimos ocupan una banda intermedia de OUI, mientras que los actores fuertes tienden a operar con valores de OUI más altos. Esto sugiere que el régimen estructural "bueno" depende del contexto.
• Convergencia de Patrones de Activación: Citando trabajo reciente (Pérez-Corral et al., 2026), el artículo señala que los patrones de activación a menudo se estabilizan significativamente antes que las actualizaciones de parámetros. En el entrenamiento de ViT-B16, las métricas de convergencia de activación se saturaron mientras la pérdida seguía mejorando, apoyando una visión de dos escalas temporales donde las redes refinan los pesos dentro de regímenes de activación estables.

Contribuciones
La contribución principal de este artículo no es un nuevo algoritmo, sino una reencuadre conceptual y síntesis de la evidencia existente:

1. Observable Estructural: El artículo argumenta que el OUI debe entenderse como el primer observable práctico de la dimensión estructural interna del aprendizaje, en lugar de ser meramente una heurística para el ajuste de hiperparámetros.
2. Visión Centrada en la Activación: Propone una "teoría centrada en la activación de la dinámica de entrenamiento", postulando que las estructuras internas de activación se vuelven informativas y accionables antes de la convergencia, ofreciendo una dimensión del entrenamiento no capturada por las métricas de punto final.
3. Síntesis de Evidencia: Unifica hallazgos en aprendizaje supervisado, aprendizaje por refuerzo y control en línea para mostrar un patrón recurrente: los observables basados en activación pueden revelar el destino de una ejecución de entrenamiento tempranamente.
4. Dirección de Investigación: Identifica preguntas abiertas necesarias para avanzar en esta visión, incluyendo la "estructura de fase" del entrenamiento (organización estructural temprana frente a refinamiento tardío), la "adecuación" de los regímenes de activación en relación con roles y tareas específicos, y la conexión teórica entre estos observables y nociones formales de estabilidad y generalización.

Significado y Afirmaciones
El artículo afirma que ver el OUI como un observable estructural desplaza la perspectiva del entrenamiento de monitorear resultados externos tardíos a monitorear la organización estructural interna. Esto tiene implicaciones prácticas inmediatas para la detección temprana en el preentrenamiento de modelos fundacionales, donde los fallos en etapas tardías son costosos. Además, sugiere un cambio en el control funcional, permitiendo que el entrenamiento se regule mediante señales más cercanas a lo que la red está haciendo funcionalmente con los datos, en lugar de solo a lo que el optimizador está haciendo con los parámetros.

Los autores mantienen una postura modesta, reconociendo que el OUI es actualmente un "punto de apoyo empírico" hacia una teoría más amplia. Señalan limitaciones, como la definición natural del OUI para patrones tipo ReLU y el riesgo de confusiones por bucles de retroalimentación si se utiliza como señal de control en línea. El artículo concluye que si el cambio de ver las activaciones como subproductos ocultos a objetos explícitos de estudio se sostiene, una teoría centrada en la activación del entrenamiento se convierte en un paso necesario para comprender cómo aprenden las redes neuronales.