How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

Resumen Técnico: Control de la Varianza para Mejorar la Estabilidad del Entrenamiento de DNNs y CNNs de Activación Dispersa

Planteamiento del Problema
El entrenamiento de Redes Neuronales Profundas (DNNs) y Redes Neuronales Convolucionales (CNNs) con funciones de activación que inducen altos grados de dispersión (por ejemplo, del 85% al 90%) presenta desafíos significativos de inicialización. La teoría tradicional del Borde del Caos (EoC, por sus siglas en inglés), que caracteriza las capas intermedias como procesos gaussianos para asegurar una propagación de información estable, asume típicamente que las activaciones son aproximadamente lineales alrededor del origen. En este régimen, la teoría EoC suele abogar para que la varianza del punto fijo de la distribución de pre-activación, $q^*$, converja a cero o a un valor pequeño no nulo para lograr isometría dinámica.

Sin embargo, para las activaciones que inducen dispersión donde $\phi(z) = 0$ para $|z| \leq \tau$ (una región cerca del origen), la suposición de linealidad falla. Un trabajo previo [1] demostró que las estrategias de inicialización estándar de EoC suelen conducir a la inestabilidad del entrenamiento en estos entornos. La inestabilidad surge porque la varianza empírica de las capas ocultas, $\tilde{q}^{(\ell)}$, fluctúa estocásticamente alrededor del punto fijo teórico $q^*$. En ausencia de linealidad cerca del origen, estas fluctuaciones pueden causar que la perturbación multiplicativa de los errores (gobernada por $\chi_1$) se acumule exponencialmente con la profundidad, provocando la explosión de gradientes o un colapso de la expresividad de la red.

Metodología
Los autores extienden la teoría EoC al entorno de las activaciones que inducen dispersión, analizando específicamente la función ejemplar $CReLU_{\tau,m}$ (y funciones relacionadas como $CST_{\tau,m}$, $HardShrink$y$Sawtooth$). La metodología central consiste en tratar la varianza del punto fijo $q^*$ no meramente como un parámetro derivado, sino como un hiperparámetro ajustable.

El análisis teórico se centra en tres métricas de control que determinan la estabilidad del entrenamiento en el límite de ancho infinito:

1. Simetría del Mapa de Varianza: Los autores analizan la segunda derivada de la función de mapeo de la varianza, $V''(q^*)$. Un $V''(q^*)$ grande indica una pérdida de simetría alrededor del punto fijo, lo que provoca que la varianza empírica $\tilde{q}^{(\ell)}$ derive de forma asimétrica.
2. Corrección de Dimensión Finita: Utilizando una expansión de serie infinita para redes de ancho finito, los autores derivan cotas para el término de corrección de orden siguiente, $\tilde{q}^{(1)}$. Este término representa la desviación del límite gaussiano de ancho infinito.
3. Sensibilidad de $\chi_1$: Los autores examinan la derivada del factor de perturbación multiplicativa, $\chi'_{1,\phi}(q^*)$, con respecto a la varianza $q$. Una alta sensibilidad implica que pequeñas fluctuaciones estocásticas en la varianza de la capa provocan grandes cambios en la propagación del error.

La estrategia de inicialización propuesta consiste en aumentar explícitamente $q^*$ (por ejemplo, de 1 a 2 o 3) y ajustar los parámetros de activación ($\tau, m$) y las varianzas de peso/sesgo ($\sigma_w^2, \sigma_b^2$) para satisfacer las condiciones de EoC ($\chi_1(q^*) = 1$ y $q^* = V(q^*)$) en este nuevo y mayor punto fijo.

Contribuciones Clave

1. Identificación de un Nuevo Fenómeno: El artículo identifica un fenómeno contraintuitivo donde, para activaciones que se anulan cerca del origen, aumentar la varianza del punto fijo $q^*$ mejora la estabilidad del entrenamiento. Esto contrasta con los enfoques tradicionales de EoC que buscan $q^* \to 0$.
2. Caracterización Teórica: Los autores demuestran que aumentar $q^*$ mejora simultáneamente:
   • La simetría del mapa de varianza $V(q)$ alrededor del punto fijo (reduciendo $V''(q^*)$).
   • Estrecha la cota del término de corrección de dimensión finita $\tilde{q}^{(1)}$, haciendo que el comportamiento de ancho finito sea más cercano al límite gaussiano de ancho infinito.
   • Reduce la sensibilidad del factor de propagación de error $\chi_1$ a las fluctuaciones en la varianza de la capa (reduciendo $\chi'_{1,\phi}(q^*)$).
3. Esquema de Inicialización Práctico: Se proporciona un procedimiento de inicialización concreto para activaciones que dispersan. Este esquema permite el entrenamiento de redes con hasta un 90% de dispersión en las capas ocultas, un régimen previamente difícil de estabilizar.

Resultos Experimentales
Los autores validan su teoría mediante experimentos en DNNs (100 capas, ancho 300) y CNNs (50 capas, 300 canales) entrenadas en MNIST, CIFAR10 y Tiny ImageNet utilizando activaciones $CReLU_{\tau,m}$.

• Estabilidad y Precisión: Para niveles de dispersión altos ($s=0.85$ y $s=0.9$), las redes inicializadas con $q^*=1$ a menudo fallaban en entrenar o exhibían una alta sensibilidad a la elección del parámetro de pendiente $V'(q^*)$. Aumentar $q^*$ a 2 o 3 redujo significativamente esta sensibilidad y restauró la estabilidad del entrenamiento.
• Desempeño: En casos donde $q^*=1$ resultó en una precisión baja (por ejemplo, 11% para DNNs con $s=0.9$), aumentar $q^*$ a 3 recuperó la precisión a niveles cercanos al máximo (por ejemplo, 89%).
• Convergencia: Las curvas de pérdida de entrenamiento y precisión de validación mostraron una convergencia más rápida para valores de $q^*$ más altos, particularmente en regímenes de alta dispersión.
• Eficiencia: El artículo incluye una implementación de kernel CUDA personalizada que demuestra que la dispersión inducida genera aceleraciones computacionales (hasta ~2.9x) y reducciones de energía, validando la utilidad práctica de la dispersión.

Significado y Reivindicaciones
El artículo sostiene que la varianza del punto fijo $q^*$ es un parámetro crítico, aunque previamente poco explorado, para controlar la dinámica de entrenamiento de redes con activación dispersa. Al revisar el marco de EoC para activaciones no lineales que son cero cerca del origen, los autores demuestran que un ajuste simple —aumentar $q^*$— puede superar la inestabilidad inherente en los regímenes de alta dispersión.

Los autores señalan modestamente que sus resultados dependen de la suposición del límite de ancho infinito y se demuestran principalmente en arquitecturas de prueba profundas (DNNs y CNNs) en lugar de modelos de producción optimizados. Expresan explícitamente que las extensiones a Transformers y modelos de Espacio de Estados no están cubiertas debido a diferencias arquitectónicas (por ejemplo, las conexiones de salto que niegan la dispersión de la activación) y líneas de análisis separadas. Sin embargo, el trabajo proporciona una base teórica y una prueba de concepto empírica para permitir el entrenamiento estable de redes con dispersión de activación extrema (hasta el 90%), desbloqueando potencialmente eficiencias computacionales significativas sin sacrificar el desempeño del modelo.