Exploding and vanishing gradients in deep neural networks: the effect of residual connections

Resumen Técnico: Gradientes Explosivos y Desvanecientes en Redes Neuronales Profundas

Planteamiento del Problema
El artículo aborda el fenómeno bien documentado de los gradientes explosivos y desvanecientes en Redes Neuronales Profundas (DNN). Durante el entrenamiento mediante el descenso de gradiente estocástico (SGD), los gradientes en ciertas direcciones pueden desvanecerse asintóticamente (decaer a cero) o explotar (crecer sin límite en norma). Mientras que la literatura existente ofrece diversas explicaciones y esquemas de mitigación, este trabajo tiene como objetivo proporcionar una caracterización matemática precisa de este fenómeno y del efecto estabilizador de las conexiones residuales (ResNets) utilizando la teoría ergódica multiplicativa y los exponentes de Lyapunov.

Metodología
El autor, Vivek S. Borkar, reformula la DNN como un sistema dinámico de tiempo discreto para aplicar herramientas de la dinámica no lineal.

1. Formulación del Sistema Dinámico: Una DNN que consta de $N$ bloques de alimentación hacia adelante se modela como una composición de funciones $f^N_{\beta^N} = f_{\beta_N} \circ \dots \circ f_{\beta_1}$. El mapa de entrada-salida se trata como la iteración de un sistema dinámico $x_{n+1} = f_{\beta_n}(x_n)$.
2. Linealización: El comportamiento de los gradientes se analiza a través de las matrices Jacobianas de estos mapas. El producto de los Jacobianos a lo largo de la profundidad de la red corresponde a la evolución de un sistema dinámico lineal impulsado por matrices aleatorias.
3. Teoría Ergodica Multiplicativa: La herramienta analítica central es el teorema de Furstenberg-Kifer [8]. A diferencia de otros trabajos que aplican la teoría ergódica multiplicativa de manera más amplia, este artículo utiliza la caracterización exacta de los exponentes de Lyapunov proporcionada por Furstenberg y Kifer. Esto implica:
   • Definir el problema en el espacio proyectivo $P^{d-1}$.
   • Analizar el conjunto de medidas estacionarias (medidas $\mu$-estacionarias) para una cadena de Markov inducida por las matrices aleatorias en el espacio proyectivo.
   • Caracterizar el espectro de Lyapunov ($\gamma_i(\mu)$) como los valores discretos tomados por la integral $\alpha(\mu, \nu) = \int \int \log(\|Au\|) \mu(dA)\nu(du)$ sobre estas medidas estacionarias.

Contribuciones Clave y Resultados
La contribución principal es la aplicación de la caracterización de Furstenberg-Kifer para derivar una declaración precisa respecto al espectro de Lyapunov de las DNN y el impacto específico de las conexiones residuales.

• Marco Teórico: El artículo establece que el espectro de Lyapunov de una DNN puede describirse mediante una descomposición de suma directa del espacio de estados y una secuencia de subespacios invariantes, determinados por las medidas estacionarias de una cadena de Markov asociada en el espacio proyectivo.
• Análisis de Conexiones Residuales: El artículo modela una conexión residual como una transformación donde el mapa $x \mapsto f_{\beta}(x)$ es reemplazado por $x \mapsto x + f_{\beta}(x)$.
• Teorema Principal (Teorema 4.1): El artículo demuestra que el espectro de Lyapunov bajo una conexión residual es una "perturbación menor" del espectro de la matriz identidad (que corresponde a un espectro de todos 1s) en comparación con una red sin conexiones residuales.
  • Mecanismo: La demostración utiliza argumentos geométricos en el espacio proyectivo. Demuestra que para un vector $\hat{u}$, el mapeo $(I+A)\hat{u}$ resulta en una dirección que es geométricamente más cercana a la dirección original $\hat{u}$ que la dirección resultante de $A\hat{u}$ por sí sola.
  • Implicación: Esta proximidad geométrica implica que la integral de la tasa de crecimiento logarítmico (el exponente de Lyapunov) se reduce en magnitud cuando las conexiones residuales están presentes. Específicamente, la diferencia entre el crecimiento esperado del log-norma con y sin el término de identidad es negativa, lo que indica un efecto estabilizador.

Significancia y Reivindicaciones
El artículo afirma ofrecer una "perspectiva diferente" sobre el problema de los gradientes explosivos/desvanecientes al ir más allá de las explicaciones cualitativas hacia una "manera matemática precisa" utilizando geometría proyectiva y el teorema de Furstenberg-Kifer.

• Precisión: El trabajo se distingue de estudios previos (como [13], [6] y [3]) al utilizar la caracterización exacta del espectro de Lyapunov para "fijar" el efecto de las conexiones residuales con mayor detalle.
• Estabilización Cuantitativa: El resultado proporciona una explicación cuantificable para la observación empírica de que las ResNets son más fáciles de entrenar: las conexiones residuales mantienen matemáticamente los exponentes de Lyapunov más cerca de cero (o del espectro de la identidad), evitando el crecimiento o decaimiento extremo de los gradientes.
• Alcance y Limitaciones: El autor señala que el análisis depende de supuestos específicos, incluyendo la existencia de un estado límite $x_\infty$ (Supuesto 2) y condiciones de integrabilidad en las normas de las matrices (Supuesto 1). El artículo reconoce que el modelo es estilizado (por ejemplo, asumiendo activaciones suaves en lugar de ReLU y dimensiones constantes), pero el mecanismo demostrado es plausible. Los autores afirman que extender estos resultados a la plena generalidad (por ejemplo, activaciones no suaves, dimensiones variables) requiere matemáticas más sofisticadas y es una tarea para trabajos futuros.

En resumen, el artículo argumenta que las conexiones residuales funcionan al restringir geométicamente la evolución de las direcciones de los gradientes en el espacio proyectivo, manteniendo así el espectro de Lyapunov del producto Jacobiano de la red más cerca del espectro de la matriz identidad, lo que explica matemáticamente la mitigación de los gradientes explosivos y desvanecientes.