📊 statistics

SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates

Este artículo establece garantías de convergencia ajustadas para el Descenso de Gradiente Estocástico (SGD) con tasas de aprendizaje elevadas en la pérdida de entropía cruzada multiclase, demostrando que la estocasticidad inherente permite que el algoritmo se autoestabilice y alterne entre oscilaciones en el borde de la estabilidad y un descenso controlado para asegurar la convergencia.

Autores originales: Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hacer rodar una pesada roca por una colina muy accidentada y sinuosa para llevarla hasta el fondo (la solución "perfecta"). En el mundo del aprendizaje automático, esta roca es tu modelo de IA, la colina es el "paisaje de pérdida" (un mapa de qué tan equivocado está el modelo) y el fondo es el punto donde el modelo comete la menor cantidad de errores.

Durante mucho tiempo, los científicos creyeron que tenías que empujar la roca con suavidad y cuidado. Si la empujabas demasiado fuerte (usabas una "tasa de aprendizaje grande"), la roca rebotaría contra las paredes, se saltaría el borde o se quedaría atrapada en un bucle, sin llegar nunca al fondo. Esta era la "teoría clásica".

Sin embargo, en la IA moderna, los ingenieros notaron algo extraño: si empujaban la roca muy fuerte, esta en realidad llegaba al fondo más rápido y, a veces, encontraba un lugar mejor que con los empujes suaves. Este fenómeno se llama "El Borde de la Estabilidad". Es como conducir un coche al límite absoluto de su tracción; el coche se tambalea y derrapa, pero aun así avanza.

El problema es que la mayor parte de las matemáticas que explican este "conducir tambaleante" fueron escritas para un mundo determinista (donde conoces exactamente cómo es la carretera). Pero en la vida real, la IA utiliza el Descenso de Gradiente Estocástico (SGD). Esto significa que la IA no ve toda la carretera a la vez; solo ve un pequeño parche aleatorio de la carretera (un "mini-lote") antes de decidir hacia qué dirección empujar. Esto añade ruido (aleatoriedad) a la mezcla.

Este artículo se pregunta: ¿Cómo afecta este ruido aleatorio al "conducir tambaleante" en el borde de la estabilidad? ¿Se estrella la IA, o encuentra una forma de estabilizarse a sí misma?

Aquí está lo que los autores descubrieron, explicado mediante analogías sencillas:

1. Los dos modos de conducción

Los autores descubrieron que, cuando utilizas una tasa de aprendizaje grande con ruido aleatorio, el viaje de la IA no es solo un caos desordenado. De hecho, cambia entre dos modos distintos:

La fase de "Derrape" (Borde de la Estabilidad): Imagina que la roca está siendo empujada tan fuerte que golpea un bulto y comienza a rebotar salvajemente. El error (qué tan lejos está del fondo) sube y baja. Parece inestable. En esta fase, la IA está dominada por la "curvatura" de la colina (los bultos).
La fase de "Deslizamiento" (Régimen Estable): Eventualmente, la IA entra en un ritmo. Aunque todavía se le empuja con fuerza, entra en una zona donde, en promedio, se está acercando al fondo. El error disminuye de forma constante.

2. La magia de la "Autoestabilización"

El hallazgo más sorprendente es cómo la IA maneja la aleatoriedad.

En un mundo perfecto y sin ruido, si empujas demasiado fuerte, podrías pasarte de largo y no volver jamás. Pero en el mundo real con ruido aleatorio, los autores demostraron que el SGD tiene un mecanismo de autocorrección integrado.

La Analogía: Imagina que estás caminando sobre una cuerda floja en medio de una tormenta de viento (el ruido). A veces, el viento te lanza fuera de la cuerda (la IA sale de la zona estable).
El Descubrimiento: Los autores muestran que, incluso si el viento te saca de la cuerda, la forma de la cuerda floja (la matemática de la pérdida de entropía cruzada) actúa como un imán. Te atrae de vuelta. Puedes darte un paso fuera de la cuerda algunas veces, pero siempre serás atraído de vuelta a ella en un número específico y predecible de pasos.
El Resultado: La IA no se estrella. Se tambalea, se sale brevemente de la "zona estable" debido al ruido aleatorio, pero luego se corrige inmediatamente y regresa a un camino seguro y estable. Esto sucede una y otra vez, pero a medida que la IA mejora (el error disminuye), pasa cada vez más tiempo en el camino estable y menos tiempo cayéndose de él.

3. Funciona tanto para modelos simples como complejos

Los autores no solo analizaron líneas rectas simples (clasificadores lineales). También analizaron redes neuronales de dos capas (un tipo básico de aprendizaje profundo).

Demostraron que incluso con la complejidad añadida de estas redes y el ruido aleatorio, las mismas reglas se aplican.
Identificaron "funciones de activación" específicas (los interruptores matemáticos dentro de la IA) que permiten que esta autoestabilización ocurra. Mostraron que las herramientas comunes utilizadas en la IA moderna (como GELU o Softplus) encajan perfectamente con estas reglas.

4. La prueba está en el resultado (Experimentos)

Para asegurarse de que sus matemáticas no eran solo teoría, realizaron experimentos con datos reales (como los dígitos escritos a mano de MNIST y las imágenes de CIFAR-10).

Entrenaron modelos de IA con tasas de aprendizaje enormes (mucho más grandes de lo que los libros de texto antiguos dicen que es seguro).
El Resultado: Los modelos no explotaron. En su lugar, la pérdida (error) cayó rápidamente. Los modelos se entrenaron más rápido y alcanzaron una alta precisión, confirmando que el "conducir tambaleante" en el borde de la estabilidad no solo es seguro, sino que a menudo es superior.

Resumen

Este artículo explica por qué la IA moderna funciona tan bien incluso cuando utilizamos tasas de aprendizaje "temerarias". Resulta que la aleatoriedad (ruido) en el proceso de entrenamiento no es solo un estorbo; interactúa con la forma del problema de una manera que crea un bucle de autoestabilización.

La IA puede tropezar y tambalearse en el borde de la estabilidad, pero tiene una red de seguridad invisible que la atrapa y la devuelve a un camino estable, permitiéndole converger a una gran solución más rápido de lo que lo haría si se condujera con cuidado y lentitud.

Resumen Técnico: SGD en el Borde de la Estabilidad: Estabilización Estocástica con Tasas de Aprendizaje Grandes

Planteamiento del Problema

El aprendizaje profundo moderno emplea rutinariamente tasas de aprendizaje significativamente más grandes de lo que justifica la teoría clásica de optimización convexa suave, un fenómeno conocido como el Borde de la Estabilidad (EoS, por sus siglas en inglés). Aunque el comportamiento de EoS del Descenso de Gradiente (GD) determinista ha sido analizado —caracterizado por una fase inicial de oscilaciones impulsadas por la curvatura seguida de una fase de autoestabilización donde la pérdida disminuye de forma monótona—, el entorno estocástico permanece en gran medida inexplorado.

En el Descenso de Gradiente Estocástico (SGD), la distinción entre las fluctuaciones estocásticas inofensivas (debidas al ruido de los mini-batches) y la inestabilidad genuina (debida a pasos grandes en relación con la curvatura) se desdibuja. La no monotonicidad de la pérdida en SGD puede surgir de cualquiera de estas fuentes, lo que hace que los umbrales de estabilidad deterministas clásicos (basados en el autovalor más grande del Hessiano) sean mal definidos o insuficientes. En consecuencia, falta una comprensión fundamentada de cómo se comporta el SGD bajo tasas de aprendizaje arbitrariamente grandes, particularmente para la pérdida de entropía cruzada multiclase. La pregunta central abordada es: ¿Cuál es la noción apropiada de estabilidad para el SGD con pérdida de entropía cruzada, y podemos caracterizar su dinámica más allá del régimen clásico de tasas de paso pequeñas?

Metodología

Los autores desarrollan un marco teórico para analizar el SGD aplicado a la pérdida de entropía cruzada multiclase en clasificadores lineales y redes neuronales de dos capas bajo un esquema de paso de tamaño arbitrario ( $\eta > 0$ ).

Estabilidad de Lyapunov Estocástica:
En lugar de depender de la monotonicidad puntual de la pérdida realizada (lo cual es imposible de garantizar en presencia de ruido), el artículo adopta un punto de vista de estabilidad de Lyapunov estocástica. La función de pérdida $L(W)$ es tratada como una función de Lyapunov. La estabilidad no se define por $L(W_{t+1}) \leq L(W_t)$ , sino por la condición de que la pérdida esperada disminuya en la esperanza condicional dada la filtración $\mathcal{F}_t$ :
$\mathbb{E}[L(W_{t+1}) - L(W_t) \mid \mathcal{F}_t] \leq 0$
Este criterio captura el equilibrio entre la curvatura y el ruido. Se reduce a la condición de estabilidad determinista en el límite de lote completo (full-batch), pero tiene en cuenta las fluctuaciones de los mini-batches en el entorno estocástico.
Análisis de Dinámica de Dos Fases:
El análisis desacopla la dinámica de entrenamiento en dos regímenes:
- Régimen de Borde de la Estabilidad (EoS): La fase inicial donde las iteraciones pueden experimentar oscilaciones impulsadas por la curvatura, y la pérdida no es monótonamente decreciente.
- Régimen Estable: Una región donde la pérdida esperada admite un descenso de un solo paso. Los autores definen un conjunto estable $\mathcal{S}$ donde $L(W_t) \leq \tilde{L}$ , con $\tilde{L}$ dependiendo del tamaño del paso, el tamaño del lote y el margen de los datos.
Mecanismo de Estabilización Estocástica:
Una contribución teórica clave es la demostración de que el SGD posee una propiedad de autoestabilización. Incluso si el ruido de los mini-batches empuja temporalmente las iteraciones fuera del conjunto estable $\mathcal{S}$ , la dinámica garantiza el retorno al régimen estable dentro de un número fijo y acotado de iteraciones con alta probabilidad. Este mecanismo de retorno es impulsado por la geometría de la pérdida de entropía cruzada, donde tanto la curvatura como la magnitud del ruido disminuyen a medida que la pérdida se acerca a cero.
Extensión a Redes Neuronales:
El marco se extiende a redes neuronales de dos capas en escalamiento de campo medio (mean-field scaling). Los autores imponen condiciones leves sobre las funciones de activación (diferenciabilidad, suavidad y cuasi-homogeneidad) e introducen un "margen efectivo" $\tilde{\gamma}$ que tiene en cuenta el límite inferior de la derivada de la activación. Esto permite la transferencia de las garantías de convergencia lineal al entorno no lineal.

Contribuciones Clave

Criterio de Estabilidad Estocástica: El artículo propone una nueva definición de estabilidad para el SGD basada en la deriva de Lyapunov condicional, la cual es bien adecuada para la minimización de entropía cruzada separable donde los parámetros pueden divergir mientras la pérdida converge a cero.
Garantías de Convergencia para Pasos Grandes: Los autores proporcionan las primeras garantías de convergencia teórica para el SGD en la pérdida de entropía cruzada multiclase con pasos arbitrariamente grandes ( $\eta > 0$ ). Establecen que la mejor iteración logra una tasa de convergencia de $\tilde{O}(1/t)$ , independientemente de la magnitud del tamaño del paso.
Caracterización del Régimen Estable: El trabajo demuestra que el SGD entra en el régimen estable dentro de un número fijo de iteraciones con alta probabilidad. Una vez dentro, la última iteración converge a una tasa sublineal.
Prueba de la Autoestabilización Estocástica: El artículo demuestra rigurosamente que el SGD "se autoestabiliza". Incluso si la trayectoria sale del conjunto estable debido al ruido, esta regresa a la estabilidad en un número acotado de pasos. Esto contrasta con el GD determinista, donde una vez que se entra en la fase estable, la trayectoria permanece allí por construcción.
Análisis de Redes Neuronales: Los resultados se extienden a redes neuronales de dos capas, mostrando que las garantías de convergencia de pasos grandes se mantienen a pesar de la no linealidad del modelo, siempre que las funciones de activación satisfagan condiciones específicas de "fuga" (leaky).

Resultados

Límites Teóricos: El Teorema 2.2 establece un límite superior en la pérdida esperada de la mejor iteración para clasificadores lineales, mostrando una tasa de $\tilde{O}(1/t)$ . El Teorema 4.1 y el Teorema 5.4 proporcionan garantías similares para la última iteración una vez que la dinámica entra en el régimen estable.
Retorno a la Estabilidad: El Teorema 4.2 (para modelos lineales) y el Teorema 5.5 (para redes neuronales) cuantifican la probabilidad de permanecer en el conjunto estable y el número máximo de pasos requeridos para regresar a él si ocurre una salida. Estos límites dependen del tamaño del lote, el tamaño del paso y el valor actual de la pérdida.
Validación Experimental: Experimentos con datos sintéticos, MNIST (red neuronal de dos capas) y CIFAR-10 (red neuronal de 8 capas) validan los hallazgos teóricos. Los resultados demuestran:
- Disminución no monótona de la pérdida al inicio (fase EoS) seguida de la convergencia en el régimen estable.
- Convergencia más rápida de la pérdida con tamaños de paso más grandes.
- Precisión de prueba comparable o mejor con pasos grandes en comparación con pasos más pequeños.
- Reducción del ruido y de la oscilación con tamaños de lote más grandes.

Significado y Reivindicaciones

El artículo afirma llenar un vacío crítico en la comprensión teórica de la optimización del aprendizaje profundo moderno. Mientras que trabajos previos han explicado el fenómeno EoS para el GD determinista, este trabajo extiende la teoría al entorno estocástico, que es el estándar para el aprendizaje profundo práctico.

Los autores enfatizan que sus resultados proporcionan una comprensión fundamentada de cómo la estocasticidad altera la estructura de dos fases de la optimización. Argumentan que el mecanismo de "autoestabilización" es intrínseco al SGD con pérdida de entropía cruzada, asegurando que el algoritmo no diverja incluso con tasas de aprendizaje grandes, siempre que la pérdida disminuya con el tiempo. El trabajo no pretende resolver todos los desafíos de optimización en el aprendizaje profundo, sino ofrecer un marco riguroso para analizar el SGD en el régimen de pasos grandes, validando las observaciones empíricas de que las tasas de aprendizaje grandes son efectivas y estables en la práctica. Las garantías teóricas son específicas para datos separables y pérdida de entropía cruzada, y el análisis para redes neuronales está restringido a arquitecturas de dos capas bajo escalamiento de campo medio.