🤖 machine learning

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

Este artículo extiende la teoría del descenso de gradiente con tamaños de paso grandes desde mínimos planos aislados hacia variedades de mínimos planos en problemas de mínimos cuadrados sobreparametrizados con salidas de valores vectoriales, estableciendo una forma normal generalizada y resultados de convergencia que revelan la estructura de haz fibrado de los mínimos planos en la factorización de matrices profunda.

Autores originales: Lachlan Ewen MacDonald, René Vidal

Publicado 2026-07-10

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lachlan Ewen MacDonald, René Vidal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar el punto más bajo en un vasto paisaje lleno de niebla. Este paisaje representa la "pérdida" de una red neuronal profunda —una medida de qué tan equivocada está la computadora—. El objetivo es llegar al fondo mismo.

Durante mucho tiempo, los científicos de la computación pensaron que la mejor manera de hacer esto era dar pasos diminutos y cuidadosos cuesta abajo. Creían que si dabas un paso demasiado grande, te pasarías de largo, rebotarías hacia arriba y, eventualmente, saldrías volando hacia el cielo (divergir). Tenían una regla estricta: tu tamaño de paso tenía que ser menor que un límite específico determinado por qué tan "afilado" era el fondo del valle. Si el fondo era un punto de aguja (afilado), tenías que dar pasos microscópicos. Si era un tazón ancho y plano, podías dar pasos ligeramente más grandes.

Pero aquí está el giro de la trama: en el mundo real del entrenamiento de la IA, la gente empezó a dar pasos enormes. En lugar de estrellarse, la IA se volvió más inteligente, más rápida y, sorprendentemente, parecía preferir aterrizar en esos tazones anchos y planos en lugar de en los puntos afilados de aguja. Este comportamiento era un misterio. Era como observar a un esquiador realizar un salto masivo, aterrizar perfectamente en un banco de nieve suave y deslizarse hasta detenerse, desafiando todas las leyes de la física que decían que debería haberse estrellado.

Este artículo es el equipo de detectives que finalmente descubrió por qué el esquiador no se estrelló y exactamente cómo aterrizó.

El Gran Descubrimiento: El "Flip" y el "Slide"

Los autores, Lachlan MacDonald y René Vidal, tomaron las teorías viejas y simples y las actualizaron para manejar la realidad desordenada y de alta dimensión de la IA moderna. Descubrieron que cuando se toma un paso grande, la IA no deambula aleatoriamente. De hecho, divide su comportamiento en dos modos distintos, como un coche que puede conducir hacia adelante y también girar sobre su propio eje.

1. El "Flip" (La Pelota que Rebota):
Imagina que la IA está rebotando en un trampolín. Si el tamaño del paso es justo el adecuado, la IA rebota arriba y abajo en un ritmo muy específico. No deja de rebotar inmediatamente; en cambio, se establece en un patrón estable y repetitivo de rebote de un lado a otro. El artículo demuestra que si el tamaño del paso es ligeramente demasiado grande (pero no demasiado grande), la IA oscilará en un bucle perfecto y predecible justo por encima del fondo plano. No es un error; es una característica.

2. El "Slide" (El Río):
Mientras la IA está rebotando arriba y abajo (el flip), también se está deslizando lentamente hacia los lados a lo largo del fondo plano del valle. Los autores muestran que la IA está realizando, esencialmente, un tipo especial de "descenso de gradiente Riemanniano" a lo largo de esta superficie plana. Piensa en ello como un río fluyendo a lo largo de una llanura. Al río no le importan los pequeños bultos en la arena; simplemente fluye suavemente hacia la parte más plana y estable del paisaje.

La Forma de lo "Plano"

Una de las partes más emocionantes de este artículo es cómo describen los "mínimos planos" (los valles anchos y seguros). Las teorías anteriores trataban estos puntos planos como islas aisladas. Pero los autores muestran que, en problemas complejos como la factorización de matrices (una técnica clave en el aprendizaje profundo), estos puntos planos no son solo puntos aislados. Son, en realidad, un fibrado sobre un producto de esferas.

Vamos a traducir eso al lenguaje sencillo: Imagina que el valle plano no es una sola habitación, sino una estructura gigante de múltiples capas. La base de esta estructura es una colección de esferas (como la superficie de una pelota). Sobre cada punto de estas esferas, hay todo un "fibrado" o una pequeña habitación de soluciones. La IA no solo encuentra una solución; encuentra toda una familia conectada y suave de soluciones que son igualmente buenas. El artículo demuestra que la "agudeza" (qué tan empinados son los lados) cambia suavemente a medida que te mueves por esta estructura, comportándose de una manera muy ordenada llamada Morse-Bott.

Lo Que Demostraron vs. Lo Que Simularon

Los autores no solo conjeturaron esto; construyeron un marco matemático riguroso para demostrarlo.

La Teoría: Demostraron que para una amplia gama de tamaños de paso, el comportamiento de la IA se divide en tres regímenes distintos:
- Subcrítico (Seguro pero lento): Si el paso es lo suficientemente pequeño, la IA converge exponencialmente rápido a un mínimo "sub-óptimamente plano". Es seguro, pero quizás no sea el punto más plano absoluto.
- Crítico (El Punto Dulce): Si el tamaño del paso alcanza un umbral específico (exactamente $2/\lambda_1$ , donde $\lambda_1$ es la agudeza), la IA converge al mínimo plano a una tasa de $t^{-1/2}$ . Esta es una tasa matemática específica y probada. Mostraron que esto sucede en las simulaciones de factorización de matrices.
- Supercrítico (El Baile): Si el paso es ligeramente mayor que el umbral, la IA no se detiene en el fondo. En su lugar, converge exponencialmente a una órbita de periodo 2. Esto significa que se establece en un ciclo estable y repetitivo de dos puntos, oscilando de un lado a otro. El artículo demuestra que este ciclo existe y es estable.
Las Simulaciones: Para respaldar sus matemáticas, realizaron experimentos en problemas de factorización de matrices (específicamente factorización de matrices de 3 capas, $2 \times 2$ ). En estas simulaciones, observaron a la IA tomar pasos grandes. Los gráficos mostraron exactamente lo que las matemáticas predijeron: la IA rebotó, luego se estableció en el deslizamiento de $t^{-1/2}$ , o se bloqueó en el baile de periodo 2.

Lo Que Excluyen Explícitamente

Es importante saber qué es lo que este artículo no dice que esté sucediendo.

No es caos aleatorio: El artículo descarta explícitamente la idea de que los pasos grandes conduzcan a un comportamiento aleatorio e impredecible en estos regímenes específicos. La oscilación es una órbita de periodo 2 estructurada y estable, no un desastre caótico.
No se trata solo de puntos únicos: El artículo argumenta contra la idea de que los mínimos planos sean aislados. Demuestran que en estos sistemas, los mínimos forman una variedad continua y suave (un manifold), no una colección dispersa de puntos.
No es una garantía global: Los autores aclaran cuidadosamente que sus pruebas son locales. Demuestran qué sucede cerca de los mínimos planos. No pretenden haber resuelto el misterio de cómo la IA encuentra los mínimos planos desde un punto de partida aleatorio lejos de ellos (la fase de "agudización progresiva"). Solo explican qué sucede una vez que la IA ya está en las cercanías del punto plano.

El "Borde de la Estabilidad"

El artículo conecta esto con un fenómeno llamado "El Borde de la Estabilidad". Este es el régimen donde la IA se tambalea en el borde de estrellarse pero no cae. Los autores muestran que esto no es un error; es un estado dinámico específico donde la IA realiza implícitamente un "descenso de gradiente Riemanniano" sobre la propia agudeza. Es como si la IA estuviera usando el rebote para tantear el paisaje y deslizarse hacia el punto más plano posible.

Conclusión

Este artículo toma un problema complejo de alta dimensión y nos entrega un mapa claro. Muestra que cuando damos pasos grandes al entrenar la IA, no estamos simplemente adivinando. Estamos participando en un baile sofisticado donde la IA rebota en un ritmo estable mientras se desliza simultáneamente a lo largo de una superficie suave y conectada de soluciones perfectas.

Demostraron que, para la factorización de matrices, esta superficie es una hermosa estructura geométrica (un fibrado sobre esferas), y demostraron que el movimiento de la IA en esta superficie sigue leyes estrictas y predecibles. Aunque no han resuelto todo el misterio del aprendizaje profundo (como cómo llegar desde el inicio hasta la meta), han proporcionado la primera explicación matemática rigurosa de por qué dar pasos enormes funciona tan bien una vez que estás cerca de la solución.

En resumen: la IA no se está estrellando; está bailando. Y gracias a este artículo, finalmente tenemos la partitura.

Resumen Técnico: Dinámica del Descenso de Gradiente con Tamaño de Paso Grande Cerca de una Variedad de Mínimos Planos

Planteamiento del Problema

La teoría de convergencia clásica para el Descenso de Gradiente (GD) se basa en la condición de estabilidad $\eta < 2/\lambda_1(x)$ , donde $\eta$ es el tamaño del paso y $\lambda_1(x)$ es el autovalor más grande (agudeza o sharpness) del Hessiano del objetivo. En el aprendizaje profundo, esta condición se viola frecuentemente; sin embargo, el GD con tamaños de paso grandes suele converger, exhibiendo fenómenos como la dinámica del "borde de la estabilidad" (edge of stability) y un sesgo implícito hacia "mínimos planos" (mínimos con baja agudeza).

Trabajos previos por MacDonald et al. [39] proporcionaron un análisis riguroso de sistemas dinámicos para el GD de paso grande en problemas de mínimos cuadrados de codimensión 1 (salida escalar única) cerca de un mínimo plano aislado. Sin embargo, este entorno es prácticamente restrictivo, ya que no cubre:

Problemas de mayor codimensión: Regresión sobreparametrizada con salidas de valores vectoriales y un número arbitrario de observaciones.
Variedades de mínimos: Muchos problemas de aprendizaje profundo, como la factorización de matrices, poseen una variedad continua de mínimos planos en lugar de puntos aislados.

Este artículo extiende la teoría de [39] a estos entornos más amplios, abordando los desafíos técnicos de las bifurcaciones de mayor dimensión y las ecuaciones diferenciales parciales (PDE) singulares que surgen a lo largo de las variedades.

Metodología

1. Marco Geométrico y Supuestos

Los autores consideran objetivos de mínimos cuadrados sobreparametrizados $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$ donde $f: \mathbb{R}^p \to \mathbb{R}^q$ ( $p > q$ ). Establecen una jerarquía de supuestos geométricos para asegurar la existencia de una forma normal:

Supuesto 3.1: El objetivo $\tau$ es un valor regular, lo que asegura que el conjunto de soluciones $M = f^{-1}(\tau)$ es una subvariedad suave.
Supuesto 3.3: El autovalor superior $\lambda_1$ del Hessiano es simple (distinto de $\lambda_2$ ) en un subconjunto abierto no vacío, permitiendo un campo de autovectores superiores $\nu_1$ bien definido.
Supuesto 3.4: Existe una subvariedad $F \subset M$ de mínimos locales para $\lambda_1$ donde $\lambda_1$ es Morse-Bott (fuertemente convexo en las direcciones normales a $F$ dentro de $M$ ).
Supuesto 3.5: Una condición de regularidad sobre un coeficiente $\alpha_\eta$ derivado de las derivadas de orden superior de $\ell$ , que asegura la solvabilidad de una PDE singular requerida para la forma normal.

2. Derivación de la Forma Normal

La contribución técnica central es la derivación de una forma normal para el GD cerca de la variedad $F$ . Los autores realizan una secuencia de transformaciones de coordenadas:

Coordenadas Tubulares: Mapeo del vecindario de $M$ a $M \times \mathbb{R}^q$ .
Reducción de la Variedad Central: Uso del teorema de la variedad central para reducir la dinámica ortogonal de $q$ dimensiones a un sistema unidimensional correspondiente a la dirección autovectorial superior $\nu_1$ .
Resolución de una PDE Singular: Un paso crítico implica resolver una PDE de la forma $Xu = \alpha u + \beta$ donde el campo vectorial $X$ se anula a lo largo de la variedad $F$ . A diferencia del caso de punto aislado en [39], la singularidad aquí es a lo largo de una variedad. Los autores desarrollan técnicas novedosas que involucran expansiones logarítmicas y foliaciones invariantes para probar la existencia de una solución $C^1$ , corrigiendo una prueba errónea en [39] respecto al acoplamiento entre las coordenadas de la variedad y la dinámica ortogonal.
Foliación Fuerte-Estable: Desacoplamiento de las direcciones de contracción de la dinámica en la variedad central.

La forma normal resultante descompone la dinámica del GD en:

Tangente a $M$ ( $x$ ): Descenso de Gradiente Riemanniano (RGD) sobre la agudeza $\lambda_1$ a lo largo de $M$ , con un tamaño de paso controlado por el cuadrado de la distancia ortogonal $y_1^2$ .
Dirección Ortogonal Superior ( $y_1$ ): Una dinámica de bifurcación de salto (similar a una bifurcación de duplicación de periodo) gobernada por $(1 - \eta\lambda_1)y_1 + y_1^3$ .
Otras Direcciones Ortogonales ( $y_{2:q}$ ): Direcciones estables de contracción exponencial.

3. Caso de Estudio: Factorización de Matrices Profunda

Los autores verifican que la factorización de matrices profunda se ajusta a este marco. Demuestran que el conjunto de mínimos planos $F$ forma un fibrado suave sobre un producto de esferas. Además, demuestran que la agudeza $\lambda_1$ es Morse-Bott a lo largo de esta variedad.

Contribuciones Clave y Resultados

1. Forma Normal Generalizada

El artículo establece una forma normal para el GD con tamaños de paso grandes en el vecindario de una variedad de mínimos planos para codimensiones arbitrarias. Esto generaliza los resultados de [39] de mínimos aislados en codimensión 1 a variedades continuas en dimensiones arbitrarias.

2. Teoremas de Convergencia

Los autores prueban tres regímenes de convergencia basados en el tamaño de paso $\eta$ relativo al umbral de estabilidad $2/\lambda_1|_F$ :

Régimen Subcrítico ( $\eta < 2/\lambda_1|_F$ ):
Tras un transitorio inicial, las iteraciones convergen exponencialmente a un mínimo global subóptimamente plano. El tamaño del paso decae exponencialmente a medida que las iteraciones se acercan a la variedad.
Régimen Crítico ( $\eta = 2/\lambda_1|_F$ ):
Las iteraciones convergen de forma no monotónica con una tasa de $\Theta(t^{-1/2})$ hacia un punto en la variedad de mínimos planos $F$ $F$ .
- Nota: La prueba para el caso general depende de una conjetura (Conjetura D.7) sobre la existencia de una foliación estable para sistemas dinámicos normalmente parabólicos, análoga al teorema de foliación fuerte-estable para variedades hiperbólicas normales. El resultado se prueba rigurosamente si el Hessiano de $\lambda_1$ es un múltiplo escalar de la identidad a lo largo de $F$ , o si la conjetura se cumple.
Régimen Supercrítico ( $\eta > 2/\lambda_1|_F$ ):
Las iteraciones convergen exponencialmente a una órbita de período 2 estable a lo largo del espacio generado por el campo de autovectores superiores $\nu_1|_F$ . La amplitud de esta oscilación escala como $\Theta(\sqrt{\eta\lambda_1|_F - 2})$ .

3. Resultados Estructurales para la Factorización de Matrices

Para la factorización de matrices profunda, el artículo proporciona nuevas perspectivas estructurales:

La variedad de mínimos planos $F$ es un fibrado sobre un producto de esferas.
La agudeza $\lambda_1$ es Morse-Bott a lo largo de $F$ .
Los autovalores del Hessiano de $\lambda_1$ restringido al haz normal de $F$ son estrictamente positivos, con cotas inferiores específicas derivadas (por ejemplo, para $L=2$ , la cota inferior es $4\sigma_1/(\sigma_1 - \sigma_{d_L})$ ).

4. Verificación Numérica

Las predicciones teóricas se verifican mediante experimentos numéricos en problemas de factorización de matrices de $2 \times 2$ con 3 capas. Los experimentos confirman:

Convergencia exponencial en el régimen subcrítico.
Convergencia de $t^{-1/2}$ en el régimen crítico.
Convergencia exponencial a un ciclo de período 2 en el régimen supercrítico.

Significado y Reivindicaciones

El artículo afirma cerrar una brecha significativa en la comprensión teórica de la optimización del aprendizaje profundo:

Más allá de la Codimensión 1: Lleva la teoría del GD de paso grande del poco práctico entorno de "un solo dato" a la regresión sobreparametrizada general con salidas vectoriales.
Variedades de Mínimos: Aborda la realidad de que los paisajes de pérdida del aprendizaje profundo a menudo contienen variedades de mínimos, mostrando que la dinámica del "borde de la estabilidad" persiste en estos entornos de dimensiones superiores y continuos.
Novedad Técnica: La resolución de la PDE singular a lo largo de una variedad y la corrección de la prueba en [39] respecto al acoplamiento de coordenadas se presentan como contribuciones técnicas independientes de interés para la teoría de sistemas dinámicos.
Sesgo Implícito: Los resultados formalizan rigurosamente la observación de que el GD de paso grande realiza implícitamente el descenso de gradiente riemanniano sobre la agudeza a lo largo de la variedad de soluciones, proporcionando una explicación mecánica para el sesgo hacia los mínimos planos.

Los autores mantienen la modestia respecto al régimen crítico, indicando explícitamente que la prueba de convergencia general depende de una conjetura sobre foliaciones parabólicas, la cual queda fuera del alcance del presente trabajo pero se argumenta que es plausible basándose en analogías con sistemas hiperbólicos. También señalan que sus resultados son locales (cerca de la variedad de mínimos planos) y aún no explican la fase global de "aguzamiento progresivo" observada durante el entrenamiento.