Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

Resumen Técnico: Por qué Adam funciona mejor con $\beta_1 = \beta_2$

Enunciado del Problema
A pesar de que Adam ha sido el optimizador predeterminado para el entrenamiento de redes neuronales a gran escala durante casi una década, una observación empírica persistente permanece sin explicación: la estabilidad del entrenamiento y el rendimiento de validación a menudo mejoran cuando los parámetros de momento se establecen iguales ($\beta_1 = \beta_2$). Aunque estudios recientes (por ejemplo, Orvieto y Gower [2025]) han documentado este fenómeno en diversas arquitecturas, no ha existido una explicación teórica rigurosa de por qué esta configuración específica produce un mejor comportamiento ni de cómo se relaciona con la dinámica interna del optimizador. Además, una tendencia paralela en el diseño de optimizadores modernos (por ejemplo, Lion, Muon, Scion) implica imponer explícitamente actualizaciones robustas a la escala, sin embargo, la conexión entre estos nuevos métodos y el régimen "balanceado" de Adam ha permanecido poco clara.

Metodología
Los autores introducen una propiedad estructural denominada invarianza de escala del gradiente para analizar la dinámica de Adam. Formalizan este concepto de la siguiente manera: un optimizador es invariante a la escala del gradiente si el reescalado del gradiente actual por un factor positivo $\lambda$ (manteniendo fijo el estado interno) deja el vector de actualización esencialmente sin cambios.

Para investigar esto, los autores emplean un análisis de límite de tiempo continuo del algoritmo Adam. Modelan Adam como la discretización temporal de un sistema dinámico gobernado por Ecuaciones Diferenciales Ordinarias (EDO). Al introducir tiempos de relajación $\tau_1$ y $\tau_2$ correspondientes a los parámetros discretos $\beta_1$ y $\beta_2$ (mediante $\beta_i = e^{-\Delta t/\tau_i}$), derivan un flujo de tiempo continuo para los primeros y segundos momentos ($m(t)$ y $v(t)$).

El núcleo del análisis implica descomponer el vector de actualización normalizado $R(t) = m(t)/\sqrt{v(t)}$ en componentes dependientes de la deriva de escala logarítmica del gradiente, definida como $\delta(t) = \frac{d}{dt} \log |g(t)|$. Los autores demuestran que la actualización puede descomponerse en un componente de signo invariante a la escala, un término explícito de "retraso de escala" proporcional a $(\tau_2 - \tau_1)\delta(t)$, y términos de resto de orden superior.

Contribuciones Clave

1. Formalización de la Invarianza de Escala del Gradiente: El artículo define la invarianza de escala del gradiente de primer orden, donde la respuesta lineal explícita a los cambios en la escala del gradiente se anula.
2. Caracterización Teórica de Adam: Los autores demuestran que Adam logra la invarianza de escala del gradiente de primer orden si y solo si $\beta_1 = \beta_2$ (o equivalentemente $\tau_1 = \tau_2$).
   • Cuando $\beta_1 \neq \beta_2$, la actualización contiene un término de primer orden proporcional a la deriva de escala del gradiente, lo que hace que la actualización sea sensible a las fluctuaciones en la magnitud del gradiente.
   • Cuando $\beta_1 = \beta_2$, este término de primer orden se cancela exactamente, empujando la sensibilidad a segundo orden. En consecuencia, la actualización se comporta más como un método basado en signos, que es inherentemente invariante a la escala.
3. Validación Sintética y Empírica:
   • Experimentos Sintéticos: Experimentos controlados con señales de gradiente reescaladas demuestran que cuando $\beta_1 = \beta_2$, la norma del vector de actualización permanece estable bajo cambios de escala, mientras que $\beta_1 \neq \beta_2$ resulta en desviaciones significativas de primer orden.
   • Entrenamiento del Mundo Real: Extensos experimentos en tareas de visión (EfficientNet, ResNet, ViT) y lenguaje (NanoGPT, T5) muestran que la oscilación de la norma de actualización ($\|R_k\|$) se minimiza cuando $\beta_1 = \beta_2$. Los autores definen una métrica de oscilación $\omega$ para cuantificar esta estabilidad, encontrando que las configuraciones diagonales producen consistentemente trayectorias de actualización más suaves.
   • Significancia Estadística: Una prueba binomial a través de múltiples pares modelo-conjunto de datos confirma que el $\beta_2$ que minimiza la estabilidad de la actualización coincide con $\beta_1$ con alta significancia estadística.

Resultados
Los experimentos confirman que la cancelación teórica del término de retraso de escala se traduce directamente en la dinámica práctica del entrenamiento.

• Estabilidad de la Norma de Actualización: En todas las arquitecturas probadas (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5), la norma de actualización $\|R_k\|$ exhibe una oscilación significativamente menor cuando $\beta_1 = \beta_2$ en comparación con configuraciones fuera de la diagonal.
• Análisis de Descomposición: Una reproducción diagnóstica en gradientes de prueba de datos fijos revela que cuando $\beta_1 \neq \beta_2$, el término explícito de retraso de escala representa aproximadamente el 50% del presupuesto absoluto de la actualización normalizada. Cuando $\beta_1 = \beta_2$, este término desaparece y la actualización pasa a estar dominada por el componente de signo invariante a la escala.
• Robustez: Los hallazgos se mantienen a través de diferentes semillas aleatorias, programas de tasas de aprendizaje y familias de arquitecturas, lo que sugiere que el fenómeno es una propiedad fundamental de la estructura del optimizador y no un artefacto de hiperparámetros específicos.

Significancia y Afirmaciones
El artículo afirma proporcionar una explicación teórica coherente para el éxito empírico del régimen balanceado ($\beta_1 = \beta_2$) en Adam. Plantea que esta configuración no es meramente una heurística conveniente, sino una alineación estructural que otorga a Adam invarianza de escala del gradiente de primer orden.

Los autores argumentan que esta propiedad sitúa al régimen balanceado de Adam en la misma clase conceptual que los optimizadores recientes de última generación (como Lion y Muon) que diseñan explícitamente para la robustez a la escala. Al identificar que esta propiedad deseable está latente dentro de la formulación estándar de Adam, el trabajo cierra la brecha entre los métodos adaptativos tradicionales y los diseños modernos invariantes a la escala.

El artículo concluye que reducir la sensibilidad a la escala del gradiente es un principio estructural para la optimización adaptativa estable. Si bien el trabajo no propone un nuevo optimizador, ofrece un principio rector para el diseño futuro de optimizadores y sugiere que establecer $\beta_1 = \beta_2$ es una elección fundamentada para mejorar la estabilidad del entrenamiento, particularmente en regímenes donde la magnitud del gradiente fluctúa. Los autores permanecen modestos, señalando que su análisis es local y componente a componente, y que el valor óptimo del $\beta$ común a lo largo de la diagonal sigue siendo una pregunta abierta dependiente de la dinámica de entrenamiento específica.