Resumen Técnico: Más allá de una única explicación de la brecha Adam–SGD

Planteamiento del problema

Durante más de una década, la disparidad de rendimiento entre el optimizador adaptativo Adam y el Gradiente Descendente Estocástico (SGD) ha sido una cuestión central en el aprendizaje profundo, particularmente en el contexto de los Modelos de Lenguaje de Gran Escala (LLM) basados en Transformers. Si bien Adam es el estándar de facto para los modelos fundacionales modernos, la literatura existente ofrece explicaciones fragmentadas para esta "brecha Adam–SGD". Estas explicaciones suelen estudiarse de forma aislada y atribuyen la brecha a factores específicos:

1. Propiedades de los datos: Distribuciones de vocabulario de cola pesada (Zipfianas) en datos de texto que crean paisajes de optimización anisotrópicos.
2. Arquitectura: Heterogeneidad de componentes en los Transformers (por ejemplo, capas de atención softmax, de embedding, de normalización).
3. Dinámica de optimización: Efectos del tamaño de lote (batch size) y características del ruido del gradiente (por ejemplo, ruido de cola pesada).

El problema central abordado por este trabajo es la falta de una comprensión unificada de cómo interactúan estos factores. No está claro si un solo factor impulsa la brecha de manera universal, o si el fenómeno surge de interacciones complejas entre los datos, la arquitectura y los hiperparámetros de entrenamiento a través de diferentes dominios.

Metodología

Los autores llevan a cabo un estudio empírico controlado y a gran escala que abarca cuatro dominios distintos: lenguaje, visión, genómica y aprendizaje de grafos. El estudio utiliza tanto arquitecturas Transformer modernas como modelos clásicos no basados en Transformers (por ejemplo, ResNet, GCNN, GAT).

Diseño Experimental:

• Protocolo de Ajuste Unificado: Para controlar los factores de confusión, los autores realizan un barrido conjunto de las tasas de aprendizaje ($\eta$) y los parámetros de momentum ($\beta$) para ambos optimizadores. Para Adam, utilizan una parametrización vinculada ($\beta_1 = \beta_2 = \beta$) para alinearse con la teoría de SignSGD, realizando también estudios de ablación con ajuste independiente.
• Restricciones Globales: Los experimentos emplean un recorte de la norma del gradiente global (a 1) y esquemas consistentes de calentamiento (warmup) y coseno.
• Métrica de la Brecha: La brecha de rendimiento se define como $\Delta^* = L^*_{Adam} - L^*_{SGD}$, donde $L^*$ es la pérdida de entrenamiento final de la mejor configuración de hiperparámetros. Un $\Delta^*$ negativo indica que Adam supera a SGD.
• Modelado Teórico: Los autores complementan los hallazgos empíricos con un modelo de brecha teórica basado en límites de convergencia no euclidianos (Kovalev, 2025). Comparan el SGD Normalizado (NSGD) con momentum contra un proxy de SignSGD para Adam, analizando cómo la brecha depende de la razón de las constantes de suavidad ($r = L_\infty / L_2$) y el tamaño de lote ($B$).

Principales Contribuciones y Resultados

1. Ningún factor único explica la brecha

El estudio refuta sistemáticamente la hipótesis de que cualquier factor único (distribución del vocabulario, mecanismos de atención o tipo de arquitectura) sea necesario o suficiente para explicar la brecha Adam–SGD.

• Distribución del Vocabulario: La brecha persiste incluso en datos genómicos (HG38) con una distribución de vocabulario casi uniforme ($v=5$) y un tamaño de vocabulario pequeño, lo que contradice la hipótesis del desequilibrio de clases de cola pesada.
• Atención Softmax: Reemplazar las capas de atención softmax en GPT con convoluciones con compuerta (GCNN) no elimina la brecha; Adam sigue superando a SGD, lo que sugiere que los mecanismos de atención no son el único motor.
• Heterogeneidad de la Arquitectura: Aunque la heterogeneidad de los componentes (por ejemplo, capas de embedding frente a capas de cabezal) influye en la brecha, no es determinante. Un Vision Transformer (ViT) entrenado en ImageNet21K puede exhibir una tendencia inversa donde SGD supera a Adam, a pesar de tener una complejidad arquitectónica similar a los modelos donde Adam gana.

2. El fenómeno del Tamaño de Lote de Cruce (Crossover Batch Size)

El principal hallazgo empírico es la existencia de un tamaño de lote de cruce. A medida que el tamaño de lote ($B$) escala, la ventaja relativa cambia de SGD a Adam.

• Interacción de Datos y Arquitectura: El punto específico de cruce y la pendiente de la transición dependen conjuntamente de la modalidad de los datos y la arquitectura. Por ejemplo, los datos de imagen (I21K) requieren tamaños de lote significativamente mayores para desplazar la ventaja hacia Adam en comparación con los datos de lenguaje o genómica, lo cual es consistente con el éxito histórico de SGD en tareas de visión.
• Sensibilidad Arquitectónica: Cambios arquitectónicos pequeños, como reemplazar ReLU por GeLU o BatchNorm por LayerNorm, pueden desplazar la preferencia del optimizador de SGD a Adam en el mismo conjunto de datos.

3. Dependencia del Régimen de Entrenamiento

La brecha se comporta de manera diferente según el régimen de optimización:

• Sobreparametrizado (Multi-época): En configuraciones donde el modelo puede alcanzar una pérdida de entrenamiento cercana a cero (por ejemplo, conjuntos de datos pequeños entrenados durante muchas épocas), la brecha se reduce a medida que el entrenamiento progresa, y SGD puede eventualmente igualar el rendimiento de Adam.
• Subparametrizado (Una época): En las configuraciones modernas de LLM (grandes conjuntos de datos, una época), la brecha persiste durante todo el entrenamiento, manteniendo Adam una ventaja constante sobre SGD.

4. Modelo de Brecha Teórica

Los autores proponen un modelo teórico que predice dos regímenes basados en la razón de suavidad de la geometría $r = L_\infty / L_2$:

• Régimen I ($1 < r < d^{1/3}$): Ocurre un cruce donde SGD es favorecido en tamaños de lote pequeños, y Adam pasa a ser favorecido a medida que $B$ aumenta. Esto coincide con la mayoría de las configuraciones experimentales.
• Régimen II ($d^{1/3} < r < d$): SGD (NSGD) es favorecido en todos los tamaños de lote. Este régimen corresponde a los experimentos de ResNet en ImageNet21K donde SGD supera a Adam incluso con tamaños de lote grandes.
  El modelo sugiere que la brecha está determinada por la interacción de la geometría de optimización, las propiedades del conjunto de datos y la varianza del ruido del gradiente.

Significancia

El artículo afirma ofrecer una perspectiva unificada que reconcilia hipótesis previamente conflictivas. En lugar de atribuir la brecha Adam–SGD a una sola causa (por ejemplo, "los datos de texto son Zipfianos" o "los Transformers son complejos"), los autores demuestran que la brecha es una propiedad emergente de la interacción entre la distribución de los datos, el diseño arquitectónico y el tamaño de lote.

La identificación del tamaño de lote de cruce proporciona un heurístico práctico: la elección entre Adam y SGD no debe ser absoluta, sino que debe considerar el régimen específico de tamaño de lote y el par datos-arquitectura. El modelo teórico valida además estas observaciones empíricas, prediciendo que el rendimiento relativo es contingente a la razón de suavidad del paisaje de pérdida y las características del ruido.

El trabajo concluye que, si bien Adam ofrece una ventaja práctica constante en configuraciones modernas, de gran escala y subparametrizadas (especialmente con tamaños de lote grandes), SGD sigue siendo competitivo o superior en regímenes específicos (por ejemplo, tareas de visión con lotes grandes o configuraciones sobreparametrizadas), desafiando la noción de un ganador universal de optimizadores.