🤖 machine learning

Learning Rate Transfer in Normalized Transformers

Este artículo presenta $\nu$ GPT, una nueva parametrización del Transformer Normalizado que aprovecha exponentes de alineación para lograr la transferencia de la tasa de aprendizaje a través del ancho, la profundidad y el horizonte de tokens del modelo, abordando una limitación clave del nGPT original.

Autores originales: Boris Shigida, Boris Hanin, Andrey Gromov

Publicado 2026-05-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Boris Shigida, Boris Hanin, Andrey Gromov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: El Problema de "Ricitos de Oro"

Imagina que estás horneando un pastel gigante (un modelo de IA masivo). Tienes una receta para un pequeño cupcake (un modelo diminuto). Sabes exactamente cuánta azúcar y calor (hiperparámetros como la tasa de aprendizaje) funcionan para el cupcake.

¿El problema? Si simplemente duplicas ciegamente los ingredientes para un pastel más grande, podría quemarse o quedar crudo. En la IA, cuando los investigadores hacen los modelos más grandes (más anchos o más profundos), los ajustes "perfectos" para el modelo pequeño suelen dejar de funcionar para el grande. Tienes que empezar desde cero y adivinar los nuevos ajustes, lo cual es lento y costoso.

Este artículo introduce una nueva forma de hornear estos "pasteles" (llamados modelos nGPT) para que los ajustes que encuentres para un modelo pequeño funcionen perfectamente para uno gigante sin ninguna conjetura adicional. Llamaron a esta nueva receta νGPT (pronunciado "nu-GPT").

Los Ingredientes: ¿Qué es nGPT?

Primero, los autores están trabajando con un tipo específico de IA llamado nGPT (Transformador Normalizado).

La Vieja Forma: Los modelos de IA tradicionales son como un coche con un motor muy sensible. Si pisas el acelerador demasiado fuerte (tasa de aprendizaje alta), el motor explota. Si lo pisas demasiado suavemente, no va a ningún lado. Para mantenerlo seguro, necesitas un "freno" llamado decaimiento de peso y necesitas "calentar" el motor lentamente antes de conducir rápido.
La Forma nGPT: El modelo nGPT es como un coche con una suspensión autoestabilizadora. Mantiene naturalmente su velocidad y equilibrio bajo control. Debido a esto, no necesita los "frenos" (decaimiento de peso) ni el "calentamiento". Se entrena más rápido y es más eficiente.

La Trampa: Aunque nGPT es excelente, los autores descubrieron que sus "ajustes de velocidad" (tasas de aprendizaje) aún no se transferían bien. Si sintonizabas la velocidad para un nGPT pequeño y luego intentabas usar esos mismos ajustes para un nGPT enorme, el grande rendiría mal.

La Solución: La Receta νGPT

Los autores crearon νGPT. Piensa en esto como un nuevo conjunto de instrucciones sobre cómo escalar tus ingredientes basándote en el tamaño del pastel.

Descubrieron tres reglas específicas para hacer que los ajustes se "transfieran" perfectamente:

1. La Regla del Horizonte de Tokens (La Regla de la "Distancia")

El Concepto: Imagina que estás enseñando a un perro. Si solo lo paseas durante 10 minutos, puedes correr rápido. Si planeas pasearlo durante 10 horas, necesitas empezar más lento para que no se agote.
El Hallazgo: El artículo descubrió que a medida que la IA "camina" más tiempo (procesa más tokens de datos), la tasa de aprendizaje no debería caer tan rápido como se pensaba. En lugar de caer como una piedra pesada, debería caer como una pluma flotando hacia abajo.
Las Matemáticas: Descubrieron que la velocidad debería disminuir por la raíz cúbica del tiempo caminado (específicamente, potencia $1/3$ ), no por la raíz cuadrada ( $1/2$ ) que sugerían otras teorías.

2. La Regla del Ancho (La Regla del "Tamaño del Equipo")

El Concepto: Imagina un coro. Si duplicas el número de cantantes (ancho), el sonido se vuelve más fuerte. Si no ajustas el volumen del director (tasa de aprendizaje), el coro podría volverse demasiado fuerte y distorsionarse, o demasiado bajo para escucharlo.
El Hallazgo: Los autores se dieron cuenta de que en estos modelos específicos, las "voces" (activaciones) y los "cantantes" (pesos) no se alinean perfectamente. Están parcialmente alineados.
La Solución: Ajustaron la tasa de aprendizaje para las partes ocultas del modelo para que cayera en una cantidad específica (potencia $3/4$ ) a medida que el modelo se hace más ancho. Esto es diferente de teorías anteriores (como $\mu$ P) que asumían que las voces y los cantantes estaban perfectamente alineados. Al asumir que solo están parcialmente alineados, encontraron un "punto dulce" que funciona mejor.

3. La Regla de la Profundidad (La Regla de la "Capa")

El Concepto: Imagina una carrera de relevos. Si añades más corredores (capas) al equipo, ¿la batuta pasa más rápido o más lento?
El Hallazgo: Sorprendentemente, para este tipo específico de modelo, la tasa de aprendizaje para las capas ocultas no necesita cambiar mucho a medida que añades más capas. El modelo es naturalmente estable. Sin embargo, descubrieron que los ajustes de "inicio" (inicialización) para las capas primera y última necesitan un pequeño ajuste para mantener la carrera fluida.

Los Resultados: Por Qué Importa

Los autores probaron esta nueva receta νGPT contra la antigua.

La Vieja Forma (nGPT): Cuando hacían el modelo más grande, la curva de rendimiento era desordenada. La "mejor" tasa de aprendizaje para un modelo pequeño era la "peor" para un modelo grande.
La Nueva Forma (νGPT): Cuando hacían el modelo más grande, la curva de rendimiento era perfecta. La tasa de aprendizaje que funcionaba para el modelo pequeño funcionaba para el modelo grande, y el modelo más grande rendía tan bien (o ligeramente mejor) como si lo hubieran ajustado desde cero.

Analogía de Resumen

Piensa en la Tasa de Aprendizaje como el botón de volumen en una radio.

Teoría Antigua: "Si compras un altavoz más grande (modelo más ancho), debes bajar el botón de volumen a la mitad".
El Descubrimiento del Artículo: "En realidad, debido a cómo funciona este altavoz específico, solo necesitas bajar el botón de volumen en una cantidad específica y calculada (la regla de $3/4$ ) para obtener el sonido perfecto. Si sigues esta regla, puedes comprar un altavoz 100 veces más grande, y el mismo ajuste de volumen sonará perfecto".

Lo Que NO Afirmaron

No dijeron que esto hace a la IA más inteligente o capaz de hacer cosas nuevas (como curar enfermedades).
No dijeron que esto funciona para cada tipo de modelo de IA (es específico para Transformadores Normalizados/nGPT).
No afirmaron que esto elimina la necesidad de ajuste por completo; solo significa que puedes ajustar un modelo pequeño y confiar en que funcionará para uno grande.

En resumen: El artículo proporciona una "guía de traducción" matemática que permite a los ingenieros tomar los ajustes de una IA pequeña y rápida y aplicarlos a una IA masiva con confianza, ahorrando tiempo y potencia de cálculo.

A continuación se presenta un resumen técnico detallado del artículo "Learning Rate Transfer in Normalized Transformers" de Shigida, Hanin y Gromov.

1. Planteamiento del Problema

El artículo aborda el desafío de la transferencia de hiperparámetros (HP) en Transformadores Normalizados (nGPT), una variante de la arquitectura Transformer introducida por Loshchilov et al. (2025).

Contexto: nGPT logra aceleraciones significativas en el entrenamiento y elimina la necesidad de decaimiento de pesos (weight decay) y calentamiento de la tasa de aprendizaje (learning rate warmup) mediante una normalización extensiva de pesos y activaciones (utilizando normas $\ell_2$ en lugar de LayerNorm/RMSNorm).
El Problema: Aunque nGPT posee hiperparámetros que escalan con el tamaño del modelo, los autores observan que no logra exhibir transferencia de la tasa de aprendizaje a través del ancho del modelo (dimensión), la profundidad (número de capas) y el horizonte de tokens (iteraciones de entrenamiento).
Limitaciones de los Métodos Existentes: Las técnicas de transferencia estándar como $\mu$ P (Parametrización de Actualización Máxima) dependen de suposiciones teóricas específicas sobre la alineación de pesos y activaciones (específicamente, que están completamente alineadas o no alineadas de maneras específicas). Los autores encuentran que estas suposiciones no se cumplen en nGPT, lo que conduce a un rendimiento subóptimo al escalar.

2. Metodología

Los autores proponen una nueva parametrización llamada $\nu$ GPT (nu-GPT). Su enfoque combina experimentos numéricos con un marco teórico fundamentado basado en exponentes de alineación (Everett et al., 2024).

A. Marco Teórico: Exponentes de Alineación

En lugar de asumir los regímenes de "alineación completa" ( $\alpha=1$ ) o "sin alineación" ( $\alpha=1/2$ ) utilizados en $\mu$ P, los autores miden empíricamente los exponentes de alineación ( $\alpha, \omega, \nu$ ), que describen cómo escalan las actualizaciones de pesos y las activaciones en relación con la dimensión del modelo $d_{model}$ .

Definen exponentes para cómo escala el cambio en un producto matriz-vector: $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ .
Hallazgo Clave: En nGPT se observa el régimen de "alineación media", donde $\max\{\alpha, \nu\} \approx 3/4$ . Esto contradice la suposición de $\mu$ P de que $\max\{\alpha, \nu\} = 1$ (alineación completa) o $1/2$ (sin alineación).

B. La Parametrización $\nu$ GPT

Basándose en la hipótesis de "alineación media" ( $\max\{\alpha, \nu\} = 3/4$ ) y en leyes de escalado empíricas, los autores derivan reglas de escalado específicas para las tasas de aprendizaje ( $\eta$ ) y los parámetros de inicialización. Sean $m_{width}$ , $m_{depth}$ y $m_{data}$ los multiplicadores para el ancho, la profundidad y la cantidad de tokens en relación con un modelo base.

Reglas de Escalado Clave en $\nu$ GPT:

Tasa de Aprendizaje Global: Escala como $m_{data}^{-1/3}$ . Esto corrige el horizonte de tokens, diferenciándose de la $m_{data}^{-1/2}$ sugerida por algunas teorías previas basadas en EDE (Ecuaciones Diferenciales Estocásticas).
Pesos de Incrustación ( $\eta_{input}$ ): Escala como $m_{width}^{-1/2}$ .
Pesos Ocultos/Desincrustación ( $\eta_{hidden}, \eta_{output}$ ): Escala como $m_{width}^{-3/4}$ . Esta es la desviación crítica respecto a $\mu$ P (que utiliza $m_{width}^{-1}$ o $m_{width}^{-1/2}$ dependiendo de la variante).
Correcciones de Profundidad:
- Los vectores de reescalado entrenables $\alpha_{A, init}$ y $\alpha_{M, init}$ se escalan por $m_{depth}^{-1}$ .
- A diferencia de "Depth- $\mu$ P" (que escala las tasas de aprendizaje ocultas por $m_{depth}^{-1/2}$ ), $\nu$ GPT encuentra que las tasas de aprendizaje ocultas no deben escalarse con la profundidad en nGPT, ya que los reescaladores entrenables manejan naturalmente la estabilidad de la profundidad.
Constantes de Inicialización: Se utilizan constantes fijas (por ejemplo, 0.03) para los parámetros de escala ( $\alpha_{scale}$ ) en lugar de escalar con $d_{model}^{-1/2}$ .

3. Contribuciones Clave

Identificación del Fallo de $\mu$ P en nGPT: Se demostró que las suposiciones estándar de $\mu$ P sobre la alineación peso-activación son inválidas para arquitecturas normalizadas, lo que conduce a una transferencia deficiente de la tasa de aprendizaje.
Propuesta de $\nu$ GPT: Se introdujo una nueva parametrización que apunta explícitamente al régimen de "alineación media" ( $\approx 3/4$ ) observado en nGPT.
Escalado del Horizonte de Tokens: Se estableció que la tasa de aprendizaje óptima en nGPT escala con la cantidad de tokens como $T^{-1/3}$ , refinando las predicciones teóricas anteriores de $T^{-1/2}$ .
Perspectiva sobre Transferencia de Profundidad: Se mostró que, para modelos normalizados con reescaladores entrenables, el escalado explícito de la profundidad de la tasa de aprendizaje oculta es innecesario y potencialmente perjudicial; en su lugar, escalar la inicialización de los reescaladores es suficiente.

4. Resultados Experimentales

Los autores validaron $\nu$ GPT en el conjunto de datos FineWeb-Edu utilizando el tokenizador de OLMo 2.

Transferencia de Ancho:
- nGPT Base: No mostró transferencia de tasa de aprendizaje; el rendimiento se degradó a medida que aumentaba el ancho.
- Correcciones estilo $\mu$ P: Mostraron una ligera desviación en las tasas de aprendizaje óptimas.
- $\nu$ GPT: Logró transferencia perfecta de la tasa de aprendizaje a través del ancho (de 0.26B a 3.22B parámetros) sin pérdida en la pérdida de validación en comparación con la línea base ajustada.
Transferencia de Profundidad:
- nGPT Base mostró una transferencia de profundidad decente pero se volvió inestable en profundidades extremas.
- $\nu$ GPT mantuvo la estabilidad y el rendimiento a través de profundidades (de 8 a 128 capas), mostrando menor sensibilidad a las elecciones de la tasa de aprendizaje en grandes profundidades.
Transferencia del Horizonte de Tokens:
- Los experimentos confirmaron la ley de escalado $T^{-1/3}$ para la tasa de aprendizaje óptima a medida que aumentaba el número de iteraciones de entrenamiento.
Verificación del Exponente de Alineación:
- Las mediciones empíricas confirmaron que $\omega_{hidden} = \omega_{output} = 1/2$ y $\max\{\alpha, \nu\} \approx 0.75$ (alineación media), validando la base teórica de $\nu$ GPT.

5. Significado

Impacto Práctico: $\nu$ GPT permite a los investigadores entrenar Transformadores Normalizados a gran escala simplemente ajustando hiperparámetros en modelos pequeños y transfiriéndolos directamente a escalas masivas, ahorrando recursos computacionales significativos.
Avance Teórico: El artículo desafía la universalidad de $\mu$ P, demostrando que diferentes elecciones arquitectónicas (específicamente esquemas de normalización) requieren diferentes suposiciones de alineación y leyes de escalado.
Eficiencia: Al eliminar la necesidad de decaimiento de pesos y calentamiento, al tiempo que habilita un escalado robusto, $\nu$ GPT ofrece una tubería de entrenamiento más simplificada y eficiente para modelos fundacionales de próxima generación.

En resumen, el artículo proporciona una solución rigurosa y fundamentada empíricamente al problema de escalado en transformadores normalizados, reemplazando el enfoque "talla única" de $\mu$ P con una parametrización a medida ( $\nu$ GPT) que respeta la dinámica única de las arquitecturas normalizadas.