📊 statistics

A Proof of Learning Rate Transfer under $μ$ P

Este artículo presenta la primera demostración teórica de que la parametrización $\mu$ P permite la transferencia de la tasa de aprendizaje al aumentar el ancho de una red neuronal, garantizando que la tasa óptima converja a una constante no nula, a diferencia de otras parametrizaciones como SP y NTP.

Autores originales: Soufiane Hayou

Publicado 2026-02-26

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Soufiane Hayou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que estás construyendo un edificio. Si tienes un plano para una casa pequeña (un modelo de inteligencia artificial pequeño), sabes exactamente cuánta pintura necesitas y qué tipo de herramientas usar. Pero, ¿qué pasa si decides construir un rascacielos (un modelo gigante)?

La pregunta clave de este artículo es: ¿Necesitas cambiar tus herramientas y la cantidad de pintura cuando pasas de la casa al rascacielos, o puedes usar exactamente las mismas?

Aquí te explico la investigación de Soufiane Hayou de forma sencilla, usando analogías:

1. El Problema: El "Dilema del Rascacielos"

En el mundo de la Inteligencia Artificial, los modelos se vuelven cada vez más grandes (más "anchos"). Para entrenarlos, necesitamos ajustar un botón llamado Tasa de Aprendizaje (Learning Rate).

Imagina que la Tasa de Aprendizaje es la velocidad a la que caminas mientras aprendes un nuevo idioma.
Si caminas muy rápido, te tropiezas y no aprendes. Si caminas muy lento, tardas años.
El problema: En la práctica, cuando los científicos hacían modelos más grandes, tenían que cambiar la velocidad de aprendizaje. A veces tenían que reducirla a la mitad, a veces a la décima parte. Era como si cada vez que hacías el edificio más alto, tu "velocidad de caminata" ideal cambiara por completo. Esto hacía muy difícil y costoso entrenar modelos gigantes.

2. La Solución Mágica: "µP" (Maximal Update Parametrization)

Hace unos años, unos investigadores (Yang y Hu) descubrieron una forma especial de construir estos modelos, llamada µP (Maximal Update Parametrization).

La analogía: Imagina que µP es como usar un plano arquitectónico universal. Si sigues este plano especial, la física del edificio cambia de tal manera que, sin importar si construyes una casa de 2 pisos o un rascacielos de 100 pisos, la velocidad ideal para caminar sigue siendo la misma.
Esto se llama "Transferencia de Tasa de Aprendizaje". Significa que puedes probar la velocidad perfecta en un modelo pequeño y usarla directamente en uno gigante sin tener que adivinar de nuevo.

3. ¿Qué demuestra este artículo? (La Prueba)

Antes de este trabajo, todos creían que µP funcionaba así porque lo habían visto en experimentos, pero nadie tenía la prueba matemática definitiva. Era como ver que un truco de magia funcionaba siempre, pero sin saber por qué.

Soufiane Hayou ha escrito la primera prueba matemática rigurosa de que esto es verdad.

Lo que hizo: Analizó matemáticamente cómo se comporta el modelo cuando se hace infinitamente grande.
El hallazgo: Demostró que, bajo las reglas de µP, la velocidad óptima de aprendizaje converge a un número fijo y constante (no cero, no infinito) a medida que el modelo crece.
En español: Matemáticamente, probó que el "botón de velocidad" se queda quieto y estable, sin importar cuán grande sea el modelo.

4. ¿Por qué fallan los otros métodos? (SP y NTP)

El artículo también compara µP con métodos antiguos (llamados SP y NTP).

La analogía: Imagina que los métodos antiguos son como construir con bloques de juguete que se deforman. Si haces la torre más alta, los bloques de abajo se aplastan y la torre se tambalea. Para que no se caiga, tienes que caminar cada vez más lento (reducir la tasa de aprendizaje) a medida que subes.
El resultado: Bajo estos métodos antiguos, la velocidad óptima tiende a cero cuando el modelo es gigante. Es decir, para entrenar un modelo enorme con métodos viejos, tendrías que caminar tan lento que nunca llegarías a ningún lado.

5. La Conclusión: ¿Por qué importa esto?

Este trabajo es como encontrar la ley de la gravedad para entrenar redes neuronales grandes.

Ahorro de tiempo y dinero: Ahora sabemos matemáticamente que podemos entrenar modelos pequeños, encontrar la velocidad perfecta, y aplicarla a modelos gigantes (como los que usan las grandes empresas de IA) sin gastar millones en pruebas y errores.
Confianza: Ya no es solo una "intuición" o una "suerte" en los experimentos; es una ley matemática probada.

En resumen:
Este papel nos dice que, si usas la forma correcta de construir (µP), la inteligencia artificial escala perfectamente. Puedes entrenar un "cachorro" de IA, aprender a cómo manejarlo, y luego usar esas mismas habilidades para manejar un "elefante" de IA sin tener que volver a aprender nada. ¡Es como tener un control remoto que funciona igual de bien para un coche de juguete y para un camión real!

Resumen Técnico: Una Prueba de Transferencia de Tasa de Aprendizaje bajo µP

1. Problema y Contexto

El éxito actual de la Inteligencia Artificial se basa en el escalado de modelos (aumento de ancho y profundidad). Sin embargo, al escalar estos modelos, los hiperparámetros (HPs), especialmente la tasa de aprendizaje ( $\eta$ ), suelen requerir un ajuste costoso y específico para cada tamaño de modelo.

Existe un fenómeno empírico conocido como Transferencia de Hiperparámetros (HP Transfer): bajo ciertas parametrizaciones, los hiperparámetros óptimos convergen a un valor constante a medida que el ancho del modelo ( $n$ ) tiende a infinito. Esto permitiría ajustar un modelo pequeño y aplicar esos mismos hiperparámetros a modelos mucho más grandes sin costo adicional de ajuste.

La Parametrización Maximal Update (µP), introducida por Yang y Hu, fue diseñada para maximizar el aprendizaje de características en el límite de ancho infinito y se observó empíricamente que permite esta transferencia.
La Brecha Teórica: A pesar de la evidencia empírica, no existía una demostración matemática rigurosa de que la tasa de aprendizaje óptima convergiera a una constante no nula bajo µP, ni una explicación formal de por qué fallaba en otras parametrizaciones como la Estándar (SP) o la del Kernel Tangente Neuronal (NTP).

2. Metodología y Marco Teórico

El autor aborda el problema mediante un análisis asintótico riguroso de redes neuronales lineales profundas (MLP) en el límite de ancho infinito.

2.1. Definiciones y Configuración

Modelo: Se considera un MLP lineal de $L$ capas: $f(x) = V^\top W_L \dots W_1 W_0 x$ .
Parametrización Neuronal: Se definen exponentes de escala para la inicialización y la tasa de aprendizaje en función del ancho $n$ $n$ .
- µP (Maximal Update): $W_\ell \sim \mathcal{N}(0, n^{-1})$ , $V \sim \mathcal{N}(0, n^{-2})$ , y $\eta$ es constante ( $c=0$ para GD).
- SP (Standard Parametrization): $V \sim \mathcal{N}(0, n^{-1})$ (el resto igual a µP), con $\eta$ constante.
Objetivo: Demostrar que la tasa de aprendizaje óptima $\eta_n^*$ converge en probabilidad a una constante determinista $\eta_\infty^* > 0$ cuando $n \to \infty$ bajo µP, y que esto no ocurre bajo SP.

2.2. Enfoque de la Prueba

La estrategia central del artículo es tratar la función de pérdida de entrenamiento como una función polinómica de la tasa de aprendizaje $\eta$ .

Expansión Polinómica: Para un número fijo de pasos de entrenamiento $t$ , la salida del modelo $f^{(t)}(x)$ y, por ende, la pérdida $\mathcal{L}_n^{(t)}(\eta)$ , pueden expresarse como polinomios en $\eta$ .
Análisis de Coeficientes: Se estudia el comportamiento asintótico de los coeficientes de estos polinomios a medida que $n \to \infty$ $n \to \infty$ .
- Bajo µP, los coeficientes de los términos de grado superior ( $\eta^k$ con $k \ge 2$ ) tienden a cero, mientras que el coeficiente del término lineal ( $\eta^1$ ) converge a una constante no nula. Esto hace que la pérdida sea "cuasi-cuadrática" asintóticamente.
- Bajo SP, la inicialización de la capa de salida $V$ con varianza $n^{-1}$ (en lugar de $n^{-2}$ ) amplifica los coeficientes, alterando el equilibrio de la función de pérdida y haciendo que el óptimo se desplace.
Convergencia de Mínimos: Utilizando teoremas de convergencia de polinomios (basados en el marco de Tensor Programs), se demuestra que si los coeficientes del polinomio de pérdida convergen a una función límite con un mínimo único, entonces el mínimo del polinomio finito ( $\eta_n^*$ ) converge al mínimo del polinomio límite ( $\eta_\infty^*$ ).

3. Contribuciones Clave

Primera Prueba Rigurosa: El artículo proporciona la primera demostración matemática formal de la transferencia de la tasa de aprendizaje bajo µP para redes lineales profundas de cualquier profundidad.
Caracterización del Límite: Se deriva una expresión cerrada para la tasa de aprendizaje óptima límite $\eta_\infty^*$ en el paso $t=1$ :
$\eta_\infty^{(1)} = \frac{m}{L} \frac{y^\top K y}{\|Ky\|^2}$
donde $K$ es la matriz Gram de los datos de entrada normalizada y $y$ son las etiquetas.
Contraste con Otras Parametrizaciones: Se demuestra teóricamente que bajo la Parametrización Estándar (SP), la tasa de aprendizaje óptima converge a cero ( $\eta_n^* \to 0$ ) a medida que $n$ crece, lo que implica que la transferencia de hiperparámetros falla y requiere un ajuste costoso.
Generalización a Múltiples Pasos: Se extiende la prueba a cualquier paso de entrenamiento $t \ge 1$ , demostrando que, aunque la dependencia polinómica se vuelve más compleja (términos de orden superior no despreciables), la convergencia a un óptimo no nulo bajo µP se mantiene bajo condiciones suaves.

4. Resultados Principales

4.1. Teorema de Transferencia en $t=1$ (Teorema 1)

Bajo µP, la tasa de aprendizaje óptima $\eta_n^{(1)}$ converge en probabilidad a $\eta_\infty^{(1)} > 0$ con una tasa de convergencia de $O(n^{-1/2})$ .

Evidencia Empírica: Los experimentos muestran que para anchos $n$ crecientes (hasta 8192), la tasa óptima se estabiliza rápidamente alrededor del valor teórico predicho, confirmando la transferencia.

4.2. Fallo de Transferencia bajo SP (Teorema 2)

Bajo SP, la tasa de aprendizaje óptima $\eta_n^{(1)}$ converge a 0 en probabilidad.

Interpretación: La inicialización estándar no permite que las actualizaciones de características (feature updates) sean significativas en el límite infinito, forzando a la tasa de aprendizaje a disminuir para evitar inestabilidad, lo que rompe la transferencia.

4.3. Resultados para $t \ge 2$ (Teorema 3)

Aunque la pérdida se vuelve un polinomio de grado superior (no lineal en $\eta$ ) para $t \ge 2$ , se demuestra que bajo µP, la pérdida límite $\mathcal{L}_\infty^{(t)}(\eta)$ sigue teniendo un minimizador único y no nulo.

Simulaciones: Se verificó que la transferencia se mantiene en pasos $t=5$ y $t=10$ , y que el rango de tasas de aprendizaje cercanas al óptimo se ensancha a medida que avanza el entrenamiento.

4.4. Robustez Empírica (Sección 5)

Aunque la teoría se centra en redes lineales, los experimentos adicionales muestran que la transferencia de LR bajo µP también se observa en:

Redes con activaciones no lineales (ReLU).
Optimizadores avanzados (Adam).
Diferentes profundidades ( $L=3, 9, 27$ ).
Datos sintéticos no lineales.

5. Significado e Impacto

Este trabajo es fundamental por varias razones:

Validación Teórica de µP: Proporciona la justificación matemática necesaria para el uso de µP en la práctica, confirmando que la "transferencia de hiperparámetros" no es solo un artefacto empírico, sino una propiedad inherente a la parametrización que maximiza el aprendizaje de características.
Reducción de Costos de Entrenamiento: Al demostrar que $\eta$ converge a una constante, valida la estrategia de "ajuste cero" (zero-shot tuning): se puede encontrar la tasa de aprendizaje óptima en un modelo pequeño y aplicarla directamente a modelos masivos, ahorrando recursos computacionales significativos.
Clarificación de la Dinámica de Entrenamiento: Diferencia claramente entre el régimen de "entrenamiento perezoso" (NTK/SP, donde las características no aprenden y la LR debe ir a cero) y el régimen de "aprendizaje de características" (µP), donde la dinámica es estable y óptima.
Herramientas Analíticas: Introduce un marco para analizar la convergencia de hiperparámetros mediante el estudio de polinomios aleatorios y sus límites asintóticos, una metodología que puede extenderse a otros hiperparámetros y arquitecturas.

En conclusión, el artículo cierra la brecha entre la observación empírica y la teoría en el campo del escalado de redes neuronales, estableciendo µP como la parametrización teóricamente fundamentada para el entrenamiento eficiente de modelos a gran escala.