📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

Este artículo demuestra que el exponente de escalamiento en las leyes de escalamiento neuronal no es una constante fija, sino que depende sistemáticamente del optimizador, de modo que los métodos preconicionados producen ganancias de rendimiento significativamente más pronunciadas que el descenso de gradiente estándar, particularmente bajo condiciones espectrales características del lenguaje natural.

Autores originales: Vansh Ramani, Shourya Vir Jain

Publicado 2026-05-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vansh Ramani, Shourya Vir Jain

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: No Se Trata Solo del Tamaño, Sino de Cómo Aprendes

Imagina que estás intentando aprender una cantidad masiva de información (como leer todos los libros de una biblioteca). En el mundo de la Inteligencia Artificial (IA), tenemos una regla llamada Ley de Escalamiento. Esta regla dice: "Si haces tu cerebro de IA más grande (añades más neuronas), se vuelve más inteligente, pero la cantidad en que mejora sigue una curva específica y predecible".

Durante mucho tiempo, los científicos pensaron que esta curva era fija. Creían que si duplicabas el tamaño de la IA, obtendrías una cantidad específica e inmutable de mejora, sin importar qué herramienta utilizaras para enseñarla.

Este artículo dice: "En realidad, la herramienta que usas para enseñar a la IA cambia la curva".

La "herramienta" se llama optimizador. Piensa en el optimizador como el profesor o el método de estudio. El artículo argumenta que algunos profesores son tan buenos organizando el proceso de aprendizaje que no solo hacen que la IA aprenda más rápido; de hecho, cambian las matemáticas fundamentales de cuánto mejora la IA a medida que se hace más grande.

La Analogía: La Biblioteca y el Bibliotecario

Para entender los hallazgos del artículo, usemos una analogía de una Biblioteca y un Bibliotecario.

1. La Biblioteca (Los Datos)

Imagina que los datos que la IA necesita aprender son una biblioteca.

La Biblioteca "Pendiente": La mayoría de los libros tratan sobre un tema popular (como "Cómo hornear pan"), y muy pocos libros tratan sobre temas oscuros (como "la agricultura de musgo del siglo XVIII"). En el mundo real, esto es como el lenguaje: unas pocas palabras se usan constantemente, y millones se usan raramente. Esto se llama un espectro pendiente.
La Biblioteca "Plana": Cada tema tiene exactamente el mismo número de libros. Esto es raro en la naturaleza pero fácil de imaginar.

2. El Estudiante (El Modelo de IA)

La IA es un estudiante que intenta leer estos libros para aprobar un examen. El estudiante tiene una cantidad limitada de tiempo (potencia de cómputo) y una memoria limitada (tamaño del modelo).

3. Los Profesores (Los Optimizadores)

Aquí es donde el artículo se vuelve interesante. Los autores probaron diferentes "profesores" (optimizadores) para ver cómo ayudan al estudiante a aprender.

Profesor A (Descenso de Gradiente Estándar / GD): Este profesor es como un estudiante que lee la biblioteca en orden. Lee los libros populares de "pan" primero porque son fáciles de encontrar. Para cuando llega a los libros de "agricultura de musgo", se le acaba el tiempo.
- Resultado: Se vuelve bueno en pan, pero terrible en musgo. A medida que la biblioteca crece, se queda atascado en lo popular e ignora el resto. Su curva de mejora se aplana rápidamente.
Profesor B (Optimizadores Precondicionados como Muon/Full NG): Este profesor es un organizador genio. Se da cuenta de que, aunque los libros de "musgo" son raros, siguen siendo importantes. Utilizan un mapa especial (llamado precondicionador) para hacer que los libros de "musgo" sean tan fáciles de alcanzar como los libros de "pan". Obligan al estudiante a aprender todo de manera uniforme.
- Resultado: El estudiante aprende un poco de todo. Como no está desperdiciando tiempo solo en lo popular, se vuelve mucho más inteligente a medida que crece la biblioteca.

El Descubrimiento Clave: El "Multiplicador Mágico"

El artículo realizó experimentos informáticos (usando un modelo matemático simplificado llamado "regresión de características aleatorias") para medir exactamente cuánto más inteligentes se volvían los estudiantes.

Descubrieron que cuando la biblioteca tiene un espectro pendiente (como el lenguaje humano real, donde algunas cosas son muy comunes y muchas son raras):

Profesor A (Estándar) se topa con un muro. El estudiante deja de mejorar mucho después de cierto tamaño.
Profesor B (Avanzado) sigue escalando. El estudiante se vuelve significativamente más inteligente con cada paso de aumento de tamaño.

El Número "Mágico":
El artículo midió un número llamado $\alpha$ (alfa). Este número representa la "tasa de mejora".

Para el profesor estándar, $\alpha$ fue bajo (aproximadamente 0.12).
Para el profesor avanzado, $\alpha$ fue mucho más alto (aproximadamente 0.31).

¿Por qué importa esto?
Porque estos números son exponentes, una pequeña diferencia crea una brecha enorme con el tiempo.

Si duplicas el tamaño de la IA con el profesor estándar, obtienes un pequeño impulso.
Si duplicas el tamaño con el profesor avanzado, obtienes un impulso 2.6 veces mayor.
Si sigues duplicando el tamaño, el profesor avanzado se aleja cada vez más. Es como el interés compuesto: la ventaja crece con cada paso.

El Problema: Depende de la Biblioteca

El artículo también encontró una condición crucial: Esta ventaja solo ocurre si la biblioteca es "pendiente".

Si la biblioteca es pendiente (como el lenguaje real): El profesor avanzado es un cambio de juego. Corrigen el desequilibrio y permiten que la IA aprenda de manera eficiente.
Si la biblioteca es plana (todo es igual): El profesor estándar ya está haciendo un buen trabajo porque no hay desequilibrio que corregir. El profesor avanzado no ofrece mucha ayuda extra aquí.

¿Qué pasa con la IA Real? (La "Pregunta Abierta")

Los autores tienen cuidado de decir que sus resultados provienen de un modelo matemático simplificado, no de una IA real y gigante como las que utilizan Google u OpenAI hoy en día.

Reconocen un conflicto en el mundo real:

Algunos estudios recientes dicen que los profesores avanzados (como Muon) son excelentes a pequeña escala, pero su ventaja se desvanece a medida que la IA se vuelve enorme.
Este artículo sugiere que en su modelo simplificado, la ventaja debería seguir creciendo.

La Conclusión:
El artículo propone que la "ventaja desvanecida" observada en la vida real podría ocurrir porque la IA real aprende características por sí misma (cambiando la estructura de la biblioteca), mientras que su modelo asume que la biblioteca permanece igual.

Resumen para el Público General

El Mito: "La IA más grande siempre se vuelve más inteligente a una tasa fija".
La Realidad: La tasa a la que la IA se vuelve más inteligente depende en gran medida de la herramienta matemática (optimizador) utilizada para entrenarla.
El Descubrimiento: Las herramientas avanzadas pueden actuar como un "ecualizador espectral". Evitan que la IA ignore información rara pero importante, permitiéndole aprender mucho más eficientemente a medida que crece.
La Condición: Este superpoder funciona mejor cuando los datos están "desequilibrados" (como el lenguaje humano). Si los datos están perfectamente equilibrados, las herramientas sofisticadas no ayudan mucho.
El Futuro: Necesitamos probar esto en modelos de IA reales y gigantes para ver si el "multiplicador mágico" se mantiene o si se desvanece a medida que los modelos se vuelven masivos.

En resumen: Elegir al profesor correcto no solo hace que el estudiante aprenda más rápido; cambia el techo de lo inteligente que el estudiante puede llegar a ser.

Resumen Técnico: Sobre la Dependencia del Optimizador en las Leyes de Escalamiento Neuronal

Enunciado del Problema
Las leyes de escalamiento neuronal postulan que la pérdida de prueba $L$ disminuye según una ley de potencias con el tamaño del modelo $N$ ( $L(N) \propto N^{-\alpha}$ ), donde el exponente $\alpha$ se trata tradicionalmente como una constante fija determinada por la arquitectura y la distribución de los datos. Este supuesto sustenta las estrategias de asignación de capacidad computacional para modelos de vanguardia. Sin embargo, resultados empíricos recientes sobre optimizadores de segundo orden (por ejemplo, Muon, SOAP, Shampoo) presentan evidencia contradictoria: algunos sugieren aceleraciones computacionales significativas frente a AdamW, mientras que otros indican que estas ganancias se atenúan a medida que aumenta el tamaño del modelo. Este artículo investiga una pregunta fundamental: ¿los optimizadores avanzados mejoran meramente el factor constante de la ley de escalamiento, o alteran fundamentalmente el propio exponente de escalamiento $\alpha$ ? Si $\alpha$ cambia, las implicaciones para las previsiones de escalamiento son profundas, ya que los cambios en el exponente se compounding con cada duplicación del tamaño del modelo, mientras que las mejoras del factor constante no lo hacen.

Metodología
Los autores investigan esta pregunta dentro del marco de regresión de características aleatorias (Maloney et al., 2022; Bordelon et al., 2024). Este entorno teórico aísla la interacción entre la estructura espectral de los datos, la precondicionamiento del optimizador y la capacidad del modelo fijando los pesos de las características y entrenando únicamente los pesos lineales de la capa superior.

Configuración Experimental: El estudio simula tareas de regresión con entradas extraídas de una distribución gaussiana con autovalores de ley de potencias $\lambda_i \propto i^{-(1+s)}$ , donde $s$ es el exponente espectral. Los datos de lenguaje natural se caracterizan por $s \approx 0.8\text{--}1.2$ .
Variantes de Optimizador: Se implementan cinco optimizadores como precondicionadores de gradiente:
1. GD: Línea base (precondicionador identidad).
2. Diagonal: Proxy para AdamW ( $P = \text{diag}(F^\top F)^{-1/2}$ ).
3. Full NG: Proxy para Shampoo/K-FAC ( $P = (F^\top F)^{-1}$ ).
4. Sign-GD: Un control negativo que utiliza actualizaciones de signo.
5. Matrix-Sign: Proxy para Muon ( $P = (F^\top F)^{-1/2}$ ), que iguala los valores singulares.
Protocolo: Los experimentos abarcan seis condiciones espectrales ( $s \in [0.25, 2.0]$ ) y ocho tamaños de modelo ( $N \in [25, 5000]$ ). Los exponentes de escalamiento $\alpha$ se ajustan mediante Mínimos Cuadrados Ordinarios (OLS) en gráficos log-log de pérdida frente al tamaño del modelo para $N \ge 200$ .

Contribuciones Clave

Medición Sistemática: El artículo proporciona la primera medición sistemática de $\alpha$ como una función conjunta del tipo de optimizador y la descomposición espectral de los datos a través de cinco variantes de precondicionador.
Explicación Mecanicista: Ofrece un heurístico espectral (Proposición 1) que explica que los optimizadores precondicionados igualan las tasas de aprendizaje por modo. Mientras que el Descenso de Gradiente (GD) "gasta en exceso" en modos de alta varianza y "gasta de menos" en modos de baja varianza, los precondicionadores rescatan los modos desatendidos, aumentando la capacidad efectiva utilizada en un $N$ dado.
Diagnóstico Espectral: Los autores proponen una regla de diagnóstico: el beneficio del precondicionamiento depende de la pendiente espectral $s$ . La ventaja es negligible para espectros planos ( $s < 0.3$ ) pero crece significativamente a medida que aumenta $s$ .
Predicción Falsable: El artículo predice que entrenar con datos de espectro artificialmente aplanado (por ejemplo, mediante blanqueamiento) debería hacer que la ventaja de optimizadores avanzados como Muon se reduzca o desaparezca.

Resultados

Dependencia del Optimizador de $\alpha$ : Los optimizadores precondicionados producen consistentemente un escalamiento más pronunciado (mayor $\alpha$ ) que GD. El ordenamiento es generalmente $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ .
Dependencia Espectral: La brecha $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ aumenta con el exponente espectral $s$ $s$ .
- En $s \approx 1.0$ (característico del lenguaje natural), el Gradiente Natural Completo logra $\alpha \approx 0.31$ frente a $\alpha \approx 0.12$ para GD, representando un exponente ajustado $2.6\times$ mayor.
- En $s \approx 0.5$ , las curvas son casi paralelas y la ventaja disminuye.
- En $s \approx 2.0$ , el exponente de GD colapsa a casi cero ( $\alpha \approx 0.01$ ), mientras que los optimizadores precondicionados se degradan con elegancia ( $\alpha \approx 0.20$ ).
Multiplicadores Computacionales: Traduciendo el desplazamiento de $\alpha$ a un multiplicador computacional efectivo, el modelo de características aleatorias predice una ventaja sustancial equivalente a parámetros para precondicionadores fuertes en $s \approx 1.0$ . Esto se alinea direccionalmente con informes empíricos recientes de aceleraciones computacionales de $\sim 1.4\times$ para Muon frente a AdamW en escalas moderadas (Chen et al., 2025).

Significado y Afirmaciones
El artículo argumenta que las previsiones de leyes de escalamiento deben tener en cuenta la elección del optimizador. Si los optimizadores precondicionados cambian el exponente $\alpha$ , las previsiones calibradas bajo AdamW podrían subestimar significativamente los retornos del escalamiento para modelos entrenados con optimizadores avanzados.

Sin embargo, los autores mantienen una postura modesta respecto a la transferencia de estos hallazgos a LLMs a gran escala:

Limitaciones: El modelo de características aleatorias opera en un régimen "perezoso" (características fijas) y omite la profundidad, la atención y la tokenización.
Decaimiento con la Escala: El artículo reconoce evidencia contradictoria (Wen et al., 2025) que sugiere que la ventaja de Muon/SOAP puede atenuarse en escalas muy grandes (por ejemplo, 1.2 mil millones de parámetros). Los autores proponen que esta atenuación podría deberse a efectos de $N$ finito, al aprendizaje de características que mitiga naturalmente el desequilibrio espectral, o a cambios en el espectro de datos efectivo a gran escala.
Conclusión: La contribución principal es establecer que el exponente de escalamiento no es una constante fija del par arquitectura/datos, sino que depende sistemáticamente de la interacción del optimizador con el espectro de los datos. El artículo pide una validación con modelos reales para determinar si este desplazamiento del exponente persiste o se atenúa en el régimen "rico" del aprendizaje de características.