🤖 machine learning

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

Este documento de posición argumenta que, si bien los exponentes de las leyes de escala neuronal están fijados por mecanismos universales como la no linealidad Softmax y la superposición representacional, los coeficientes —que dictan el rendimiento práctico y las configuraciones óptimas del modelo— son sensibles a detalles específicos de los datos y de la arquitectura, lo que convierte su comprensión en la clave para las mejoras de la IA a corto plazo.

Autores originales: Yizhou Liu, Jeff Gore

Publicado 2026-06-25

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yizhou Liu, Jeff Gore

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: La "Receta" frente a los "Ingredientes"

Imagina que estás intentando hornear el pan perfecto (un Modelo de Lenguaje de Gran Escala o LLM). Durante mucho tiempo, los científicos han observado un patrón: si duplicas la cantidad de harina, agua o el tiempo de horneado, el pan mejora de una manera predecible. Esto se llama una "ley de escala" (scaling law).

Este artículo argumenta que las reglas de cómo mejora el pan (la matemática detrás de la receta) son en realidad fijas e inalterables, como las leyes de la física. Sin embargo, la calidad de los ingredientes (los datos y las decisiones de diseño específicas) cambia qué tan bueno sabe el pan, incluso si las reglas permanecen iguales.

Los autores llaman a esto "Universalidad de Escala Neuronal" (Neural Scaling Universality). Significa que, sin importar cómo ajustes el modelo, la "velocidad" a la que aprende sigue tres reglas fijas. Lo único que cambia es el "punto de partida" o la "eficiencia" del proceso.

Las Tres Reglas Fijas (Los Exponentes)

El artículo dice que, a medida que entrenas un modelo, los errores (equivocaciones) que comete disminuyen siguiendo tres patrones específicos. Piensa en esto como tres diferentes "límites de velocidad" para el aprendizaje:

1. El Límite de Velocidad de "Softmax" (Tiempo)

La Analogía: Imagina que estás intentando encontrar una aguja en un pajar, pero el pajar está hecho de imanes que se vuelven más fuertes cuanto más te acercas. Al principio, te mueves lentamente. Pero a medida que te acercas a la aguja, los imanes te atraen cada vez más rápido.
La Ciencia: El artículo dice que, debido a una función matemática específica llamada "Softmax" (utilizada para hacer predicciones), el modelo aprende de una manera determinada. Los errores caen a un ritmo fijo relacionado con el tiempo (específicamente, la raíz cúbica del tiempo). Esto sucede porque la matemática se vuelve muy "no lineal" (curva) cuando el modelo tiene confianza.
La Conclusión: No puedes cambiar este límite de velocidad. Está integrado en la matemática de cómo piensa el modelo.

2. El Límite de la "Habitación Atestada" (Ancho)

La Analogía: Imagina una habitación pequeña (la memoria del modelo) donde intentas meter a un millón de personas diferentes (conceptos/palabras). Si la habitación es demasiado pequeña, la gente tiene que encimarse o compartir espacio. Esto causa "interferencia geométrica": personas chocando entre sí, lo que dificulta escuchar con claridad.
La Ciencia: Esto se llama "superposición" (superposition). El modelo intenta empaquetar más características en menos dimensiones. Los errores disminuyen a medida que haces la habitación más ancha (aumentas el ancho del modelo), pero la mejora sigue una regla estricta: duplica el ancho, reduce a la mitad el error.
La Conclusión: El límite aquí es cuánta información puedes comprimir en el "cerebro" del modelo sin que se vuelva desordenado.

3. El Límite del "Trabajo en Equipo" (Profundidad)

La Analogía: Imagina una carrera de relevos con muchos corredores (capas en el modelo). Si cada corredor comete un pequeño error, el equipo aún puede ganar si promedian sus errores. Pero si todos los corredores hacen exactamente lo mismo, no se ayudan mucho entre sí.
La Ciencia: El artículo sugiere que las capas de los Transformers funcionan como un equipo que promedia sus errores. Cuantas más capas añades, mejor se vuelve el equipo para corregir errores, pero nuevamente, sigue una regla fija: duplica las capas, reduce a la mitad el error.
La Conclusión: Añadir más capas ayuda, pero el beneficio sigue un patrón predecible y fijo.

El Problema Real: Los Coeficientes (Los "Ingredientes")

Si las reglas (exponentes) son fijas, ¿por qué algunos modelos funcionan mejor que otros? La respuesta reside en los coeficientes.

La Analogía: Piensa en las reglas fijas como las leyes de la física para hornear. No puedes cambiar el hecho de que el calor cocina la masa. Pero el coeficiente es la calidad de tu harina, la temperatura de tu horno y la habilidad de tu panadero.
Lo que dice el Artículo: Los "coeficientes" son los números en la matemática que te dicen cuánto error te queda. Estos números dependen enteramente de:
- Los Datos: Qué tan diversos y de alta calidad es el texto.
- La Arquitectura: Las decisiones de diseño específicas (como cómo el modelo maneja la atención o la normalización).
Por qué Importa: Dado que los "límites de velocidad" (exponentes) son fijos, la única forma de hacer un mejor modelo ahora mismo es mejorar estos coeficientes. Si puedes ajustar tu diseño o tus datos para reducir el coeficiente, obtienes un mejor modelo sin romper las leyes de la física.

Resultados Prácticos: Encontrando el "Punto Dulce"

El artículo utiliza estas reglas para determinar la forma perfecta de un modelo.

La Forma: ¿Qué tan ancho debe ser el modelo en comparación con su profundidad?
- El artículo calcula que existe una proporción "Goldilocks" (ni muy poco, ni mucho, sino el punto justo). Si tienes un presupuesto fijo de potencia de cómputo, no deberías simplemente hacer el modelo enorme en una sola dirección. Necesitas un equilibrio específico (aproximadamente 64 veces más ancho que profundo, según sus datos sobre modelos Chinchilla).
- Buenas Noticias: El artículo dice que el "paisaje" es plano aquí. Esto significa que no necesitas ser perfecto. Estar cerca de la proporción correcta es casi tan bueno como ser exacto.
Los Datos vs. Los Pasos:
- Mucha gente teme que nos estamos "quedando sin datos". Este artículo argumenta que el pre-entrenamiento está en realidad limitado por los pasos (steps), no por los datos.
- La Analogía: No es que te hayas quedado sin libros para leer; es que dejaste de leer antes de terminar la oración. Puedes obtener mejores resultados dando más "pasos" (pasos de optimización) con los datos que ya tienes, en lugar de solo acumular más datos únicos.
La Frontera de Cómputo:
- El artículo confirma que si equilibras perfectamente el tamaño del modelo y el tamaño de los datos, el error cae a una tasa de un sexto de la potencia de cómputo total utilizada. Esta es la "frontera de cómputo óptima".

Resumen

Las Reglas son Fijas: La forma en que los modelos de IA aprenden sigue tres patrones matemáticos inalterables (Tiempo, Ancho, Profundidad) causados por la naturaleza de la matemática (Softmax) y cómo trabajan juntas las capas.
Las Variables son Flexibles: La calidad del aprendizaje (los coeficientes) depende de tus datos y de tus decisiones de diseño.
El Objetivo: Para construir una mejor IA, no debemos buscar solo nuevas "leyes de la física". En su lugar, debemos enfocarnos en ajustar nuestros "ingredientes" (datos y arquitectura) para reducir los coeficientes de error, encontrando el equilibrio perfecto entre el tamaño del modelo y los datos para obtener el máximo provecho de nuestra inversión.

El artículo concluye que actualmente nos encontramos en una "clase de universalidad" específica (un conjunto de reglas determinado). Para lograr una IA aún mejor en el futuro, podríamos necesitar encontrar la manera de romper estas reglas actuales, pero por ahora, dominar los coeficientes es la clave para la mejora inmediata.

Resumen Técnico: Universalidad del Escalamiento Neuronal

Planteamiento del Problema

Las leyes de escalamiento neuronal describen la disminución de la pérdida de preentrenamiento como leyes de potencia con respecto al tiempo de entrenamiento, el tamaño del modelo y el cómputo. Si bien estas leyes de potencia han sido instrumentales en el éxito de los Grandes Modelos de Lenguaje (LLMs), sus orígenes mecánicos siguen siendo mayormente empíricos. La visión predominante atribuye estas leyes de potencia a las distribuciones de ley de potencia inherentes a los datos de entrenamiento (por ejemplo, frecuencias de características), lo que sugiere que los exponentes de la pérdida son sensibles a estructuras de datos específicas. Esto deja abiertas preguntas sobre la generalizabilidad de las leyes de escalamiento a escalas mayores y el potencial para mejoras adicionales de velocidad. El artículo aborda la necesidad de determinar si los exponentes de escalamiento están fijados por mecanismos arquitectónicos genéricos o si son contingentes a los detalles de los datos, y si los coeficientes de estas leyes contienen la clave para mejoras de rendimiento a corto plazo.

Metodología

El artículo sintetiza y extiende una trilogía de trabajos recientes [15–17] para proponer una hipótesis de Universalidad del Escalamiento Neuronal. La metodología consiste en:

Descomposición Teórica: Los autores descomponen la pérdida de preentrenamiento ( $L$ ) en tres términos asintóticos distintos basados en mecanismos genéricos:
- Escalamiento de Tiempo: Impulsado por la fuerte no linealidad de la función Softmax al aprender distribuciones de picos (baja entropía), lo que conduce a un decaimiento de la pérdida de $L \sim \tau^{-1/3}$ , donde $\tau$ es el tiempo dinámico.
- Escalamiento de Ancho: Impulsado por la "superposición", donde los modelos codifican más características de las dimensiones disponibles, causando interferencia geométrica. Esto resulta en una pérdida residual de $L \sim m^{-1}$ , donde $m$ es la dimensión de incrustación (ancho).
- Escalamiento de Profundidad: Impulsado por el promedio de errores de un conjunto (ensemble averaging) a través de las capas Transformer, que actualizan los estados ocultos de manera incremental en lugar de jerárquica. Esto produce $L \sim \ell^{-1}$ , donde $\ell$ es la profundidad.
Fórmula de Pérdida Unificada: Estos mecanismos se combinan en una fórmula de pérdida asintótica aditiva:
$L = \frac{c_\tau}{\tau^{1/3}} + \frac{c_m}{m} + \frac{c_\ell}{\ell} + L_0$
donde $c_\tau, c_m, c_\ell$ son coeficientes que absorben las especificidades de los datos y la arquitectura, y $L_0$ es la pérdida irreducible.
Validación Empírica: Los autores ajustan esta fórmula de exponente fijo a datos empíricos de múltiples familias de modelos, incluyendo Pythia, Chinchilla, GPT-3 y Farseer.
- Tratan los exponentes como fijos (por ejemplo, $1/3$ para el tiempo, $1$ para ancho/profundidad) y varían únicamente los coeficientes.
- Analizan la relación entre el tamaño del conjunto de datos ( $D$ ) y el tiempo dinámico ( $\tau$ ), argumentando que en regímenes de entrenamiento en línea, $D \propto \tau$ , lo que permite la transferencia del escalamiento de tiempo al escalamiento del tamaño del conjunto de datos.
- Derivan formas de modelos óptimas y fronteras de cómputo-óptimas minimizando la función de pérdida con respecto a los parámetros del modelo ( $N$ ) y el cómputo ( $C$ ).

Contribuciones Clave

1. La Hipótesis de la Universalidad del Escalamiento Neuronal

El artículo postula que las leyes de escalamiento neuronal pertenecen a una "clase de universalidad" específica definida por exponentes fijos determinados por mecanismos genéricos (no linealidad de Softmax, superposición y promedio de capas). Dentro de esta clase, las variaciones en las estructuras de datos o los detalles arquitectónicos alteran principalmente los coeficientes ( $c_\tau, c_m, c_\ell$ ) en lugar de los exponentes.

2. Orígenes Mecanísticos de los Exponentes Fijos

El artículo proporciona explicaciones mecánicas específicas para los exponentes observados:

Escalamiento de Tiempo $1/3$ : Surge de la dinámica no lineal de Softmax al alcanzar distribuciones de picos, análogo a la expansión de baja temperatura.
Escalamiento de Ancho Inverso ($1$): Surge de la interferencia geométrica de las características superpuestas.
Escalamiento de Profundidad Inverso ($1$): Surge del promedio de errores a través de las capas con actualizaciones funcionales similares.

3. Derivación de Arquitecturas y Fronteras Óptimas

Al tratar los coeficientes como las variables principales, el artículo deriva:

Forma de Modelo Óptima: La relación óptima de ancho a profundidad ( $m/\ell$ ) está determinada por la relación de los coeficientes $c_m / c_\ell$ . En este óptimo, las contribuciones de pérdida de ancho y profundidad siguen una relación de $2:1$ .
Escalamiento del Tamaño del Modelo: En la forma óptima, la pérdida decae como $N^{-1/3}$ (donde $N$ es el recuento de parámetros).
Frontera de Cómputo-Óptima: Al minimizar la pérdida para un cómputo fijo ( $C \approx 6ND$ ), el artículo deriva una relación óptima de tokens a parámetros ( $D/N$ ) y un escalamiento de pérdida de cómputo-óptimo de $C^{-1/6}$ .

4. Cambio de Preentrenamiento Limitado por Datos a Limitado por Pasos

Los autores argumentan que el preentrenamiento es fundamentalmente limitado por pasos (restringido por la dinámica de optimización) en lugar de limitado por datos. Dado que el escalamiento del tamaño del conjunto de datos es una consecuencia secundaria del escalamiento de tiempo ( $D \propto \tau$ ), se puede lograr una mayor reducción de la pérdida realizando más pasos de optimización (potencialmente reutilizando datos) en lugar de aumentar únicamente el volumen de datos únicos, siempre que la calidad y diversidad de los datos sean suficientes.

Resultados

El artículo valida la clase de universalidad propuesta mediante el ajuste extensivo de datos empíricos:

Modelos Pythia: El decaimiento de la pérdida a través del tiempo de entrenamiento, el ancho y la profundidad se alinea bien con la fórmula de exponente fijo ( $1/3, 1, 1$ ).
Modelos Chinchilla: Los datos respaldan el derivado escalamiento de $1/3$ del tamaño del conjunto de datos y el escalamiento de $1/3$ del tamaño del modelo. La relación de aspecto óptima predicha por los coeficientes ajustados ( $m/\ell \approx 64$ ) coincide estrechamente con las formas reales de los modelos Chinchilla. Los puntos de cómputo-óptimos siguen el predicho $N \propto C^{1/2}$ y $L \propto C^{-1/6}$ .
Modelos Farseer: Esta familia, que sigue estrictamente $m \propto \ell$ , se sitúa precisamente en la línea óptima predicha. A pesar de la degeneración para identificar los coeficientes individuales de ancho/profundidad, los componentes de tamaño de modelo y tamaño de conjunto de datos de la pérdida aún concuerdan bien con el escalamiento de $1/3$ .
Variabilidad de Coeficientes: El análisis a través de diferentes familias de modelos (Pythia, GPT-3, Farseer, Chinchilla) muestra que, mientras los exponentes permanecen fijos, los coeficientes ( $c_\tau, c_m, c_\ell$ ) y las relaciones óptimas derivadas varían, confirmando su sensibilidad a las elecciones de datos y arquitectura.

Significado y Reivindicaciones

El artículo afirma que comprender los coeficientes es la clave para las mejoras de rendimiento a corto plazo en los LLMs, en lugar de buscar nuevos exponentes.

Prescripción de Diseño: Los coeficientes proporcionan una base principal para el diseño de arquitecturas (por ejemplo, determinar la relación óptima $m/\ell$ ) y la asignación de cómputo (determinar la relación óptima $D/N$ ).
Universalidad vs. Dependencia de Datos: El artículo desafía la visión convencional de que los exponentes de la pérdida dependen de las leyes de potencia de los datos. En su lugar, argumenta que los exponentes son robustos y están fijados por propiedades de alto nivel (uso de Softmax, objetivos de baja entropía), mientras que las estructuras de datos influyen principalmente en los coeficientes.
Vías de Mejora: Al examinar de cerca los coeficientes, los investigadores pueden identificar vías hacia mejores clases de universalidad o mejoras dentro de la clase actual. El artículo sugiere que modificar las arquitecturas (funciones de activación, mecanismos de atención) o la composición de los datos puede desplazar los coeficientes, mejorando así el piso de la pérdida y la eficiencia del cómputo sin cambiar los exponentes de escalamiento fundamentales.

Los autores concluyen que, aunque la hipótesis de los exponentes fijos requiere mayor verificación, la evidencia de [15–17] y los ajustes empíricos actuales la hacen plausible. Por consiguiente, el enfoque de la comunidad debe desplazarse hacia la caracterización y optimización de los coeficientes que definen la clase de universalidad actual.