📊 statistics

Universal One-third Time Scaling in Learning Peaked Distributions

Este artículo demuestra que la convergencia de ley de potencia, costosa computacionalmente y lenta, observada en el entrenamiento de grandes modelos de lenguaje, es una consecuencia intrínseca del uso de softmax y entropía cruzada para aprender distribuciones con picos, lo que resulta universalmente en un exponente de escalado temporal de 1/3.

Autores originales: Yizhou Liu, Ziming Liu, Cengiz Pehlevan, Jeff Gore

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yizhou Liu, Ziming Liu, Cengiz Pehlevan, Jeff Gore

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a terminar tus frases. Le das millones de libros y este comienza a aprender los patrones del lenguaje humano. Pero aquí está el truco: a medida que el robot se hace más grande y le proporcionas más datos, no se vuelve perfecto instantáneamente. En cambio, mejora de una manera muy específica y lenta. Es como observar un coche subiendo una colina donde, cuanto más empinada se vuelve, más lento va, siguiendo una curva predecible. Los científicos llaman a esto "escalado neuronal", y durante mucho tiempo, pensaron que esta curva lenta ocurría porque los datos en sí eran desordenados o complicados, como una biblioteca donde algunos libros son raros y otros están en todas partes. Supusieron que el robot simplemente estaba teniendo dificultades para encontrar los libros raros. Pero, ¿y si el robot no tiene dificultades debido a la biblioteca, sino debido a la forma en que piensa? Este artículo profundiza en ese misterio, observando los "engranajes" matemáticos dentro del cerebro del robot para ver por qué el aprendizaje se ralentiza y si podemos predecir exactamente qué tan lento será.

Los autores de este estudio, Yizhou Liu, Ziming Liu, Cengiz Pehlevan y Jeff Gore, decidieron dejar de adivinar sobre la biblioteca desordenada y, en su lugar, observar el motor interno del robot. Construyeron una versión diminuta y simplificada de un modelo de lenguaje —un "modelo de juguete"— para ver qué sucede cuando intenta aprender un tipo de patrón muy específico: una distribución "picoide" (peaked). Imagina un pronóstico del tiempo que dice que hay un 99% de probabilidad de lluvia y un 1% de probabilidad de sol. Esa es una distribución picoide; la respuesta es casi segura, pero el modelo debe ser muy preciso para lograrlo.

Cuando entrenaron su modelo de juguete para predecir estos resultados nítidos y ciertos, descubrieron algo sorprendente. La curva de aprendizaje de ley de potencia, lenta, no se debía a que los datos fueran difíciles; se debía a dos herramientas específicas que el modelo utiliza: softmax y entropía cruzada (cross-entropy). Puedes pensar en softmax como una "máquina de votación" que convierte números brutos en probabilidades (asegurándose de que sumen el 100%) y en entropía cruzada como la "tarjeta de puntuación" que le dice al modelo qué tan equivocado está. El artículo muestra que cuando combinas estas dos herramientas para aprender una respuesta muy nítida y cierta, la matemática obliga a que la velocidad de aprendizaje se ralentice de una manera muy específica. Sin importar cómo ajustes los datos o el tamaño del modelo, el error (la pérdida) cae a un ritmo que sigue una regla universal: escala con el tiempo elevado a la potencia de 1/3.

Para ponerlo en una analogía lúdica: Imagina que estás intentando equilibrar un lápiz sobre su punta. Al principio, es fácil hacer pequeños ajustes. Pero a medida que el lápiz se acerca a estar perfectamente vertical (el estado "picoide"), el más mínimo bamboleo importa cada vez más. El artículo sugiere que la forma en que el modelo calcula sus errores hace que se sienta como si estuviera caminando a través de miel espesa a medida que se acerca a la respuesta perfecta. La "miel" no son los datos; es la matemática de la máquina de votación y la tarjeta de puntuación. Los autores descubrieron que en esta "miel", el error no cae rápidamente; cae a un ritmo constante y predecible donde, si duplicas el tiempo que pasas entrenando, el error solo cae por una fracción específica, no a la mitad. Esta fracción es exactamente la raíz cúbica del tiempo, o 1/3.

Los investigadores no se detuvieron solo en su diminuto modelo de juguete. Querían saber si este efecto de la "miel" era real en los modelos de lenguaje gigantes y reales que usamos hoy en día, como los modelos Pythia y Olmo. Observaron los datos de entrenamiento de estos modelos masivos y descubrieron que, de hecho, los modelos estaban operando en este régimen de "baja temperatura" (muy nítido y cierto). Cuando graficaron las tasas de error de estos modelos gigantes contra el tiempo que pasaron entrenando, los datos se alinearon perfectamente con su predicción. El error estaba cayendo con un exponente de ley de potencia de 1/3. Esto sugiere que el aprendizaje lento que vemos en la gran IA no es un error o una señal de datos desordenados; es una característica fundamental de cómo están construidos estos modelos.

El artículo también exploró qué sucede si intentas acelerar las cosas. Descubrieron que si haces la tasa de aprendizaje (qué tan grande es el paso que da el modelo) demasiado grande, el modelo se confunde y no puede seguir el camino a través de la miel. Pero si mantienes los pasos pequeños y constantes, el modelo sigue la regla del 1/3 perfectamente. Curiosamente, también descubrieron que incluso si el modelo no está perfectamente alineado con el maestro al principio, eventualmente cae en este ritmo. El único momento en que esta regla se rompe es si los datos son muy "planos" o inciertos (como un pronóstico del tiempo con 50% de lluvia y 50% de sol), en cuyo caso el aprendizaje es rápido y exponencial, no una ley de potencia lenta.

Entonces, ¿qué significa esto para el futuro? Los autores sugieren que si queremos entrenar la IA más rápido, es posible que necesitemos repensar la "máquina de votación" y la "tarjeta de puntuación" que utilizamos. Tal vez necesitemos nuevas herramientas que no se queden atrapadas en la miel cuando la respuesta es muy cierta. También señalan que este descubrimiento explica por qué experimentos previos vieron un exponente de 1/3 (o cercano a él, como 0.28 o 0.30) sin darse cuenta de por qué. No fue una coincidencia; era la matemática del propio modelo.

En resumen, este artículo revela que la mejora lenta y constante de los grandes modelos de lenguaje es una característica integrada de su diseño, no un fallo en los datos. Es como una ley de la física para el aprendizaje de la IA: cuando intentas aprender una respuesta muy cierta utilizando estas herramientas específicas, estás destinado a moverte a una velocidad de 1/3. Los autores son cuidadosos al decir que esto se basa en sus simulaciones y análisis de modelos existentes, sugiriendo una nueva dirección para hacer que el entrenamiento de la IA sea más eficiente, pero no afirman haber resuelto el problema de la velocidad de entrenamiento por completo. En cambio, nos han entregado un mapa que muestra exactamente dónde están los baches y por qué existen.

Resumen Técnico: Escalamiento de Tiempo Universal de Un Tercio en el Aprendizaje de Distribuciones Muy Pronunciadas

Planteamiento del Problema
El entrenamiento de modelos de lenguaje extensos (LLMs) es computacionalmente costoso, caracterizado por una convergencia lenta de la función de pérdida siguiendo una ley de potencia. Si bien las "leyes de escalamiento neural" empíricas han predicho con éxito el rendimiento basándose en el tamaño del modelo y el tamaño del conjunto de datos, los mecanismos subyacentes siguen siendo en gran medida empíricos y objeto de debate. Las teorías existentes a menudo atribuyen el escalamiento de la pérdida mediante leyes de potencia a estructuras de ley de potencia inherentes a los datos (por ejemplo, frecuencias de características o dimensiones de la variedad). Sin embargo, quedan preguntas clave sin respuesta: ¿Qué mecanismo específico impulsa el decaimiento de la pérdida mediante ley de potencia a lo largo del tiempo de entrenamiento, y qué determina el exponente específico? Este artículo investiga si el origen de estas leyes de escalamiento reside en los datos o en los componentes arquitectónicos del propio modelo.

Metodología
Los autores emplean una combinación de análisis teórico, simulaciones de modelos de juguete y evaluación empírica en modelos de lenguaje extensos para aislar los mecanismos que impulsan el escalamiento de la pérdida.

Construcción de un Modelo de Juguete: Los autores identifican una configuración mínima que imita la cabeza del modelo de lenguaje (LM): una red de una sola capa con una no linealidad softmax y una función de pérdida de entropía cruzada (o divergencia KL). Utilizan un marco de profesor-estudiante donde una red estudiante aprende a igualar la distribución de salida de una red profesora fija. La salida de la profesora se controla mediante un parámetro de "temperatura inversa" ( $\beta^*$ ), que dicta qué tan "pronunciada" (baja entropía) es la distribución de probabilidad.
Análisis Teórico: Los autores analizan la dinámica del flujo de gradiente en tiempo continuo de los pesos del estudiante. Introducen un "ansatz de estudiante alineado", hipotetizando que la matriz de pesos del estudiante permanece proporcional a la del profesor durante el entrenamiento, siendo la variable dinámica principal la norma (o la temperatura inversa $\beta$ $β$ ) de los pesos.
- Realizan una expansión de baja temperatura (gran $\beta$ ) de la energía libre y la energía interna derivadas de las definiciones de softmax y entropía cruzada.
- Al integrar las ecuaciones diferenciales resultantes, derivan la relación de escalamiento entre la pérdida y el tiempo de entrenamiento.
Validación Empírica:
- Experimentos de Modelos de Juguete: Entrenan el modelo de juguete a través de un amplio rango de temperaturas inversas ( $\beta^*$ ) y tasas de aprendizaje utilizando optimizadores como Adam y SGD. Verifican las predicciones teóricas respecto al decaimiento de la pérdida y la alineación de pesos.
- Evaluación de LLMs: Evalúan puntos de control (checkpoints) de los modelos Pythia y OLMo en diversas etapas de entrenamiento sobre el conjunto de datos FineWeb. Miden la pérdida de prueba y la desviación estándar de los logits (un proxy de la temperatura inversa) para determinar si los LLMs reales operan en el régimen de baja temperatura y exhiben el escalamiento predicho.

Contribuciones Clave y Resultados

Origen Intrínseco de las Leyes de Potencia: El artículo demuestra que los comportamientos de entrenamiento de ley de potencia pueden surgir intrínsecamente del uso de softmax y entropía cruzada al aprender distribuciones pronunciadas (objetivos de baja entropía), independientemente de las estructuras de ley de potencia en los datos. Esto desafía la visión predominante de que la estructura de los datos es el único motor de las leyes de escalamiento.
Exponente Universal de 1/3: A través de la expansión de Taylor e integración temporal de la dinámica del flujo de gradiente en el régimen de baja temperatura, los autores derivan un exponente de escalamiento universal de 1/3. Específicamente, la pérdida $L$ $L$ escala con el tiempo de entrenamiento dinámico $\tau$ $τ$ como $L \sim \tau^{-1/3}$ $L \sim τ^{- 1/3}$ .
- La derivación se basa en el hecho de que, en el límite de baja temperatura, la energía libre y la energía interna convergen suavemente hacia la energía mínima, lo que conduce a gradientes que desaparecen según una ley de potencia.
- Este resultado se describe como "universal" en el sentido de la física estadística: el exponente depende de propiedades generales del sistema (no linealidades y pronunciación) más que de detalles microscópicos (distribuciones de datos específicas).
Validación en Modelos de Juguete: Los experimentos confirman que cuando la distribución objetivo es suficientemente pronunciada (baja temperatura), la pérdida sigue una ley de potencia de $1/3$ . El "ansatz de estudiante alineado" describe con precisión la dinámica de entrenamiento bajo tasas de aprendizaje óptimas, donde la norma de los pesos del estudiante crece algebraicamente con un exponente cercano a $1/3$ .
Validación en LLMs: El análisis de los modelos Pythia y OLMo revela que:
- Las distribuciones de siguiente token en los LLMs son suficientemente pronunciadas para situarlos en el régimen de baja temperatura (estimado $\beta^* \approx 6.87$ , superando el umbral crítico $c_0 \approx 4.55$ ).
- La pérdida de entrenamiento de estos modelos, al ajustarse contra el tiempo dinámico $\tau$ , exhibe un decaimiento de ley de potencia con un exponente muy cercano a $1/3$ (por ejemplo, valores ajustados alrededor de 0.34–0.38).
- La desviación estándar de los logits crece con un exponente cercano a $1/3$ antes de saturarse, lo que indica que el sistema entra en el régimen de baja temperatura y que el decaimiento posterior de la pérdida es impulsado por la rotación de parámetros en lugar del crecimiento de la norma.

Significancia y Reivindicaciones
Los autores afirman que este trabajo constituye el primer estudio teórico que identifica a softmax y la entropía cruzada como los impulsores arquitectónicos clave de los comportos de entrenamiento de ley de potencia en los LLMs.

Explicación Mecanicista: El artículo ofrece una explicación mecanicista para las leyes de escalamiento neural observadas, sugiriendo que el escalamiento temporal de $1/3$ es una consecuencia fundamental de la optimización de distribuciones pronunciadas con estas no linealidades específicas.
Universalidad: Los hallazgos sugieren que el exponente de $1/3$ es robusto frente a diferentes estructuras de datos, profundidades de modelo y escalas de inicialización, siempre que el sistema opere en el régimen intermedio de baja temperatura.
Implicaciones para el Entrenamiento: Los autores sugieren que comprender este mecanismo podría conducir a un mejor entrenamiento. Por ejemplo, señalan que los decaimientos de peso (weight decays) grandes podrían dificultar el crecimiento de los logits necesario para distribuciones pronunciadas, y que los futuros optimizadores podrían beneficiarse de ser más efectivos al rotar parámetros en el régimen de baja temperatura. También proponen que las arquitecturas que eviten las distribuciones de vocabulario completo (por ejemplo, mediante jerarquías de tokens) podrían alterar fundamentalmente estas leyes de escalamiento.

El artículo concluye que, si bien trabajos anteriores atribuyeron el escalamiento a las propiedades de los datos, el escalamiento temporal específico de $1/3$ observado en los LLMs es, en gran medida, un resultado de la trayectoria de optimización creada por las no linealidades del modelo al aprender predicciones de alta confianza.

Más como este