💬 NLP

Skaling: Chinchilla's Exponents Meet Kaplan's Coupling

Este artículo introduce la ley de Skaling, un marco de escalado generalizado que acopla la capacidad del modelo y los datos a través de un único exponente de interacción para mejorar significativamente la precisión de la predicción de la pérdida y permitir una asignación de presupuesto de cómputo eficiente en recursos para el entrenamiento de modelos de lenguaje a gran escala.

Autores originales: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Publicado 2026-08-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mathurin Videau, Badr Youbi-Idrissi, David Lopez-Paz, Kartik Ahuja

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Acto de Equilibrio: Cómo Aprende la IA

Imagina que estás intentando enseñar a un cerebro digital gigante a hablar todos los idiomas del mundo. Para hacer esto, necesitas dos ingredientes principales: un cerebro más grande (más neuronas, o "parámetros") y más libros de texto (más datos, o "tokens"). Durante años, los científicos han utilizado un conjunto de reglas llamadas "leyes de escalamiento" para predecir qué tan bien se desempeñará este cerebro. Piensa en estas reglas como un libro de recetas que te dice exactamente cuánto de cada ingrediente necesitas para obtener un pastel perfecto.

La receta más famosa, conocida como la "ley de Chinchilla", sugería que el tamaño del cerebro y la cantidad de datos actúan como dos amigos separados trabajando en habitaciones distintas. Asumía que si duplicabas el tamaño del cerebro, la mejora sería la misma independientemente de cuántos datos tuvieras, y viceversa. Esto hacía que las matemáticas fueran fáciles y ayudaba a los investigadores a decidir cómo gastar sus enormes presupuestos. Sin embargo, al igual que una receta real, esta suposición podría ser demasiado simple. ¿Qué pasaría si el cerebro y los datos realmente necesitan hablar entre sí? ¿Qué pasaría si un cerebro más grande aprende de manera diferente cuando tiene más libros para leer? Si obtenemos mal esta relación, podríamos desperdiciar millones de dólares entrenando modelos que son demasiado pequeños para sus datos o demasiado grandes para sus cerebros, lo que llevaría a resultados decepcionantes.

La Nueva Ley de "Skaling": Cuando los Ingredientes se Mezclan

En este artículo, los investigadores del laboratorio FAIR de Meta presentan una receta nueva y mejorada llamada la ley de Skaling (pronunciada "ske-Í-ling"). Descubrieron que la vieja receta de "Chinchilla" tenía un fallo oculto: trataba el tamaño del modelo y los datos como si fueran completamente independientes, ignorando el hecho de que en realidad se influyen mutuamente.

Para visualizar esto, imagina que estás tratando de predecir qué tan rápido irá un coche. La regla antigua decía: "La velocidad depende del tamaño del motor Y de la cantidad de combustible, por separado". Pero la nueva investigación muestra que un motor más grande en realidad cambia la eficiencia con la que usa el combustible. Si tienes un motor diminuto, añadir más combustible no ayuda mucho. Pero si tienes un motor enorme, ese combustible extra marca una diferencia masiva. Las matemáticas antiguas pasaron por alto este efecto de "acoplamiento", lo que provocaba grandes errores al predecir el rendimiento en los extremos, como cuando tienes un modelo enorme con muy pocos datos, o un modelo diminuto con una montaña de datos.

Los autores descubrieron que, al añadir solo un único número (un "exponente de acoplamiento") a la ecuación, podían solucionar esto. Este nuevo número actúa como un "dial de mezcla" que conecta el tamaño del cerebro y el volumen de datos. En lugar de sumar sus efectos como dos pilas de arena separadas, la nueva ley los multiplica de una manera que reconoce que trabajan como un equipo.

Lo Que Encontraron: Predicciones más Inteligentes con Menos Trabajo

Los investigadores probaron esta nueva ley utilizando dos conjuntos masivos de datos de entrenamiento que llamaron Farseer y SK-Grid. Estos conjuntos de datos contenían cientos de experimentos diferentes, que iban desde modelos pequeños de 100 millones de parámetros hasta gigantes de miles de millones, entrenados con todo, desde 1.000 millones hasta cientos de miles de millones de palabras.

Esto es lo que descubrieron:

La Vieja Ley Estaba Equivocada en los Extremos: Cuando analizaron los errores, la vieja ley de Chinchilla funcionaba bien en el medio de los datos, pero fallaba estrepitosamente en las esquinas. Sobrestimaba o subestimaba salvajemente el rendimiento cuando el tamaño del modelo y la cantidad de datos estaban desequilibrados. La nueva ley de Skaling, sin embargo, se mantuvo precisa en todas partes, reduciendo el error de predicción entre 1,5 y 3 veces en comparación con el método anterior.
Una Forma "Esparcia" de Entrenar: Uno de los hallazgos más interesantes es que no necesitas entrenar cada combinación posible de tamaño de cerebro y datos para descubrir las reglas. La forma antigua requería una "rejilla completa" de experimentos, lo cual es increíblemente costoso. La nueva ley de Skaling funciona igual de bien si solo entrenas en los bordes en forma de "L" de la rejilla, es decir, si solo pruebas modelos pequeños con muchos datos y modelos grandes con muy pocos datos. Esta estrategia "esparcia" permite a los investigadores predecir el rendimiento de modelos masivos y costosos utilizando aproximadamente 10 veces menos potencia de cómputo que antes.
Mejor Asignación de Recursos: Debido a que la nueva ley entiende cómo interactúan el cerebro y los datos, ofrece una respuesta más precisa a la pregunta: "¿Cuántos datos debería alimentar a mi modelo?". La vieja ley sugería una proporción fija (como 20 palabras por neurona), pero la nueva ley sugiere que esta proporción debería cambiar dependiendo de la escala. Para algunos conjuntos de datos, la proporción óptima cambia significativamente a medida que los modelos crecen, lo que significa que los consejos antiguos podrían estar llevando a las empresas a malgastar dinero.

Por Qué Esto Importa

El artículo no afirma haber resuelto toda la IA, pero sí sugiere que la forma en que planeamos actualmente nuestros presupuestos de entrenamiento podría estar ligeramente errada. Al comprender que el tamaño del modelo y los datos son un equipo acoplado en lugar de trabajadores independientes, la ley de Skaling ofrece un marco más robusto y eficiente en recursos. Permite a los investigadores hacer mejores conjeturas sobre cómo se desempeñarán sus modelos de próxima generación sin tener que ejecutar miles de experimentos costosos.

En resumen, los autores demuestran que un simple ajuste en las matemáticas —añadir un parámetro de "mezcla"— elimina los errores sistemáticos que han estado afectando al campo. Esto significa que podemos construir mejores modelos, más rápido y más barato, al comprender que en el mundo de la IA, el tamaño del cerebro y la cantidad de material de lectura están intrínsecamente ligados.

Resumen Técnico: Skaling – Los exponentes de Chinchilla se encuentran con el acoplamiento de Kaplan

Declaración del Problema
Las leyes de escalado neuronal son fundamentales para predecir el rendimiento de los Modelos de Lenguaje de Gran Escala (LLMs) y optimizar los presupuestos de cómputo. Sin embargo, la formulación estándar, la ley de Chinchilla (Hoffmann et al., 2022), se basa en un supuesto estructural de que el tamaño del modelo ( $N$ ) y el volumen de datos de entrenamiento ( $D$ ) impactan la pérdida de forma independiente. Matemáticamente, esta forma aditiva ( $L = A/N^\alpha + B/D^\beta + E$ ) impone una derivada mixta nula ( $\partial^2 L / \partial N \partial D = 0$ ).

Los autores demuestran que este supuesto de independencia conduce a errores de predicción sistemáticos. Si bien la ley de Chinchilla funciona bien en el interior de la cuadrícula de entrenamiento, exhibe un error residual en forma de "silla de montar" en los límites (extremos de $N$ y $D$ ). Específicamente, subestima sistemáticamente la pérdida en algunos casos de esquina y la sobreestima en otros, fallando al capturar la interacción entre la capacidad del modelo y el volumen de datos. Este fallo es crítico para la asignación de recursos, ya que conduce a extrapolaciones inexactas para los modelos de frontera, donde $N$ y $D$ suelen estar desequilibrados.

Metodología
Para abordar esto, los autores introducen la ley de Skaling, una formulación funcional generalizada que acopla el tamaño del modelo y los datos a través de un único exponente de interacción ( $k$ ). La formulación se define como:

$L(N, D) = \left( \frac{A}{N^\alpha} + \frac{B}{D^\beta} \right)^k + E$

Mecanismo de Acoplamiento: Cuando $k=1$ , la ley recupera la forma puramente aditiva de Chinchilla. Cuando $k \neq 1$ , reintroduce el acoplamiento encontrado en la forma anterior de Kaplan (Kaplan et al., 2020), pero conserva los exponentes internos independientes ( $\alpha, \beta$ ) interpretables de Chinchilla.
Justificación Teórica: Los autores analizan las derivadas de la superficie de pérdida utilizando estimadores de Mínimos Cuadrados Móviles (MLS) en el conjunto de datos Farseer. Demuestran que la derivada mixta $\partial^2 L / \partial N \partial D$ es distinta de cero y sigue una ley de potencia, lo que indica un efecto sinérgico donde escalar $N$ y $D$ conjuntamente reduce la pérdida más de lo que lo haría escalar cada uno por separado. La forma de Skaling reproduce naturalmente esta derivada mixta no nula.
Estrategia de Perfilado Disperso (L-shape): Los autores proponen una estrategia de muestreo eficiente para ajustar estas leyes. En lugar de una cuadrícula densa y cuadrada, utilizan una cuadrícula en forma de "L" que restringe el entrenamiento a los bordes de bajo cómputo: barriendo el volumen de datos ( $D$ ) para modelos pequeños y barriendo el tamaño del modelo ( $N$ ) para presupuestos de datos pequeños. El análisis teórico sugiere que el comportamiento asintótico de la función de pérdida permite que estas ejecuciones en los bordes restrinjan suficientemente los parámetros para toda la cuadrícula.

Contribuciones Clave

Formulación de Skaling: Introducción de un único exponente de acoplamiento ( $k$ ) que corrige los sesgos de frontera de las leyes aditivas, preservando la interpretabilidad y la regla de asignación de cómputo óptimo de forma cerrada.
Validación de Perfilado Disperso: Demostración de que la ley de Skaling mantiene una alta precisión predictiva cuando se ajusta en una cuadrícula en forma de L, requiriendo aproximadamente 10 veces menos cómputo que un barrido de cuadrícula completa, mientras iguala o se acerca a la precisión de los ajustes de cuadrícula completa de Chinchilla en interpolación y extrapolación de un solo eje.
Validación Empírica: Validación rigurosa mediante validación cruzada en dos conjuntos de datos (Farseer y un SK-Grid personalizado) que muestra que Skaling reduce el Error Porcentual Absoluto Medio (MAPE) en 1.5–3× en comparación con Chinchilla, particularmente en regímenes de extrapolación.

Resultados

Reducción de Error: En el conjunto de datos Farseer, Skaling redujo el MAPE para la extrapolación de un solo eje del 1.48% (Chinchilla) al 0.47%, y para la extrapolación lejana del 2.46% al 2.31%. En el SK-Grid, las mejoras fueron aún más pronunciadas, con el error de extrapolación lejana cayendo del 5.17% al 0.70% en la cuadrícula completa y del 14.63% al 1.15% en la cuadrícula en forma de L.
Estabilidad de Parámetros: El exponente de acoplamiento ajustado $k$ cae consistentemente en el rango de 0.31–0.45 (sub-unitario), confirmando una interacción no aditiva. El suelo de pérdida irreducible ( $E$ ) también es sistemáticamente más bajo que en los ajustes de Chinchilla, aproximándose a menudo a cero en los datos de Farseer, lo que sugiere que el término de acoplamiento absorbe la curvatura anteriormente atribuida a un suelo de pérdida.
Extrapolación de Cómputo: En una prueba prediciendo las ejecuciones más costosas a partir de datos económicos (cortes de ratio iso), Skaling logró un MAPE agrupado de 0.60%, superando la ley aditiva de Chinchilla (2.34%) y la ley de nueve parámetros de Farseer (0.80%).
Implicaciones de Asignación: El ratio óptimo de tokens a parámetros ( $D^*/N^*$ ) derivado de Skaling difiere significativamente de la predicción de Chinchilla. Para el conjunto de datos Farseer, Skaling predice un ratio que disminuye con la escala de cómputo, mientras que Chinchilla predice un ratio casi plano. En las escalas de frontera, esto conduce a una discrepancia de 10× en la asignación recomendada.

Significancia
El artículo argumenta que el supuesto de independencia en las leyes de escalado estándar es un fallo estructural que causa errores sistemáticos precisamente donde más importan: en los extremos desequilibrados del entrenamiento de modelos. Al introducir un parámetro de acoplamiento mínimo, la ley de Skaling proporciona un marco más robusto para la predicción del rendimiento.

Crucialmente, los autores afirman que la predicción fiable del escalado ya no requiere barridos empíricos masivos y densos. La combinación de la forma de Skaling y la estrategia de muestreo en forma de L permite la extrapolación de la cuadrícula completa con una fracción del presupuesto de cómputo. Esto ofrece una vía eficiente en recursos para la asignación de presupuestos de cómputo en el entrenamiento de modelos de próxima generación, permitiendo a los investigadores tomar decisiones con confianza basadas en experimentos a pequeña escala.

El Gran Acto de Equilibrio: Cómo Aprende la IA

La Nueva Ley de "Skaling": Cuando los Ingredientes se Mezclan

Lo Que Encontraron: Predicciones más Inteligentes con Menos Trabajo

Por Qué Esto Importa

Más como este