🤖 machine learning

Data-Constrained Language Model Pretraining: Improved Regularization and Scaling Laws

Este artículo aborda el régimen de preentrenamiento de modelos de lenguaje con restricciones de datos mediante la introducción de la Regularización de Entrada Enmascarada (MIR) para mejorar el rendimiento en validación y tareas posteriores, y proponiendo SoftQ, una nueva ley de escala que captura con precisión la interacción entre los tamaños del modelo y de los datos bajo épocas de entrenamiento repetidas donde las leyes clásicas fallan.

Autores originales: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

Publicado 2026-06-08

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhiwei Xu, Shihao Wu, Hanseul Cho, Wei Hu, Yixin Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un estudiante (el modelo de IA) a escribir historias. En el pasado, la regla era: "Dale al estudiante una biblioteca masiva de libros únicos, y deja que lea cada libro exactamente una vez". Esto funcionaba bien porque la biblioteca era enorme y el estudiante tenía tiempo de sobra para leer todo una vez.

Pero ahora, la situación ha cambiado. Hemos construido computadoras superrápidas (capacidad de cómputo) que pueden leer millones de libros en un segundo, pero el suministro de nuevos libros únicos (datos de lenguaje natural) se está agotando. Estamos en un mundo de "datos limitados y mucho cómputo". El estudiante ahora tiene que leer la misma pequeña biblioteca una y otra vez, múltiples veces, para llenar su cerebro.

El problema es que, si solo haces que el estudiante lea los mismos libros una y otra vez, empieza a memorizar los libros en lugar de aprender a escribir. Se convierte en un loro, repitiendo frases exactas que ha visto, en lugar de comprender las reglas del lenguaje. Esto se llama "sobreajuste" (overfitting).

Este artículo aborda dos preguntas principales:

¿Cómo evitamos que el estudiante se limite a memorizar? (Regularización)
¿Cuál es la mejor manera de equilibrar el tamaño del cerebro del estudiante frente al tamaño de la biblioteca? (Leyes de Escalamiento)

Aquí está el desglose de sus hallazgos utilizando analogías simples.

1. El truco de las "Gafas Borrosas" (Regularización de Entrada Enmascarada)

El Problema:
Cuando un estudiante lee el mismo libro por décima vez, puede empezar a memorizar la fuente exacta o un error tipográfico extraño en la página 5, en lugar de aprender la historia. Necesitan una forma de obligarse a sí mismos a concentrarse en el significado en lugar del texto exacto.

La Solución (MIR):
Los autores probaron una técnica llamada Regularización de Entrada Enmascarada (MIR). Imagina darle al estudiante un par de "gafas borrosas" o un "codificador" mientras lee.

Cada vez que lee una oración, la computadora oculta aleatoriamente (enmascara) algunas palabras, convirtiéndolas en [MASK].
El estudiante tiene que adivinar las palabras faltantes basándose en el contexto, tal como en un juego de "completar el espacio en blanco".
Hacen esto junto con su lectura normal.

El Resultado:
Piensa en ello como practicar un deporte. Si solo practicas en un campo perfecto y plano, podrías fallar cuando sople el viento. Pero si practicas con una "máquina de viento" (el enmascaramiento aleatorio) soplándote, aprendes a adaptarte.

El artículo encontró que incluso cuando el estudiante ya estaba siendo disciplinado (usando un "decaimiento de peso fuerte", que es como un entrenador estricto diciéndole que no memorice), añadir este truco de las "gafas borrosas" lo hacía aún mejor.
Ayudó al modelo a manejar situaciones complicadas, como nombres extraños, idiomas mixtos o texto roto, mucho mejor que el modelo que solo leía el texto limpio una y otra vez.
La Recompensa: Calcularon que usar este truco es matemáticamente equivalente a darle al estudiante 1.3 veces más libros únicos para leer. Es una forma de obtener más valor de la limitada biblioteca que tenemos.

2. La Regla de Crecimiento "Acoplada" (Ley de Escalamiento SoftQ)

La Regla Antigua (Chinchilla):
Anteriormente, los expertos tenían una fórmula (la ley Chinchilla) para decidir qué tan grande debía ser el cerebro de un estudiante basado en cuántos libros tenía.

La Idea Antigua: "Si duplicas el número de libros, deberías duplicar el tamaño del cerebro". Trataba el tamaño del cerebro y el conteo de libros como dos cosas separadas que se sumaban.
El Defecto: Esta fórmula asumía que siempre podrías conseguir nuevos libros. Pero en nuestro mundo de "libros agotándose", esta fórmula se rompe. Predijo que la penalización por tener menos libros sería la misma, ya fuera que el estudiante tuviera un cerebro diminuto o uno gigante.

La Nueva Regla (SoftQ):
Los autores se dieron cuenta de que, en un mundo con libros limitados, el tamaño del cerebro y el conteo de libros están estrechamente vinculados.

La Analogía: Imagina un cubo (el cerebro) y una manguera (los datos).
- Si el cubo es diminuto, no importa si la manguera es enorme; el cubo se llena rápido y el agua extra simplemente se desborda (datos desperdiciados).
- Si el cubo es enorme pero la manguera es diminuta, el cubo permanece casi vacío (potencial cerebral desperdiciado).
- La "penalización" por tener una manguera pequeña se vuelve mucho peor a medida que el cubo se hace más grande. Un cubo gigante con una manguera diminuta es un desastre.

El Resultado:
Propusieron una nueva fórmula llamada SoftQ.

A diferencia de la fórmula antigua, SoftQ entiende que a medida que el modelo se hace más grande, la necesidad de datos únicos crece más rápido. "Acopla" ambos elementos.
Cuando la probaron, SoftQ predijo el rendimiento del modelo con mucha más precisión que la antigua fórmula Chinchilla, especialmente cuando los datos eran limitados y el modelo leía los mismos datos muchas veces.

Resumen de las "Conclusiones"

No solo repitas; codifica: Cuando te ves obligado a entrenar con un conjunto de datos limitado, ocultar partes del texto de forma aleatoria (MIR) obliga a la IA a aprender reglas generales en lugar de memorizar oraciones específicas. Es como estudiar para un examen haciendo cuestionarios de práctica con las respuestas cubiertas, en lugar de solo leer el libro de texto.
El tamaño importa más cuando los datos escasean: Las reglas antiguas para construir IA decían "modelo más grande = mejor, independientemente de los datos". Las nuevas reglas (SoftQ) dicen "si haces el modelo más grande, necesitas desproporcionadamente más datos únicos, o el modelo fallará".
Eficiencia: Al usar el truco de "codificar" (MIR) y la nueva fórmula "acoplada" (SoftQ), podemos construir mejores modelos de IA incluso cuando nos estamos quedando sin texto nuevo para entrenar.

Lo que el artículo no dijo:
El artículo no afirma que esto arreglará inmediatamente el diagnóstico médico, creará chatbots perfectos para el servicio al cliente o resolverá el cambio climático. Se centra estrictamente en la matemática de cómo entrenar estos modelos de manera más eficiente cuando los datos escasean. Los resultados se basan en experimentos con modelos de hasta 1.4 mil millones de parámetros (pequeños comparados con los modelos masivos utilizados por las grandes tecnológicas actuales), pero se pretende que los principios se aplen a escalas mayores.

Resumen Técnico: Preentrenamiento de Modelos de Lenguaje con Restricción de Datos

Declaración del Problema

Las leyes de escalado clásicas para el preentrenamiento de Modelos de Lenguaje de Gran Escala (LLM), como las de Chinchilla, operan bajo la suposición de un régimen de "datos abundantes" donde los datos de entrenamiento únicos pueden escalar libremente con el cómputo. Estas leyes optimizan la asignación de un presupuesto de cómputo fijo entre los parámetros del modelo y los tokens de entrenamiento, asumiendo típicamente una única pasada sobre el corpus.

Sin embargo, el artículo argumenta que el campo se está desplazando hacia un régimen de cómputo rico y de datos restringidos. En este escenario, el suministro de datos de lenguaje natural de alta calidad es fijo o limitado, mientras que el cómputo de entrenamiento continúa creciendo. En consecuencia, las estrategias de entrenamiento deben adaptarse para utilizar modelos más grandes y realizar múltiples épocas (pasadas repetidas) sobre un conjunto de datos finito. Los autores identifican dos brechas críticas en la comprensión actual de este régimen:

Regularización: ¿Cómo pueden los modelos evitar el sobreajuste cuando el cómputo aumenta pero los datos únicos permanecen fijos? Aunque se sabe que un fuerte decaimiento de pesos (weight decay) ayuda, no está claro si otros mecanismos, como el enmascaramiento aleatorio utilizado en los Modelos de Lenguaje de Difusión (dLLM), ofrecen beneficios complementarios.
Leyes de Escalado: ¿Describen las leyes de escalado aditivas clásicas (que desacoplan el tamaño del modelo y el tamaño de los datos) con precisión la superficie de pérdida en este régimen? Los autores hipotetizan que estas leyes están mal especificadas porque no logran capturar la interacción entre la capacidad del modelo y los datos únicos limitados.

Metodología

1. Regularización: Regularización de Entrada Enmascarada (MIR)

Para investigar la regularización, los autores introducen la Regularización de Entrada Enmascarada (MIR). Esta es una modificación mínima al preentrenamiento autorregresivo (AR) estándar que no altera la arquitectura del modelo ni el procedimiento de inferencia.

Mecanismo: Para una secuencia de entrada limpia $x$ , se genera una versión $\hat{x}$ enmascarada aleatoriamente reemplazando tokens con un token [MASK] basado en un ratio de enmascaramiento muestreado.
Objetivo: La pérdida de entrenamiento se aumenta para incluir una pérdida auxiliar de predicción del siguiente token en la secuencia enmascarada:
$L = L_{NTP}(x) + \lambda L_{NTP}(\hat{x})$
Racional: Los autores hipotetizan que el enmascaramiento aleatorio actúa como un regularizador, obligando al modelo a aprender características predictivas generalizables en lugar de memorizar el ruido específico del contexto. Esto se prueba contra un modelo de línea base "fuertemente regularizado" (usando un fuerte weight decay) y se compara con los Modelos de Lenguaje de Difusión (dLLM).

2. Escalado: La Ley SoftQ

Para abordar la cuestión del escalado, los autores construyen una cuadrícula de experimentos variando el tamaño del modelo ( $N \in \{72M, \dots, 1.4B\}$ ) y el presupuesto de datos únicos ( $U \in \{100M, \dots, 400M\}$ ). Evalúan varias leyes de escalado:

Chinchilla: Una forma aditiva $L = E + A N^{-\alpha} + B U^{-\beta}$ , que asume que la brecha de pérdida entre presupuestos de datos es independiente del tamaño del modelo.
Estilo Muennighoff: Utiliza recursos efectivos que se saturan con la repetición.
Quanta: Una ley acoplada derivada de visiones de aprendizaje de habilidades (skill-learning).
SoftQ (Propuesta): Una ley de escalado de cinco parámetros que acopla el tamaño del modelo y el tamaño de los datos a través de un "cuello de botella suave" (soft bottleneck):
$L_{SoftQ}(N, U) = E + \left( \frac{A}{N^\rho} + \frac{B}{U^{\rho/(1+\alpha)}} \right)^{\alpha/\rho}$
Aquí, $\rho$ controla la nitidez de la transición entre los regímenes limitados por parámetros y limitados por datos. A medida que $U \to \infty$ , recupera el escalado de parámetros; a medida que $N \to \infty$ , recupera el escalado de datos.

Contribuciones Clave y Resultados

1. Hallazgos de Regularización

Transferencia de Decaimiento de Pesos: Los autores demuestran que un fuerte decaimiento de pesos (optimizado para AR) mejora sustancialmente el rendimiento de los dLLM, reduciendo la brecha de pérdida de validación entre los modelos AR y dLLM. Cuando ambos están fuertemente regularizados, sus rendimientos se vuelven comparables.
Eficacia de MIR: MIR proporciona una regularización complementaria sobre el fuerte decaimiento de pesos. A través de tamaños de modelo desde 72M hasta 1.4B entrenados con el conjunto de datos DCLM (100M tokens únicos), MIR reduce consistentemente la pérdida de validación en comparación con la línea base de solo decaimiento de pesos fuerte.
- La ganancia aumenta con el tamaño del modelo (de una reducción de pérdida de ~0.006 en 72M a ~0.03 en 1.4B), lo que se alinea con la intuición teórica de que los modelos sobreparametrizados se benefician más de la regularización basada en enmascaramiento.
- Ganancias en Tareas Posteriores (Downstream): En 1.4B de parámetros, MIR produce mejoras significativas en tareas posteriores, incluyendo +10.2 puntos en BoolQ y +2.2 puntos en SciQ.
- Generalización: Los beneficios se transfieren a datos densos en código (Stack-V2) incluso cuando los hiperparámetros se ajustaron únicamente en datos de lenguaje natural.
Análisis de Mecanismo: El análisis a nivel de token revela que MIR ayuda más en tokens "difíciles" donde el contexto es ruidoso, tiene escrituras mixtas o contiene nombres raros, lo que sugiere que MIR mejora la robustez al contexto del prefijo local en lugar de solo a la predicción basada en la frecuencia.

2. Hallazgos de la Ley de Escalado

Chinchilla está Mal Especificada: Los resultados empíricos muestran que la brecha de pérdida de validación entre diferentes presupuestos de datos únicos crece con el tamaño del modelo. La ley aditiva de Chinchilla, que predice una brecha invariante al tamaño del modelo, no logra capturar este comportamiento de "abanico" (fan-out).
Superioridad de SoftQ: La ley SoftQ propuesta, que acopla explícitamente el tamaño del modelo y el tamaño de los datos, se ajusta significativamente mejor a los experimentos de datos restringidos que las leyes de Chinchilla, Quanta y de estilo Muennighoff. Logra un RMSE y MAE más bajos tanto en ajustes dentro de la muestra como en extrapolación de datos no vistos (prediciendo el rendimiento del presupuesto de 400M a partir de presupuestos más pequeños).
Cuantificación de la Eficiencia de Datos: Usando SoftQ como línea base, los autores estiman que la ganancia de rendimiento de MIR es equivalente a aproximadamente 1.3 veces la cantidad de datos de entrenamiento únicos (específicamente en el rango de presupuesto de 200M–400M de tokens).

Significado y Reivindicaciones

El artículo afirma proporcionar una comprensión fundamental del régimen de cómputo rico y de datos restringidos, que es cada vez más relevante a medida que el cómputo escala más rápido que la disponibilidad de datos.

Receta Práctica: Los autores proponen una receta práctica y de bajo costo (MIR) que mejora la eficiencia de datos para el preentrenamiento autorregresivo sin cambios arquitectónicos ni sobrecarga de inferencia.
Corrección Teórica: Demuestran que las leyes de escalado aditivas clásicas son insuficientes para el régimen de datos restringidos y proponen SoftQ como un modelo más preciso para predecir superficies de pérdida cuando los datos únicos son el recurso limitante.
Interacción de Regularización y Escalado: El trabajo destaca que las estrategias de regularización (como el decaimiento de pesos y el enmascaramiento) y las leyes de escalado están profundamente entrelazadas en este régimen; el escalado efectivo requiere modelos que estén debidamente regularizados para evitar el sobreajuste en los datos repetidos.

Los autores mantienen la modestia, señalando que sus experimentos están limitados a 1.4B de parámetros y 400M de tokens únicos, cifras pequeñas en comparación con el preentrenamiento a escala de frontera. Sugieren que el trabajo futuro debería explorar recetas de transferencia de hiperparámetros y diversas arquitecturas de modelos.