🤖 AI

Scaling Domain Data Repetition in LLM Pretraining

Este artículo investiga el compromiso entre la repetición de datos y el sobreajuste en el preentrenamiento de modelos de lenguaje de gran tamaño, revelando que los recuentos óptimos de repetición para datos de dominio de alta calidad aumentan levemente con el tamaño del modelo para una relación fija de tokens por parámetro y están fuertemente correlacionados de forma negativa con la pérdida de validación de un dominio, lo que sugiere que el ajuste en modelos de proximidad más pequeños puede guiar eficazmente las estrategias de escalado para modelos más grandes.

Autores originales: Jingwei Li, Xinran Gu, Rui Dai, Xintong Hao, Chengyin Xu, Yan Wu, Shuran Zheng, Jingzhao Zhang

Publicado 2026-08-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jingwei Li, Xinran Gu, Rui Dai, Xintong Hao, Chengyin Xu, Yan Wu, Shuran Zheng, Jingzhao Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a hablar, escribir y pensar. Para lograrlo, le proporcionas una biblioteca masiva de texto, un proceso llamado "preentrenamiento". Pero aquí está el truco: el robot se vuelve más grande y más inteligente a medida que añades más "células cerebrales" (parámetros), y para evitar que se confunda o rinda por debajo de lo esperado, tienes que alimentarlo con incluso más palabras. Este es el mundo de los Grandes Modelos de Lenguaje (LLM). El problema es que, si bien puedes encontrar fácilmente cantidades infinitas de texto genérico de internet (como publicaciones aleatorias en foros o artículos de noticias), encontrar conocimiento especializado de alta calidad (como matemáticas avanzadas, programación o hechos médicos) es como buscar una aguja en un pajar. Simplemente no hay suficiente para alimentar a un robot gigante.

Entonces, ¿qué haces cuando se te acaba lo bueno? Empiezas a repetirlo. Tomas ese preciado libro de texto de matemáticas y se lo das al robot una y otra vez. Pero esto es un equilibrio delicado. Si repites lo bueno demasiadas veces, el robot podría simplemente memorizar el libro palabra por palabra y fallar al entender los conceptos reales, un problema llamado "sobreajuste" (overfitting). Si no lo repites lo suficiente, el robot se verá ahogado por el mar de ruido genérico de internet y nunca aprenderá lo difícil. La gran pregunta es: ¿Cuántas veces debes repetir los buenos datos antes de que el robot empiece a confundirse?

Este artículo, titulado "Scaling Domain Data Repetition in LLM Pretraining", profundiza precisamente en esa cuestión. Los investigadores de la Universidad de Tsinghua y ByteDance Seed querían descubrir la receta perfecta para mezclar datos de alta calidad con datos generales a medida que los robots crecen. Lo probaron en cuatro "sabores" especiales de datos: Código, Matemáticas, Wikipedia y Registros Médicos.

Aquí descubrieron algo, y es un giro en la trama. Durante mucho tiempo, la gente pensó que a medida que los robots crecían, se volvían más frágiles y se sobreajustaban (memorizaban) los datos más rápido. El viejo consejo era: "No repitas lo bueno demasiadas veces, o el robot grande se romperá". Pero los autores encontraron algo sorprendente cuando mantuvieron el presupuesto de entrenamiento proporcional al tamaño del robot (una regla llamada razón fija de "tokens por parámetro"). Descubrieron que los robots más grandes pueden en realidad manejar más repetición que los más pequeños. Es como un atleta gigante que puede correr más vueltas sin cansarse en comparación con uno más pequeño, siempre que ambos entrenen con la misma intensidad.

Sin embargo, la regla más importante que encontraron no se trata del tamaño del robot, sino de la calidad de los datos en sí mismos. Descubrieron un vínculo fuerte entre qué tan bien aprende un robot un tema específico y cuánto puede repetir ese tema. Si el robot aprende un dominio (como Matemáticas) muy bien y obtiene una "puntuación de error" baja (pérdida de validación), puede manejar la repetición de esos datos muchas veces sin romperse. Pero si el robot tiene dificultades con un tema y tiene una puntuación de error alta, se sobreajustará muy rápidamente, por lo que deberías repetir esos datos muy pocas veces.

Curiosamente, la cantidad de datos únicos con la que empiezas no parece importar mucho para decidir cuántas veces repetirlos. Ya sea que tengas una pila pequeña de problemas matemáticos o una enorme, el "punto ideal" para la repetición se mantiene aproximadamente igual. Los investigadores sugieren que, si quieres entrenar a un robot masivo, no necesitas adivinar. Puedes entrenar primero a un robot "proxy" más pequeño, ver qué tan bien aprende las matemáticas o la programación, y usar ese resultado para adivinar con seguridad cuántas veces repetir los datos para el robot gigante.

También probaron qué sucede cuando intercambias datos únicos por datos repetidos manteniendo la misma cantidad total de "cosas buenas". Descubrieron que para algunos temas, como las Matemáticas, repetir los datos es casi tan bueno como tener más datos únicos. Pero para otros, como Wikipedia, repetir los datos es una mala idea; el robot aprende mucho peor si solo escucha las mismas frases de Wikipedia una y otra vez en lugar de leer nuevas.

Finalmente, observaron cómo cambia la "velocidad de aprendizaje" (tasa de aprendizaje) del robot durante el entrenamiento. Encontraron que si ralentizas al robot temprano en el entrenamiento, este se vuelve más sensible a la repetición y se sobreajusta antes. Pero si mantienes la velocidad de aprendizaje alta por más tiempo, el robot puede tolerar más repetición antes de empezar a memorizar en lugar de aprender.

En resumen, este artículo sugiere que no existe un número mágico único para cuántas veces debes repetir los datos. En cambio, la mejor estrategia depende de qué tan bien esté aprendiendo el robot ese tema específico. Si es un aprendiz rápido, repite los datos más. Si es un aprendiz lento, deja de repetir antes. Y sorprendentemente, los robots más grandes son en realidad más robustos a la repetición de lo que pensábamos, siempre y cuando les demos la cantidad adecuada de datos para su tamaño.

Resumen Técnico: Escalamiento de la Repetición de Datos de Dominio en el Preentrenamiento de LLM

Declaración del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) escalan, mantener una relación adecuada de tokens por parámetro (TPP) requiere aumentar el presupuesto total de tokens de entrenamiento. Mientras que los datos web generales se pueden escalar relativamente con facilidad, los datos específicos de dominio de alta calidad (por ejemplo, código, matemáticas, textos médicos) son escasos y difíciles de escalar al mismo ritmo. En consecuencia, a medida que el tamaño del modelo y el presupuesto total de tokens crecen, la proporción de mezcla de datos de dominio de alta calidad tiende a disminuir, lo que potencialmente conduce a un fallo en la adquisición del conocimiento objetivo si la proporción cae por debajo de un umbral crítico.

Para contrarrestar esta dilución, los profesionales suelen repetir los datos de alta calidad disponibles. Sin embargo, esto introduce un compromiso: la repetición ayuda a mantener la fracción de datos necesaria para la adquisición de conocimiento pero aumenta el riesgo de sobreajuste (overfitting). La literatura existente sugiere que los modelos más grandes son más susceptibles al sobreajuste por datos repetidos, lo que implica que la repetición debería minimizarse. Sin embargo, estas conclusiones se derivan a menudo de configuraciones experimentales donde el tamaño total de los datos de entrenamiento es fijo a través de las escalas de modelos, en lugar de preservar el TPP. Este artículo investiga el recuento de repetición óptimo bajo un régimen de escalamiento más práctico donde el presupuesto de tokens de entrenamiento crece proporcionalmente con el tamaño del modelo (TPP fijo).

Metodología

Los autores llevaron a cabo un estudio empírico sistemático a través de cuatro dominios de alta calidad: Código, Matemáticas, Wikipedia y Datos Médicos.

Régimen de Escalamiento: El estudio se adhiere a un TPP ( $D/N$ ) fijo, donde $D$ es el total de tokens de entrenamiento y $N$ es el tamaño del modelo. El presupuesto de tokens $D_N$ escala linealmente con el tamaño del modelo ( $D_N = \text{TPP} \cdot N$ ).
Configuración Experimental: Para cada tamaño de modelo y dominio, los autores variaron dos parámetros:
1. Fracción de Datos Únicos ( $\alpha$ ): La proporción de tokens únicos de alta calidad en el presupuesto total (probada en 1/40, 1/20, 1/10).
2. Recuento de Repetición ( $e$ ): El número de veces que se revisita un subconjunto fijo de tokens únicos de alta calidad (probado de 1 a 7).
Evaluación: Los modelos fueron evaluados utilizando la pérdida de validación in-distribución (en datos retenidos del mismo dominio) y la pérdida de validación fuera de la distribución (OOD) de preentrenamiento (en datos web generales como ArXiv y Noticias).
Análisis Teórico: Para explicar los hallazgos empíricos, los autores emplearon un modelo de regresión lineal one-hot en $\mathbb{R}^\infty$ con unidades de conocimiento distribuidas según la ley de potencia. Analizaron la descomposición del riesgo en "error de adquisición de conocimiento" y "error de ajuste de ruido" para derivar los tiempos de parada (recuentos de repetición óptimos) bajo diferentes condiciones de escalamiento.

Hallazgos Clave

1. Correlación con la Pérdida de Validación

El recuento de repetición óptimo tiene una fuerte correlación negativa con la pérdida de validación final de un dominio (correlación de Pearson de -0.944).

Los dominios que logran pérdidas de validación más bajas (indicando que el modelo aprende bien el dominio) pueden tolerar y beneficiarse de más repeticiones.
Los dominios con pérdidas de validación más altas tienden a sobreajustarse antes, requiriendo menos repeticiones.
Esto sugiere que la pérdida de validación sirve como un proxy práctico para determinar los límites de repetición seguros.

2. Impacto del Tamaño del Modelo bajo TPP Fijo

Contrario a los hallazgos en configuraciones de presupuesto de datos fijo (donde la repetición óptima disminuye a medida que los modelos crecen), este estudio encuentra que, bajo un TPP fijo, el recuento de repetición óptimo aumenta levemente con el tamaño del modelo.

Los modelos más grandes entrenados con presupuestos de tokens proporcionalmente mayores se benefician de un número ligeramente mayor de repeticiones antes de que ocurra el sobreajuste.
Esto respalda una estrategia de transferencia conservadora: un recuento de repetición que no causa sobreajuste en un modelo proxy más pequeño (entrenado al mismo TPP) es poco probable que cause sobreajuste en un modelo objetivo más grande.

3. Insensibilidad a la Fracción de Datos Únicos

El recuento de repetición óptimo es en gran medida insensible a la fracción de datos únicos de alta calidad ( $\alpha$ ) dentro del rango probado.

Aunque aumentar $\alpha$ reduce consistentemente la pérdida de validación absoluta, la ubicación del recuento de repetición óptimo (el $e$ que minimiza la pérdida) permanece casi inalterada.
Esto implica que al ajustar la repetición en un modelo proxy, la fracción específica de datos únicos utilizada no necesita coincidir exactamente con el objetivo de despliegue; cualquier fracción representativa dentro del rango probado es suficiente.

4. Dependencia del Dominio y Efectos OOD

Especificidad del Dominio: La efectividad de la repetición depende altamente del dominio. Por ejemplo, los datos de Matemáticas son robustos a la repetición (hasta 4-5 veces), mientras que los datos de Wikipedia se degradan bruscamente después de 2 repeticiones.
Desempeño OOD: Cuando la fracción total de tokens de alta calidad es fija, reemplazar tokens únicos por tokens repetidos tiene un efecto limitado en el desempeño fuera de la distribución (OOD). La degradación se confina principalmente a la pérdida de validación in-dominio.

5. Influencia del Cronograma de la Tasa de Aprendizaje

El recuento de repetición óptimo depende del cronograma de la tasa de aprendizaje. Los cronogramas con decaimiento temprano (por ejemplo, comenzando el decaimiento al 0% del entrenamiento) conducen a la degradación tras menos repeticiones. Por el contrario, retrasar el decaimiento o usar una tasa de aprendizaje constante permite al modelo tolerar más repeticiones, probablemente debido a que un ruido de optimización más fuerte actúa como una regularización implícita contra la memorización.

Explicación Teórica

Los autores proporcionan un marco teórico que explica estas observaciones a través del compromiso entre la adquisición de conocimiento y el ajuste de ruido:

Ajuste de Ruido: La optimización repetida reduce el error de adquisición de conocimiento pero aumenta el error de ajuste de ruido. El punto de parada óptimo es donde el beneficio marginal de la señal de aprendizaje es superado por el costo de ajustar el ruido.
Pérdida de Validación: Una pérdida de validación más baja implica un nivel de ruido ( $\sigma^2$ ) menor relativo a la señal. Teóricamente, un ruido menor retrasa el inicio del sobreajuste, permitiendo más repeticiones (Teorema 4.2).
Escalamiento: Bajo un TPP fijo, el presupuesto de datos crece con el tamaño del modelo. Esto permite que la reducción en el error de adquisición de conocimiento domine durante un periodo más largo a medida que el modelo escala, justificando el aumento en los recuentos de repetición óptimos (Teorema 4.4).

Significado e Implicaciones Prácticas

El artículo concluye que los recuentos de repetición ajustados en modelos proxy más pequeños, siempre que compartan el mismo TPP que el modelo objetivo, pueden servir como una estimación práctica y conservadora para modelos más grandes.

El flujo de trabajo propuesto para configurar los datos de dominio de alta calidad en el preentrenamiento a gran escala es:

Entrenar un modelo proxy más pequeño con el mismo TPP.
Realizar un barrido de recuentos de repetición para el dominio objetivo usando cualquier fracción representativa de datos únicos.
Identificar el recuento de repetición que minimiza la pérdida de validación (o que se detiene justo antes de la degradación).
Aplicar este recuento al modelo objetivo más grande, ya que la tendencia sugiere que los modelos más grandes no sufrirán sobreajuste antes que el modelo proxy bajo el mismo régimen de escalamiento.

Este enfoque ofrece una estrategia eficiente en términos de datos para mantener la representación de dominios de alta calidad en el preentrenamiento de LLM sin requerir conjuntos de datos únicos masivos que a menudo no están disponibles.