🤖 machine learning

Internal Data Repetition Destroys Language Models

Este artículo demuestra que en el paradigma de escalado de la era Chinchilla, la repetición de datos perjudica sistemáticamente el rendimiento de los modelos de lenguaje al crear un pico de pérdida equivalente en cómputo en un recuento de repeticiones intermedio que escala con el tamaño del modelo, un fenómeno explicado analíticamente como un compromiso estadístico entre la memorización y la generalización.

Autores originales: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un estudiante (un Modelo de Lenguaje) a escribir ensayos dándole una biblioteca masiva de libros para leer. El objetivo es hacerlo tan inteligente como sea posible utilizando una cantidad limitada de tiempo de estudio (potencia de cómputo).

Este artículo investiga qué sucede cuando esa biblioteca no es perfecta y contiene libros duplicados. Específicamente, se pregunta: ¿Importa si le damos al estudiante el mismo libro dos veces, o el mismo libro 100 veces?

Aquí está el desglose de sus hallazgos usando analogías simples:

1. El Problema: El Efecto "Cámara de Eco"

En el pasado, los investigadores pensaban que si simplemente eliminabas los duplicados exactos de tus datos de entrenamiento, estabas a salvo. Pero en la realidad, incluso los datos "limpios" tienen algunas repeticiones.

Los investigadores descubrieron que la repetición no solo hace que el aprendizaje sea ligeramente más lento; puede destruir activamente el rendimiento del modelo de una manera muy específica y contraintuitiva. No es una línea recta donde "más repeticiones = peores resultados". En su lugar, es una trampa.

2. La Trampa de "El Punto Justo" (El Peor Escenario)

El hallazgo más sorprendente es que el daño no es causado por repetir una pequeña cantidad de datos un millón de veces, ni por repetir una gran parte de datos apenas dos veces.

La Analogía: Imagina a un estudiante estudiando para un examen.

Escenario A: Lee 1,000 libros únicos una vez. (Excelentes resultados).
Escenario B: Lee 1,000 libros únicos, pero también vuelve a leer un libro específico 10,000 veces. (El estudiante memoriza ese libro perfectamente pero falla al aprender conceptos generales. Malos resultados).
Escenario C (La Trampa): Lee 1,000 libros únicos, pero vuelve a leer un montón de tamaño medio de 50 libros unas 100 veces cada uno.

El artículo encontró que el Escenario C es el peor. Es como si el estudiante se quedara atrapado en un bucle donde memoriza ese montón de libros de tamaño medio tan profundamente que deja de aprender cualquier cosa nueva del resto de la biblioteca. Se vuelven "sobre-especializados" en los duplicados y "sub-especializados" en los datos únicos.

Pocas repeticiones: El estudiante ignora los duplicados y aprende normalmente.
Demasiadas repeticiones: El estudiante memoriza los duplicados tan intensamente que efectivamente "se desconecta" del resto de los datos, pero el enorme volumen de datos únicos aún ayuda.
La cantidad justa de repeticiones: El estudiante se confunde. Pasa demasiado tiempo en los duplicados para memorizarlos, pero no el suficiente en los datos únicos para aprender reglas generales. Este "punto medio" causa la mayor caída de inteligencia.

3. La Regla de "El Tamaño Importa"

Los investigadores descubrieron que el tamaño de esta "zona de peligro" cambia dependiendo de qué tan grande sea el estudiante (el modelo de IA).

Los modelos pequeños se ven perjudicados cuando repiten un montón pequeño de libros muchas veces.
Los modelos grandes se ven perjudicados cuando repiten un montón mucho más grande de libros, pero menos veces.

Piénsalo como una esponja. Una esponja pequeña (modelo pequeño) se obstruye si le viertes un poco de lodo demasiadas veces. Una esponja gigante (modelo grande) puede manejar un poco de lodo, pero si le viertes un cubetón de lodo una cantidad moderada de veces, se obstruye instantáneamente.

4. El Costo: Dinero y Energía Desperdiciados

El artículo traduce esta "estupidez" en dinero y energía. Encontraron que si caes en esta trampa de repetición del "peor escenario", podrías haber tirado a la basura el 33% de tu presupuesto de cómputo.

La Analogía: Imagina que pagaste por una sesión de estudio de 100 horas. Debido a la mala estructura de repetición, el estudiante solo aprendió tanto como lo habría hecho en una sesión de 67 horas. Desperdiciaste 33 horas de electricidad y dinero sin obtener ningún beneficio.

5. ¿Por qué sucede esto? (La Matemática Simple)

Podrías pensar que esto es un truco complejo de cómo funcionan los cerebros de IA (Transformers). Pero los autores demostraron que en realidad es un problema estadístico básico.

Construyeron un modelo matemático simple (como una regresión lineal básica) que ni siquiera utiliza IA. Cuando alimentaron este modelo matemático simple con datos duplicados, mostró exactamente el mismo pico de mal rendimiento de "el punto justo".

La Lección: Esto no es un error en los sofisticados mecanismos de atención de la IA; es una ley fundamental de la estadística. Cuando tienes datos únicos y datos repetidos, hay un equilibrio específico donde el modelo se confunde entre "memorizar la copia" y "aprender la regla general", y esa confusión es la que más duele.

Resumen

La repetición es mala, pero no de la forma en que piensas.
El mayor daño ocurre cuando repites un trozo de tamaño medio de datos un número moderado de veces.
Los modelos más grandes son vulnerables a repetir trozos más grandes de datos.
El costo es enorme: Puedes desperdiciar un tercio de tu potencia de cómputo simplemente por tener la estructura de repetición incorrecta.
La causa es un compromiso estadístico básico entre memorizar duplicados y aprender patrones generales, no un fallo complejo de la IA.

El artículo concluye que simplemente eliminar los duplicados no es suficiente; necesitamos entender cómo están estructurados los duplicados restantes para evitar desperdiciar cantidades masivas de recursos.

Resumen Técnico: La repetición interna de datos destruye los modelos de lenguaje

Planteamiento del problema
A medida que el preentrenamiento de los modelos de lenguaje (LM) entra en un régimen de datos limitados, los corpora públicos de alta calidad se están agotando, lo que hace necesario el entrenamiento de múltiples épocas y el uso de conjuntos de datos con deduplicación imperfecta. Aunque la deduplicación agresiva es el estándar, persisten duplicados exactos residuales, plantillas parafraseadas y páginas semánticamente redundantes. Estudios controlados previos sobre la repetición de datos, como el de Hernandez et al. [11], precedieron a las leyes de escalado de tipo Chinchilla optimizadas por cómputo. En consecuencia, midieron el costo de la repetición de forma indirecta mediante reducciones en el "conteo de parámetros efectivos" y en presupuestos de tokens fijos que subentrenaban a los modelos grandes y sobreentrenaban a los pequeños. Este artículo aborda la necesidad de cuantificar el costo de la repetición de documentos exactos dentro del paradigma moderno de Chinchilla, donde el rendimiento se mide en FLOPs en lugar de en conteos de parámetros, y los presupuestos de entrenamiento se optimizan para la eficiencia de cómputo.

Metodología
Los autores llevan a cabo un estudio controlado que aísla el impacto de la estructura de la repetición, manteniendo constantes el presupuesto total de cómputo y la fracción de tokens repetidos.

Configuración experimental: El estudio entrena transformadores de solo decodificador tipo Qwen3 con conteos de parámetros $N \in \{34, 48, 63, 93, 153, 344\}$ M sobre el corpus FineWeb-Edu-Dedup.
Protocolo de repetición: Para cada ejecución, el 10% de los tokens de entrenamiento ( $f=0.1$ ) se extraen de un grupo específico de documentos, mientras que el 90% proviene de documentos únicos. La estructura de la repetición varía cambiando el número de repeticiones $R$ (cuántas veces se reproduce cada documento en el grupo) y el tamaño del grupo $D_r$ . Esto crea una curva iso-FLOP donde el cómputo total $C = 6NT$ permanece fijo, pero la concentración de datos repetidos cambia.
Métricas: Los autores introducen la Ganancia Equivalente de Cómputo (CEG) y la Pérdida Equivalente de Cómputo (CEL). La CEG se define como la relación entre el cómputo que una ejecución sin repetición necesitaría para alcanzar la misma pérdida que una ejecución con datos repetidos, dividida por el cómputo real gastado. $CEL = 1 - CEG$. Un valor de $CEG < 1$ indica que la repetición causó una pérdida en la eficiencia de cómputo.
Línea base: Se deriva una ley de escalado de Chinchilla ajustada sin repetición, $L(C) = E + KC^{-\gamma}$ , a partir de seis líneas base de $OT=1$ (óptimas para Chinchilla) para convertir las pérdidas de evaluación en costos de cómputo equivalentes.
Análisis teórico: Para comprender el mecanismo, los autores derivan expresiones de forma cerrada para la pérdida de entrenamiento y de prueba en un modelo de regresión lineal mal especificado con duplicados verbatim, analizando la covarianza de ruido de bloque diagonal introducida por las muestras repetidas.

Resultados clave

Pico de daño no monotónico: La pérdida de evaluación no es monotónica con respecto al número de repeticiones $R$ . En su lugar, el daño alcanza un pico en un número intermedio de repeticiones. Repetir un subconjunto de tamaño moderado un número moderado de veces causa más daño que repetir un subconjunto muy pequeño muchas veces o un subconjunto grande pocas veces.
Ley de potencia para la ubicación del pico: La ubicación de este pico ( $R_{peak}$ ) sigue una ley de potencia con respecto al tamaño del modelo $N$ y al cómputo total $C$ . Específicamente, $R_{peak} \propto N^{-0.96}$ y $R_{peak} \propto C^{-0.25}$ . Esto implica que, a medida que los modelos escalan, la estructura de repetición más dañina involucra menos repeticiones de un grupo más grande de documentos.
Pérdida equivalente de cómputo significativa: En la mayor escala probada (344 millones de parámetros, $OT=1$), la estructura de repetición de peor caso resulta en una CEG de aproximadamente 0.67, lo que corresponde a una CEL de 0.33. Esto significa que la ejecución logra la misma pérdida que una ejecución sin repetición entrenada con solo dos tercios de los FLOPs.
Mecanismo estadístico: El pico no monotónico se reproduce en un modelo de regresión lineal simple mal especificado. Los autores muestran que este fenómeno surge de un compromiso estadístico entre la memorización y la generalización ante la presencia de muestras duplicadas, lo que sugiere que el efecto no es específico de arquitecturas de transformadores, mecanismos de atención o optimizadores.

Significación y afirmaciones
El artículo afirma modernizar el estudio de la repetición de datos al cambiar la métrica de "parámetros efectivos" a "unidades equivalentes de cómputo", alineándose con las prácticas actuales de la industria.

Precisión en la cuantificación de costos: Los hallazgos permiten a los profesionales cuantificar el cómputo desperdiciado incurrido por la estructura específica de los duplicados en los corpora de preentrenamiento, no solo el volumen de los mismos.
Predictibilidad: La ley de potencia identificada ( $R_{peak} \propto N^{-0.96}$ ) proporciona una heurística para predecir las configuraciones de repetición más perjudiciales para un tamaño de modelo dado, permitiendo mejores estrategias de curación de datos.
Generalizabilidad: Al demostrar que el mismo pico de pérdida cualitativo ocurre en un modelo de regresión lineal simple, los autores argumentan que el daño de la repetición es una propiedad estadística fundamental de las muestras duplicadas en aprendices mal especificados, más que un artefacto de componentes específicos de aprendizaje profundo.

Los autores mantienen la modestia respecto a los valores absolutos de CEG y CEL, señalando que dependen de un ajuste de ley de escalado de tres parámetros a un número limitado de líneas base. Sin embargo, sostienen que la no monotonicidad cualitativa y la existencia de una estructura de repetición de peor caso son hallazgos robustos. El trabajo concluye que informar simplemente la fracción de datos duplicados es insuficiente; la concentración y el número de repeticiones de esos duplicados son determinantes críticos de la eficiencia del entrenamiento.