Resumen Técnico: Desajuste de Repetición en Experimentos de Mezcla de Datos

Planteamiento del Problema

En el preentrenamiento de modelos de lenguaje (LM), determinar la composición óptima de las mezclas de datos de múltiples fuentes es crítico para el rendimiento en tareas posteriores (downstream). Una estrategia común consiste en ejecutar experimentos a pequeña escala y extrapolar los resultados al presupuesto de entrenamiento objetivo. Sin embargo, los profesionales observan frecuentemente que las mezclas optimizadas a escalas pequeñas no se transfieren eficazmente a regímenes más grandes.

Este artículo identifica el desajuste de repetición (repetition mismatch) como la causa principal de este fallo de extrapolación. Cuando los datos de alta calidad son escasos en relación con el presupuesto de entrenamiento, estos deben repetirse múltiples veces durante el entrenamiento. Crucialmente, el número de repeticiones requeridas para un conjunto de datos fijo cambia a medida que crece el presupuesto de entrenamiento total. Los métodos estándar de selección de mezclas basados en el escalado asumen que la relación entre las proporciones de la mezcla y el rendimiento es invariable al escalado. Los autores argumentan que esta suposición es errónea porque los experimentos de aproximación (proxy) a pequeña escala imponen un régimen de repetición fundamentalmente diferente para los datos de alta calidad en comparación con la ejecución objetivo. Este desajuste distorsiona el paisaje de pérdida (loss landscape), desplazando la mezcla aparentemente óptima de formas que los experimentos a pequeña escala no pueden anticipar.

Metodología

Los autores proponen un procedimiento de submuestreo consciente de la repetición para aislar la repetición como una variable en la predicción de la mezcla. Este enfoque, basado en el trabajo de Li et al. (2025), consiste en realizar un submuestreo de todas las fuentes de datos de modo que los datos de alta calidad experimenten exactamente el mismo número de repeticiones en el experimento a pequeña escala que el que tendrían en la ejecución completa a gran escala, utilizando solo una fracción del total de tokens.

Configuración Experimental:

• Conjuntos de datos: El estudio combina conjuntos de datos limitados de alta calidad (WikiText o PubMed) con un corpus de web crawl a gran escala (FineWeb).
• Modelos: Los experimentos abarcan cuatro tamaños de modelo (30M, 124M, 345M y 757M de parámetros) utilizando una arquitectura NanoGPT modificada con optimizador Muon y Rotary Positional Embeddings.
• Comparación: El enfoque propuesto con control de repetición se compara con un baseline estándar de leyes de escala que extrapola las proporciones de mezcla óptimas a partir de ejecuciones más cortas sin igualar las tasas de repetición.
• Métricas: El rendimiento se mide mediante la distancia de la mezcla predicha respecto a la mezcla óptima real (medida por el error en la proporción de la mezcla) y la pérdida de validación en dominios de alta calidad retenidos (held-out).

Contribuciones Clave y Resultados

1. El desajuste de repetición es un factor de confusión dominante

El artículo demuestra que igualar la tasa de repetición de la ejecución objetivo es suficiente para recuperar predicciones de mezcla precisas a partir de experimentos a pequeña escala.

• Resultados de dos fuentes: En un escenario con una fuente de alta calidad y FineWeb, un único experimento controlado por repetición utilizando solo 1/16 de los tokens objetivo recupera una mezcla dentro de un margen de 0.05 del óptimo para un modelo de 757M de parámetros. En contraste, el enfoque estándar de leyes de escala sin control de repetición arroja un error de 0.75.
• Eficiencia de costos: Lograr una precisión comparable sin el control de repetición requiere tres o cuatro horizontes de entrenamiento, consumiendo entre el 44% y el 94% del presupuesto de tokens objetivo. El método controlado por repetición logra esto con un solo horizonte.
• Interacción con la capacidad del modelo: El beneficio del control de repetición escala con el tamaño del modelo. La reducción del error es más pronunciada en modelos más grandes (757M), mientras que los modelos más pequeños (30M) muestran menos beneficio o incluso superan al método controlado por repetición con leyes de escala estándar, lo que sugiere un límite inferior de escala de modelo donde este método es más efectivo.

2. Efectividad en entornos de múltiples fuentes

Los autores extienden los hallazgos a un entorno de tres fuentes (WikiText, PubMed y FineWeb).

• Aunque el espacio de mezcla más grande requiere más experimentos para restringirse, el control de repetición sigue siendo altamente efectivo.
• A la escala de 757M, dos horizontes controlados por repetición son suficientes para recuperar la mezcla óptima objetivo, superando a los baselines que requieren experimentos completos de dos fuentes para construirse.
• A la escala de 124M, las predicciones multihorizonte controladas por repetición (hasta cuatro horizontes) convergen al óptimo, igualando efectivamente la pérdida real (2.91950 vs. 2.91820) mientras reducen significamente el costo computacional en comparación con los baselines no controlados.

3. La repetición como una variable de primer orden

Los resultados indican que la dinámica de repetición de los datos, y no solo el escalado, determina si los experimentos de mezcla a pequeña escala generalizan. El artículo argumenta que la repetición debe tratarse como una variable explícita en la optimización de la mezcla y no como un efecto secundario incidental de la escasez de datos.

Significado y Afirmaciones

El artículo afirma que controlar el desajuste de repetición resuelve el problema de la extrapolación en regímenes con restricciones de datos. Al preservar la dinámica de repetición de la ejecución objetivo mediante el submuestreo, los investigadores pueden predecir mezclas de datos óptimas con alta precisión utilizando una fracción del presupuesto computacional.

Los autores posicionan esto como una intervención simple y ortogonal que no requiere modelado paramétrico ni ejecuciones de entrenamiento proxy, lo que la hace aplicable a cualquier método existente de predicción de mezclas. Afirman que, a medida que los profesionales dependen cada vez más de ejecuciones de ablación más pequeñas para informar las decisiones de mezcla para modelos de miles de millones de parámetros, tener en cuenta el desajuste de repetición será crítico para evitar errores de predicción sistemáticos que crecen con la capacidad del modelo y la brecha entre las escalas de aproximación y el objetivo.

El estudio es modesto en su alcance, señalando que los experimentos se realizaron hasta 757M de parámetros y ~3.8B de tokens, menores que el preentrenamiento de los LLM modernos. Sin embargo, la tendencia constante de que el control de repetición sea más efectivo con el tamaño del modelo sugiere que estos hallazgos probablemente se trasladen a escalas mayores. Los autores también señalan que su evaluación se centra en la pérdida de validación sobre dominios de alta calidad, y confirmar la transferencia a evaluaciones (benchmarks) posteriores sigue siendo una dirección para trabajos futuros.