Resumen Técnico: Leyes de Escalamiento Prescriptivas para Entrenamiento con Datos Limitados

Declaración del Problema

El entrenamiento de modelos de lenguaje grandes (LLM) está cada vez más limitado por la disponibilidad de datos de alta calidad en lugar de la capacidad de cómputo. Aunque el texto crudo es abundante, las pipelines de vanguardia dependen de filtrado de calidad agresivo, subconjuntos curados y corpus específicos de dominio, creando un cuello de botella donde el presupuesto de cómputo a menudo excede los datos únicos disponibles. En este régimen, los practicantes recurren frecuentemente a entrenar modelos durante múltiples épocas sobre los mismos datos.

Las leyes de escalamiento existentes, particularmente la ley Chinchilla ampliamente adoptada (Hoffmann et al., 2022), asumen que cada token de entrenamiento es único. Las extensiones para manejar la repetición de datos, como la formulación de datos efectivos de Muennighoff et al. (2023), modelan rendimientos decrecientes pero no logran capturar el régimen donde la pérdida aumenta debido al sobreajuste. Crucialmente, estos modelos existentes no tienen en cuenta explícitamente la interacción entre el tamaño del modelo y la repetición: los modelos más grandes se sobreajustan más rápido en datos repetidos que los más pequeños. Sin modelar esta interacción, las leyes de escalamiento no pueden predecir con precisión el comportamiento ni guiar la asignación óptima de cómputo en entornos con datos limitados.

Metodología

Los autores proponen una nueva formulación de ley de escalamiento que modela explícitamente el costo de la repetición de datos mediante una penalización aditiva de sobreajuste.

Configuración Experimental

• Modelos: Más de 300 modelos de lenguaje solo decodificador basados en la arquitectura Llama 2, que van desde 15M hasta 1B de parámetros.
• Datos: Entrenados en el conjunto de datos FineWeb (Penedo et al., 2024).
• Rejilla: El estudio barre presupuestos de datos únicos ($U_D$) desde 50M hasta 6B de tokens y conteos de repetición ($R_D$) desde 0 hasta 15 épocas.
• Regularización: Se probaron dos fuerzas de decaimiento de pesos: estándar ($\lambda = 0.1$) y fuerte ($\lambda = 1.0$), manteniendo todos los demás hiperparámetros constantes.
• Evaluación: Pérdida de validación final, perplejidad y rendimiento aguas abajo mediante la suite de evaluación OLMES (Gu et al., 2025) en 19 tareas.

Ley de Escalamiento Propuesta

Los autores derivan una familia de leyes de escalamiento que aumentan la forma Chinchilla con un término de penalización aditiva. La forma general es:
$$L(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{(U_D \cdot (1 + R_D))^\beta} + \text{Penalización}(N, U_D, R_D)$$

Donde el término de penalización captura el exceso de pérdida debido a la repetición. Los autores presentan una "escalera de complejidad" de formas:

1. Forma de 1 Parámetro: Una penalización lineal en el conteo de repetición escalada por la relación del tamaño del modelo a los datos únicos: $P \cdot R_D \cdot \frac{N}{U_D}$.
2. Forma de 2 Parámetros: Introduce un exponente no lineal $\kappa$ en la relación de capacidad: $P \cdot R_D \cdot (\frac{N}{U_D})^\kappa$.
3. Forma de 4 Parámetros: Añade un exponente superlineal $\delta$ en el conteo de repetición y desacopla el exponente del presupuesto de datos $\gamma$: $P \cdot R_D^\delta \cdot (\frac{N}{U_D^\gamma})^\kappa$.

Esta formulación postula que los tokens repetidos cumplen un doble papel: continúan reduciendo el término de suficiencia de datos (actuando como datos útiles) mientras simultáneamente incurren en un costo de sobreajuste creciente que depende del tamaño del modelo y la escasez de datos.

Resultados Clave

1. Calidad de Ajuste Superior

Las leyes de penalización aditiva propuestas superan significativamente a las formulaciones existentes (línea base Chinchilla y Muennighoff et al., 2023) en la predicción de la pérdida de validación bajo repetición.

• Ajuste Descriptivo: Incluso la forma aditiva más simple de 1 parámetro supera sustancialmente a las líneas base de decaimiento exponencial ($R^2_{multi} \approx 0.95$ vs. $0.58$ para la línea base en el estudio estándar). La forma de 4 parámetros logra un ajuste casi perfecto ($R^2 \approx 0.997$).
• Generalización: Las formas de penalización aditiva se generalizan al conjunto de datos C4 de Muennighoff et al. (2023) retenido, superando sus propias formulaciones de datos efectivos en esos datos, confirmando que la mejora no es un artefacto de la configuración de entrenamiento específica.

2. Asignación Óptima de Cómputo

La nueva ley de escalamiento produce consejos cualitativamente diferentes para asignar cómputo en regímenes con datos limitados en comparación con trabajos anteriores:

• Trabajos Anteriores: La ley Chinchilla (ignorando el sobreajuste) siempre recomienda más repetición a medida que aumenta el cómputo. La ley de Muennighoff et al. (2023) recomienda rendimientos decrecientes pero nunca sugiere detener la repetición.
• Este Trabajo: La ley propuesta identifica un umbral de cómputo más allá del cual la repetición adicional es contraproducente. Más allá de este punto, la estrategia óptima es asignar cómputo adicional a la capacidad del modelo (mayor $N$) mientras se reduce el número de épocas ($R_D$). Esto crea un "giro hacia atrás" de la frontera de asignación.

3. Validación Prescriptiva

Los autores validaron las recomendaciones de la ley entrenando las configuraciones específicas (tamaño del modelo y conteo de épocas) recomendadas por cada ley para presupuestos fijos de cómputo y datos.

• Las configuraciones recomendadas por la ley propuesta lograron consistentemente la menor perplejidad y el mejor rendimiento aguas abajo (OLMES BPB) en todos los presupuestos probados.
• Por ejemplo, con un presupuesto de cómputo de $2 \times 10^{19}$ FLOPs y $500M$ de tokens únicos, la ley propuesta recomendó un modelo de 2.2B de parámetros entrenado durante 3 épocas, superando la recomendación de Chinchilla (670M parámetros, 10 épocas) y la recomendación de Muennighoff (950M parámetros, 7 épocas).

4. Estudio de Caso: Decaimiento de Pesos

El único coeficiente $P$ en el término de penalización cuantifica la robustez de una configuración frente a la repetición de datos.

• Reducción del Sobreajuste: El decaimiento de pesos fuerte ($\lambda = 1.0$) reduce el coeficiente de sobreajuste $P$ en aproximadamente un 70% en comparación con el decaimiento de pesos estándar ($\lambda = 0.1$).
• Punto de Cruce: Mientras que el decaimiento de pesos fuerte incurre en una "prima de pérdida" en el régimen de una sola época, la penalización de sobreajuste reducida crea un punto de cruce en presupuestos de cómputo altos ($C \approx 3.2 \times 10^{18}$ FLOPs para $U_D=250M$). Más allá de este punto, el decaimiento de pesos fuerte permite el uso productivo de cómputo adicional, superando a las configuraciones estándar. Esto proporciona una explicación basada en leyes de escalamiento para hallazgos empíricos recientes (Kim et al., 2026) de que el decaimiento de pesos óptimo en regímenes con datos limitados es un orden de magnitud mayor que la práctica estándar.

Significado y Afirmaciones

El artículo afirma proporcionar un marco prescriptivo para el entrenamiento con datos limitados que va más allá de las suposiciones de "datos infinitos" de Chinchilla.

• Nuevos Consejos de Asignación: La contribución principal es la identificación de un régimen donde la repetición se vuelve perjudicial, desplazando la estrategia óptima de "más épocas" a "modelos más grandes".
• Robustez Cuantificable: Al aislar el sobreajuste en un solo coeficiente, la ley permite la comparación directa de configuraciones de entrenamiento (por ejemplo, diferentes fuerzas de regularización) sin barridos exhaustivos de hiperparámetros.
• Guía Práctica: Los autores argumentan que para los practicantes con presupuestos de datos fijos, existe un nivel específico de cómputo más allá del cual repetir datos es contraproducente. Proporcionan un método concreto para determinar este umbral y el tamaño de modelo óptimo correspondiente.
• Modestia: Los autores reconocen limitaciones, señalando que los exponentes ajustados están validados hasta 1B de parámetros y 16 épocas, y que la ley no encapsula fenómenos como la doble caída. También señalan que la reanálisis de Muennighoff et al. (2023) sugiere que su desacuerdo sobre las estrategias de asignación se debe a una línea base mal especificada en el trabajo anterior en lugar de una contradicción fundamental en la física del escalamiento.