Resumen Técnico: Unificando el Escalamiento Óptimo de Cómputo y Datos

1. Planteamiento del Problema

Las leyes de escalamiento de preentrenamiento clásicas (p. ej., Kaplan et al., 2020; Hoffmann et al., 2022) operan bajo el supuesto de que los datos de preentrenamiento frescos son ilimitados y escalan libremente con el cómputo. Sin embargo, el campo está transitando hacia un régimen donde la capacidad de cómputo crece exponencialmente mientras que los datos de alta calidad para preentrenamiento siguen siendo finitos y costosos de curar. En este régimen de "datos limitados", los profesionales deben gastar cómputo adicional en tokens derivados ($D'$) generados a partir de un corpus fijo ($D$) mediante estrategias como la repetición de múltiples épocas, el parafraseo o la destilación.

La pregunta central abordada por este trabajo es: Para un modelo de tamaño $N$ entrenado en un corpus fijo $D$, ¿cuánto puede el cómputo adicional (gastado en tokens derivados $D'$) reducir la pérdida de preentrenamiento? Las leyes existentes no describen adecuadamente el compromiso entre cómputo y datos cuando el suministro de datos es limitado.

2. Metodología

El Marco de Escalamiento de Cómputo-Datos (CD)

Los autores proponen un marco unificado, las leyes de escalamiento CD, que tiende un puente entre:

1. Escalamiento óptimo de cómputo ($L_{Chin}$): Donde los datos son ilimitados ($D' = 0$).
2. Escalamiento óptimo de datos ($L_D$): Donde el cómputo es ilimitado sobre un corpus fijo ($D' \to \infty$).

El núcleo del marco es una función de efectividad de tokens, $\eta_{strat} \in [0, 1]$, que cuantifica el valor de un token derivado en relación con un token fresco. La ley de escalamiento propuesta es:

$$L(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{(D + \eta_{strat} \cdot D')^\beta}$$

Donde:

• $N$: Parámetros del modelo.
• $D$: Tokens frescos (vistos una vez).
• $D'$: Tokens derivados.
• $\eta_{strat}$: Coeficiente de efectividad dependiente de la estrategia de expansión (repetición o parafraseo), el tamaño del modelo $N$ y la disponibilidad de datos.

Configuración Experimental

• Arquitectura: OLMo3 (Olmo et al., 2025).
• Tamaños de Modelo: De 14M a 600M de parámetros.
• Datos: Corpus Dolma-3 (150B tokens).
• Estrategias:
  1. Repetición de múltiples épocas: Repetir el corpus para épocas adicionales.
  2. Parafraseo: Parafrasear documentos utilizando SmolLM2-1.7B-Instruct con mezclas de estilo específicas (preguntas, matemáticas, FAQ, tablas).
• Ajuste (Fitting): Los autores ajustan los parámetros de la ley de escalamiento mediante un barrido de tamaños de datos frescos ($D$), presupuestos de tokens derivados ($D'$) e hiperparámetros (tasa de aprendizaje, decaimiento de peso). Derivan $\eta_{emp}$ empíricamente encontrando el valor que reproduce las pérdidas observadas dados los constantes de escalamiento de 1 época.

Forma Paramétrica de $\eta$

El análisis empírico revela que $\eta$ no es constante, sino que decae como una función de:

1. Relación de Expansión ($r = D'/D$): $\eta$ disminuye a medida que se añaden más datos derivados.
2. **Tokens por Parámetro ($TPP = D/N$):**$\eta$ decae más rápido cuando los datos frescos son escasos en relación con el tamaño del modelo.
3. Tamaño del Modelo ($N$): Los modelos más grandes se saturan más rápido.

Los autores modelan los datos derivados efectivos ($\eta \cdot D'$) como una saturación hacia un techo $R^*$. La forma funcional adoptada es:
$$\eta = \frac{R^*}{r} \left(1 - e^{-r/R^*}\right)$$
Donde el techo de saturación $R^*$ sigue una ley de potencia dependiente de $N$ y $TPP$:
$$R^*(D, N) = K \cdot (D/N)^\rho \cdot N^\sigma$$

3. Resultados Clave

1. Efectividad No Constante

La efectividad de los tokens derivados está lejos de ser constante. Depende conjuntamente del tamaño del modelo, la relación $TPP$ y la cantidad de datos derivados. A medida que el corpus se expande ($D' \to \infty$), el conteo de tokens efectivos $D_{eff} = D + \eta D'$ se satura.

2. Tres Regímenes Operativos

La ley de escalamiento CD particiona el entrenamiento en tres regímenes distintos basados en la restricción vinculante:

• Limitado por cómputo (Compute-bound): Entre la frontera de escalamiento óptimo de cómputo ($L_{Chin}$) y la frontera óptima de datos ($L_D$). Aquí, el cómputo adicional en $D'$ reduce significamente la pérdida.
• Limitado por datos (Data-bound): Entre $L_D$ y el piso del modelo ($L_N$). Los tokens derivados se han saturado; solo los datos frescos pueden reducir la pérdida más allá de este punto.
• Limitado por modelo (Model-bound): El límite asintótico donde tanto el cómputo como los datos están saturados; solo aumentar $N$ ayuda.

La región "limitada por cómputo" se reduce a medida que el tamaño del modelo ($N$) y el $TPP$ aumentan, lo que indica rendimientos decrecientes para el cómputo adicional en modelos más grandes o con abundancia de datos.

3. Selección de Estrategia y Optimización

• Modelos Pequeños ($N \lesssim 600M$) y Bajos Presupuestos de Datos: El parafraseo es significativamente más efectivo que la repetición.
• Modelos Grandes ($N \gtrsim 190M$) y Altos Presupuestos de Datos: La repetición supera al parafraseo.
• Recomendación de Épocas: La "regla de las 4 épocas" (citada frecuentemente para Chinchilla) solo se sostiene para modelos de escala media ($\sim 3B$) cerca de la escala de datos de $1\times$ Chinchilla. Para modelos más grandes y mayor $TPP$, el número de épocas recomendado disminuye.
• Frontera de Pareto: El marco identifica la asignación óptima de cómputo-datos, generalizando la optimización de solo cómputo de Chinchilla hacia una frontera de Pareto conjunta de cómputo-datos.

4. Transferencia de Tareas Aguas Abajo (Downstream)

La pérdida de validación sigue siendo un estadístico suficiente para la capacidad en tareas posteriores (medida por BPB en tareas de LM y precisión en benchmarks como LAMBADA y SQuAD), independientemente de si el modelo fue entrenado con 1 época, repetición o parafraseo. Todas las estrategias colapsan en una única curva cuando se grafican contra la pérdida de validación.

4. Significado y Reivindicaciones

El artículo afirma proporcionar un marco unificado que recupera las leyes existentes como casos especiales:

• El escalamiento óptimo de cómputo se recupera cuando $D' = 0$.
• El escalalamiento limitado por datos (Muennighoff et al., 2025) se recupera como un caso especial donde el techo de saturación $R^*$ es constante.
• El escalamiento óptimo de datos (Kim et al., 2025) se recupera como el límite donde $D' \to \infty$.

Implicaciones Prácticas:

1. Identificación de Recursos: Los profesionales pueden determinar si su ejecución de entrenamiento está limitada por el cómputo, los datos o la capacidad del modelo.
2. Estrategia de Asignación: La ley prescribe la división óptima de cómputo entre datos frescos y datos derivados, yendo más allá de la heurística de "Chinchilla".
3. Guía de Estrategia: Proporciona recomendaciones basadas en datos sobre cuándo cambiar de repetición a parafraseo y cuántas épocas o pasadas de parafraseo son óptimas antes de que los rendimientos se saturen.

5. Limitaciones

Los autores señalan varias limitaciones:

• Ajuste Empírico: La función $\eta$ absorbe los residuales del ajuste de 1 época, lo que potencialmente hace que $\eta_{emp} > 1$.
• Sensibilidad de Hiperparámetros: Solo se evaluaron la tasa de aprendizaje y el decaimiento de peso; otros hiperparámetros (tamaño de lote, longitud de secuencia) se mantuvieron fijos.
• Costo de Cómputo: Establecer estas leyes requirió más de 250k horas de H100.
• Alcance: El estudio se centra en la repetición y el parafraseo; otras estrategias como la autodestilación o los datos estructurados sintéticos permanecen inexploradas.
• Escala: Los experimentos se realizaron en modelos pequeños a medianos (hasta 600M), aunque la ley fue validada para extrapolarse a tamaños mayores.