Resumen Técnico: Aumentos de Datos para el Preentrenamiento de Modelos de Lenguaje con Restricción de Datos

1. Planteamiento del Problema

El artículo aborda el régimen emergente de "datos limitados, cómputo abundante" en el desarrollo de Modelos de Lenguaje de Gran Escala (LLM). A medida que el acervo de texto de alta calidad de internet público se acerca al agotamiento, la industria se enfrenta a un techo donde la capacidad de cómputo supera la disponibilidad de datos. En consecuencia, los modelos deben someterse a un entrenamiento de múltiples épocas sobre corpus fijos.

Los autores identifican un modo de fallo crítico en este escenario: el preentrenamiento autorregresivo (AR) estándar sufre un sobreajuste severo. En sus experimentos, un modelo de 150 millones de parámetros entrenado con un corpus de 75 millones de tokens (aproximadamente 40 veces por debajo del presupuesto óptimo de Chinchilla) alcanzó su pérdida de validación mínima en la época 16 y posteriormente se deterioró continuamente, lo que indica un cambio de la generalización hacia la memorización. Aunque se han propuesto los modelos de difusión como una alternativa más robusta, estos enfrentan actualmente obstáculos prácticos relacionados con los costes de inferencia, la generación de longitud dinámica y la madurez de la infraestructura. El artículo postula que una solución más inmediata es introducir una regularización de estilo difusión en los modelos AR estándar mediante el aumento de datos durante el entrenamiento.

2. Metodología

Los autores introducen tres categorías ortogonales de aumento de datos diseñadas para modificar los pares (entrada, etiqueta) presentados al modelo durante el entrenamiento, sin alterar la arquitectura del modelo ni la función de pérdida. En el momento de la evaluación, todos los aumentos se desactivan y el modelo se prueba bajo el ajuste estándar de predicción de siguiente token de izquierda a derecha (L2R).

Categoría 1: Ruido a Nivel de Token

Inspirada en el proceso de ruido de los modelos de difusión, esta categoría corrompe los tokens de entrada mientras requiere que el modelo prediga la secuencia original no corrompida.

• Enmascaramiento (Masking): Una fracción de los tokens es reemplazada por un token especial ``.
• Reemplazo Aleatorio (Random Replacement): Una fracción de los tokens es reemplazada por un token del vocabulario extraído aleatoriamente. Esto crea una señal "semánticamente más difícil" que el enmascaramiento, ya que el reemplazo es un token plausible pero incorrecto.

Categoría 2: Permutaciones de Secuencia

Esta categoría reordena las secuencias de entrenamiento para alterar la dirección o estructura de la predicción.

• Derecha a Izquierda (R2L): La secuencia se invierte y el modelo predice los tokens en orden inverso, guiado por un token de dirección.
• Relleno en el Medio (Fill-in-the-Middle, FIM): La secuencia se reordena en un formato de prefijo-sufijo-medio (PSM) o sufijo-prefijo-medio (SPM). El modelo debe predecir el segmento central dado el prefijo y el sufijo.

Categoría 3: Predicción de Desplazamiento de Objetivo (Target Offset)

En lugar de predecir el siguiente token inmediato ($x_{t+1}$), el modelo es entrenado para predecir un token futuro $x_{t+i}$ en un desplazamiento $i \ge 1$ muestreado.

• Esquemas de Ponderación: Los autores exploran el muestreo uniforme y la ponderación de decaimiento exponencial sobre el horizonte $i$. El esquema exponencial concentra la masa de probabilidad en desplazos pequeños (principalmente $i=1$) mientras muestrea ocasionalmente horizontes más grandes, actuando como un currículo implícito.
• Mecanismo: Se antepone un token especial <next_i> para indicar el desplazamiento activo.

Estas categorías pueden aplicarse simultáneamente en un pipeline secuencial: primero se aplica el ruido, seguido de la permutación (si está activa) y, finalmente, la inserción de los tokens de dirección/desplazamiento.

3. Configuración Experimental

• Modelo: Un modelo de lenguaje causal de 15 de 150 millones de parámetros basado en la arquitectura Llama (20 capas, tamaño de dimensión oculta de 512).
• Conjunto de Datos: 75 millones de tokens de DCLM-RefinedWeb.
• Programación de Entrenamiento: Programación de tasa de aprendizaje Warmup-Stable-Decay (WSD). Los estudios de ablación utilizaron principalmente la fase estable para comparar el rendimiento relativo de manera eficiente, con un subconjunto de ejecuciones sometiéndose a la fase de decaimiento completa para comprobaciones de robustez.
• Métricas: La métrica principal es la pérdida de validación mantenida bajo la predicción de siguiente token L2R estándar. La precisión zero-shot en cinco benchmarks descendentes (HellaSwag, PIQA, ARC-Challenge, WinoGrande, COPA) sirve como evidencia corroborativa.

4. Resultados Clave

Rendimiento de Aumento Individual

• Ruido de Token: El reemplazo aleatorio de tokens superó consistentemente al enmascaramiento. El mejor método individual fue el Reemplazo Aleatorio al 15%, logrando una pérdida de validación mínima de 3.841 (frente al 4.015 de la línea base). El enmascaramiento al 15% logró 3.910. Tasas más bajas (5%) proporcionaron menos regularización, mientras que tasas más altas (30%) mostraron rendimientos decrecientes.
• Permutaciones de Secuencia: La mezcla de R2L al 50% fue efectiva (pérdida mínima 3.910), mientras que FIM no proporcionó ningún beneficio (pérdida mínima 3.947, igual que la línea base) y sufrió sobreajuste al mismo ritmo que la línea base. Los autores atribuyen el fallo de FIM a un desajuste de distribución entre el formato de entrenamiento y el entorno de evaluación.
• Desplazamiento de Objetivo (Target Offset): La ponderación exponencial sobre desplazos $i \le 5$ fue el aumento individual más fuerte (pérdida mínima 3.870). La ponderación uniforme no proporcionó ningún beneficio. Un desplazamiento uniforme acotado ($i \le 2$) ofreció una regularización moderada (3.890) pero convergió antes.

Rendimiento de Combinación

El estudio reveló que las combinaciones son altamente sensibles a los hiperparámetros y tipos de interacción:

• Sinergia: Combinar R2L y Desplazamiento de Objetivo (exponencial) fue sinérgico, logrando una pérdida mínima de 3.841, empatando con el mejor método individual.
• Interferencia: Combinar Ruido de Token y Desplazamiento de Objetivo causó una fuerte interferencia, elevando la pérdida mínima a niveles cercanos a la línea base (por ejemplo, el Reemplazo Aleatorio 15% + Desplazamiento $i \le 5$ exponencial resultó en 3.995). Los autores atribuyen esto a que el ruido de token corrompe el contexto local requerido para la predicción de desplazamiento.
• Configuración Óptima: Los mejores resultados se lograron combinando las tres categorías con una cuidadosa sintonización. Específicamente, el Reemplazo Aleatorio al 5% (no al 15%) combinado con R2L 50% y Desplazamiento $i \le 5$ (exponencial) logró la mejor pérdida de validación mínima global de 3.805. Esta configuración redujo la pérdida en 0.210 respecto a la línea base.
• Robustez: Las clasificaciones establecidas en la fase estable se preservaron tras la fase de decaimiento WSD. La mejor combinación de 3 categorías alcanzó un mínimo de la fase de decaimiento de 3.792.

Generalización Descendente

Todos los modelos aumentados superaron a la línea base en precisión zero-shot en cinco benchmarks. La mejor combinación de 3 categorías alcanzó una precisión media del 42.9% (frente al 41.0% de la línea base). Aunque la pérdida de validación no correlacionó perfectamente con el rango de precisión (probablemente debido al ruido a la escala de 150M), la tendencia confirmó que una menor pérdida de validación generalmente se traduce en una mejor generalización.

5. Significancia y Reivindicaciones

El artículo afirma que el aumento de datos es una estrategia viable y ligera para mitigar la ineficiencia de datos del entrenamiento AR en regímenes de datos limitados. Las conclusiones clave incluyen:

1. Regularización mediante Aumento: Los aumentos permiten a los modelos extraer señales significativas de pasadas repetidas sobre datos fijos, retrasando o previniendo el colapso por sobreajuste observado en el entrenamiento AR estándar.
2. Reemplazo Aleatorio > Enmascaramiento: Contrario a las convenciones de tipo BERT, el reemplazo aleatorio de tokens es un regularizador superior para el preentrenamiento AR, probablemente debido a la mayor dificultad de identificar tokens plausibles pero incorrectos frente a la señal explícita de ausencia de un mask.
3. Preservación del Formato: Los aumentos que preservan el contenido pero alteran el orden (R2L) son más efectivos que aquellos que cambian radicalmente el formato de la secuencia (FIM) en relación con la distribución de evaluación.
4. Sensibilidad a Hiperparámetros: El éxito de las combinaciones depende altamente de las tasas de ruido. Las tasas de ruido altas (15%) interrumpen los objetivos de desplazamiento, mientras que las tasas más bajas (5%) actúan como regularizadores complementarios.
5. Practicidad: A diferencia de los modelos de difusión, este enfoque no requiere cambios arquitectónicos ni nueva infraestructura de inferencia, lo que lo convierte en una solución inmediatamente aplicable a los pipelines actuales de entrenamiento de LLM.

Los autores concluyen que, aunque el aumento de datos para el preentrenamiento de LLM ha sido menos explorado en comparación con la filtración de datos o las estrategias de mezcla, merece una atención seria como una técnica de primer nivel para navegar el aproximándose techo de datos.