Resumen Técnico: Mezclar, No Ajustar: El Entrenamiento Previa Bilingüe Supera a la Búsqueda de Hiperparámetros en Escenarios con Restricciones de Datos

Enunciado del Problema

A medida que los presupuestos de cómputo se expanden más rápido que los datos de texto disponibles, el entrenamiento previo de modelos de lenguaje opera cada vez más en un régimen restringido por datos. En este régimen, los modelos deben repetir sus datos de entrenamiento muchas veces para aprovechar el cómputo disponible, una práctica que degrada activamente la generalización al desplazar la capacidad del modelo hacia la memorización en lugar de la inducción. Este problema es particularmente agudo para los idiomas de recursos limitados (LRL), donde los corpus de alto valor son demasiado pequeños para llenar los presupuestos de cómputo.

Los profesionales enfrentan actualmente dos palancas principales para mitigar esta degradación:

1. Ajuste Agresivo de Hiperparámetros (HP): Aumentar la regularización (por ejemplo, decaimiento de pesos) para reducir los pesos y restringir la capacidad de la red, frenando así el sobreajuste al corpus objetivo repetido.
2. Mezcla de Datos Auxiliares: Introducir datos de un idioma de recursos abundantes (HRL) para diversificar la señal de entrenamiento y expandir la distribución de entrenamiento.

Si bien ambas estrategias ofrecen formas fundamentadas de mejorar el entrenamiento, su eficacia relativa, interacción e impacto en el rendimiento posterior frente a la pérdida de validación siguen sin estar claras. Específicamente, se desconoce si la mezcla de datos auxiliares proporciona un mayor beneficio que el ajuste agresivo de HP, cuánto compensa la mezcla la escasez de datos y si la pérdida de validación en el idioma objetivo refleja con precisión estas ganancias.

Metodología

Los autores realizaron una comparación sistemática en cuatro escalas de modelos (150M, 380M, 600M y 1.43B de parámetros) utilizando árabe como objetivo de recursos limitados e inglés como auxiliar de recursos abundantes. El estudio involucró aproximadamente 1,000 ejecuciones de entrenamiento previo.

Configuración Experimental

• Datos: El corpus árabe se submuestreó a 200M de tokens únicos ($D_{LR}$) de FineWeb2, repetidos hasta 100 veces ($R_{max}=100$). El corpus en inglés era efectivamente ilimitado.
• Presupuesto de Entrenamiento: Fijado en $D = 100 \times N_{nonemb}$ tokens. En configuraciones bilingües, el presupuesto se divide en una porción árabe ($\alpha D$) y una porción inglesa ($(1-\alpha)D$), donde $\alpha$ es la relación de mezcla.
• Régimenes de Hiperparámetros:
  • HP Básicos: Los hiperparámetros (decaimiento de pesos $\lambda$, tasa de aprendizaje $\eta$) se ajustaron en el modelo proxy de 150M y se transfirieron a escalas mayores utilizando Parametrización de Actualización Máxima ($\mu$P).
  • HP Ajustados: Se realizó una búsqueda completa en cuadrícula ($5 \times 5$ para $\lambda, \eta$) en cada escala para encontrar la configuración óptima.
• Cuatro Paradigmas: El estudio exploró estrategias de datos (Monolingüe vs. Bilingüe) y regímenes de HP (Básico vs. Ajustado) para aislar efectos.
• Evaluación:
  • Métrica Principal: Pérdida de Validación (VL) en Árabe.
  • Métrica Posterior: Precisión en ARC Easy (5-shot) tanto en árabe como en inglés.
  • Análisis: Se utilizó la descomposición de varianza (ANOVA) para cuantificar la contribución de las relaciones de mezcla frente a los hiperparámetros a la varianza del rendimiento.

Contribuciones y Resultados Clave

1. La Mezcla de Datos Domina al Ajuste de Hiperparámetros

El estudio encuentra que mezclar un idioma de recursos abundantes produce mejoras significativamente mayores que el ajuste de hiperparámetros por sí solo.

• Pérdida de Validación: A 1.43B de parámetros, el entrenamiento bilingüe mejoró la pérdida de validación en árabe en un 12.9% sobre la línea base monolingüe, mientras que el ajuste de HP por sí solo arrojó solo un 3.1%.
• Escalado: La brecha de rendimiento entre mezcla y ajuste se amplía a medida que aumenta el tamaño del modelo. A 1.43B, un modelo bilingüe con hiperparámetros básicos de $\mu$P superó a un modelo monolingüe con hiperparámetros ajustados por escala, a pesar de ser 2.4$\times$ más pequeño.
• Rendimientos Decrecientes del Ajuste: Una vez que se introduce datos diversos mediante la mezcla, la ganancia marginal de un ajuste adicional de HP es negligible (<1% en pérdida de validación).

2. Cuantificando el Valor de la Mezcla (El Multiplicador de Datos)

Los autores cuantifican cuánto reemplaza efectivamente la mezcla de datos únicos del idioma objetivo.

• Pérdida de Validación: La mezcla proporciona un multiplicador de 2–3$\times$ (por ejemplo, 200M de tokens árabes mezclados con inglés se comportan como 500M–600M de tokens árabes únicos en VL).
• Precisión Posterior: El multiplicador es mucho más sustancial en las pruebas, oscilando entre 2$\times$ y 13$\times$. A 1.43B, el entrenamiento bilingüe en 200M de tokens árabes igualó la precisión de un modelo monolingüe entrenado en 2.7B de tokens árabes únicos (un multiplicador de 13.4$\times$).
• Divergencia: Existe una divergencia sistemática donde la pérdida de validación subestima el valor de la mezcla. La pérdida de validación captura el efecto de regularización (diversificar la señal) pero falla en capturar la transferencia de conocimiento (capacidades factuales) que proporciona el idioma auxiliar, lo cual es crítico para las pruebas posteriores.

3. Sensibilidad de Hiperparámetros y Transferencia $\mu$P

• Sensibilidad: La relación de mezcla óptima ($\alpha$) se desplaza hacia más inglés a medida que crece el tamaño del modelo (por ejemplo, de $\alpha=0.33$ a 380M a $\alpha=0.10$ a 1.43B).
• Eficacia de $\mu$P: Transferir hiperparámetros desde un modelo proxy pequeño (150M) mediante $\mu$P es altamente efectivo. La brecha entre los HP transferidos por $\mu$P y los HP ajustados por escala se mantiene por debajo del 0.6% en pérdida de validación para modelos bilingües de hasta 1.43B.
• Afianzamiento del Paisaje: A 1.43B, el paisaje de hiperparámetros se vuelve más agudo e interactivo (específicamente entre la tasa de aprendizaje y el decaimiento de pesos), lo que hace que las búsquedas amplias en cuadrícula sean riesgosas. Sin embargo, $\mu$P sigue siendo un "valor predeterminado seguro" robusto que evita las esquinas patológicas del espacio de HP.

4. La Pérdida de Validación como Proxy

Si bien la pérdida de validación es un proxy confiable para seleccionar puntos de control dentro de una sola ejecución (correlación $r \approx 0.97$ con la precisión máxima), no es una métrica confiable para comparar estrategias monolingües y bilingües. Confiar únicamente en la pérdida de validación llevaría a los profesionales a subestimar la mezcla bilingüe, ya que la métrica no tiene en cuenta las ganancias de conocimiento posteriores suministradas por el idioma auxiliar.

Significado y Recomendaciones Prácticas

El documento concluye que en escenarios con restricciones de datos, la mezcla es la palanca principal de mejora, mientras que el ajuste de hiperparámetros es secundario. Los autores ofrecen una receta práctica para los profesionales:

1. Mezclar un idioma de recursos abundantes: Priorizar encontrar la relación de mezcla óptima sobre el ajuste agresivo de hiperparámetros.
2. Usar $\mu$P para transferencia: Transferir hiperparámetros desde un modelo proxy pequeño a escalas mayores para minimizar los costos de búsqueda.
3. Reevaluar métricas: No utilizar únicamente la pérdida de validación en el idioma objetivo para comparar estrategias monolingües y bilingües, ya que subestima sistemáticamente el valor de los datos auxiliares.

El estudio demuestra que el costo de cómputo de la mezcla está justificado porque reemplaza repeticiones desperdiciadas en el sobreajuste con conocimiento valioso y diverso, actuando efectivamente como un multiplicador de datos que escala abruptamente con el tamaño del modelo.