Resumen Técnico: ¿Deberíamos seguir preentrenando codificadores con Modelado de Lenguaje Enmascarado?

Planteamiento del Problema

Aprender representaciones de texto de alta calidad es fundamental para el Procesamiento del Lenguaje Natural (PLN). Tradicionalmente, los modelos codificadores se han preentrenado exclusivamente utilizando Modelado de Lenguaje Enmascarado (MLM), que aprovecha la atención bidireccional para capturar dependencias contextuales. Sin embargo, evidencia reciente sugiere que los modelos decodificadores preentrenados con Modelado de Lenguaje Causal (CLM) pueden reutilizarse eficazmente como codificadores, superando a menudo a los codificadores tradicionales basados en MLM en puntos de referencia como el Massive Text Embedding Benchmark (MTEB).

Persiste una ambigüedad crítica: ¿surgen estas ganancias de una ventaja inherente del enfoque CLM, o son meros artefactos de factores de confusión, como escalas de modelo significativamente mayores y cantidades sustancialmente más grandes de datos de entrenamiento utilizados por los modelos recientes basados en decodificadores? No está claro si el éxito de este paradigma se debe al objetivo de aprendizaje en sí mismo o simplemente al aumento de la escala.

Metodología

Para abordar esta cuestión, los autores realizaron un estudio de ablación controlado a gran escala diseñado para aislar los efectos del objetivo de preentrenamiento (MLM vs. CLM) del tamaño del modelo y la escala de los datos.

• Escala Experimental: El estudio entrenó un total de 38 modelos que van desde 210 millones hasta 1 mil millones de parámetros. Esto implicó más de 15.000 ejecuciones de ajuste fino y evaluación, consumiendo aproximadamente 110.000 horas de GPU MI250X.
• Variables Controladas: Todos los modelos compartían arquitecturas idénticas (basadas en EuroBERT), vocabulario (LLaMA 3) y datos de entrenamiento (FineWeb-Edu). Crucialmente, todos los modelos fueron expuestos a la misma secuencia exacta de muestras para garantizar una comparación justa.
• Paradigmas de Preentrenamiento: Los autores compararon tres enfoques:
  1. MLM: Preentrenamiento bidireccional estándar con ratios de enmascaramiento variables (20%, 30%, 40%, 50%).
  2. CLM: Predicción autoregresiva del siguiente token.
  3. Híbrido (CLM+MLM): Un enfoque secuencial de dos etapas donde se aplica primero CLM, seguido de MLM.
• Configuraciones de Entrenamiento:
  • Preentrenamiento desde Cero (PFS): Modelos entrenados desde una inicialización aleatoria.
  • Preentrenamiento Continuo (CPT): Modelos inicializados a partir de checkpoints existentes de CLM o MLM y entrenados adicionalmente con MLM.
• Evaluación: Los modelos se evaluaron en 12 conjuntos de datos que abarcan cuatro categorías clave: Clasificación de Secuencias (SC), Clasificación de Tokens (TC), Respuesta a Preguntas (QA) y Recuperación de Información (IR). El ajuste fino se realizó con búsquedas rigurosas de hiperparámetros y múltiples semillas aleatorias para tener en cuenta la varianza.

Hallazgos Clave

1. MLM Generalmente Supera a CLM en Tareas de Representación

Cuando se entrenan desde cero durante la misma duración, los modelos preentrenados con MLM logran generalmente un rendimiento superior en tareas de representación de texto en comparación con los modelos solo CLM. La brecha de rendimiento es más pronunciada en la Clasificación de Secuencias y la Respuesta a Preguntas, las cuales parecen particularmente sensibles a la ausencia de contexto bidireccional. Aunque los modelos CLM compiten en Clasificación de Tokens y Recuperación de Información (especialmente a medida que aumenta el tamaño del modelo), MLM sigue siendo esencial para un rendimiento robusto y general.

2. CLM Ofrece Eficiencia de Datos y Estabilidad

A pesar de un rendimiento final más bajo en algunas tareas, los modelos entrenados con CLM demuestran ventajas distintivas:

• Eficiencia de Datos: En las etapas tempranas del entrenamiento (hasta 10.000–20.000 pasos), los modelos CLM superan consistentemente a los modelos MLM en tareas posteriores. CLM satura antes, lo que sugiere que es más eficiente para aprender representaciones iniciales.
• Estabilidad del Ajuste Fino: Los modelos preentrenados con CLM muestran una menor sensibilidad a las elecciones de la tasa de aprendizaje durante el ajuste fino, proporcionando una inicialización más estable que reduce la necesidad de un ajuste extenso de hiperparámetros.

3. Estrategia Óptima: CLM Secuencial seguido de MLM

Bajo un presupuesto computacional fijo, una estrategia de entrenamiento bifásica produce los mejores resultados. Específicamente, comenzar el preentrenamiento con CLM y transicionar a MLM (CLM+MLM) supera consistentemente al entrenamiento puro de MLM.

• En la configuración PFS, una división de 25% de pasos CLM y 75% de pasos MLM supera de manera confiable la línea base de solo MLM.
• Este enfoque combina la eficiencia de datos y la estabilidad de CLM con la calidad de representación de MLM.

4. Aprovechamiento de Modelos Decodificadores Existentes

En la configuración de Preentrenamiento Continuo (CPT), adaptar un modelo preentrenado con CLM utilizando MLM es más efectivo que continuar el entrenamiento MLM desde un modelo preentrenado con MLM.

• Aplicar CPT de MLM a un modelo inicializado con CLM cierra la brecha de rendimiento en las tareas de QA e IR y supera significativamente a los modelos solo MLM en Clasificación de Secuencias.
• Esto sugiere que el camino computacionalmente más eficiente hacia codificadores de última generación es inicializar a partir de modelos decodificadores preentrenados a gran escala, fácilmente disponibles, y continuar el entrenamiento con MLM.

Significado y Afirmaciones

El artículo desafía la suposición de larga data de que MLM es el enfoque universalmente óptimo para el preentrenamiento de codificadores. Los autores afirman que:

1. El entrenamiento bidireccional sigue siendo esencial para lograr un rendimiento robusto en todas las tareas, pero el camino hacia ese estado puede optimizarse.
2. Los modelos solo decodificadores no son simplemente codificadores "accidentales"; cuando se adaptan adecuadamente mediante MLM, aprovechan la eficiencia de datos del preentrenamiento causal para producir codificadores superiores.
3. Reducción de Costos: La estrategia propuesta (inicialización con CLM + adaptación con MLM) ofrece una forma de entrenar modelos codificadores de primera clase con una carga computacional reducida, lo que potencialmente disminuye los costos ambientales y económicos del entrenamiento de PLN.

Los autores enfatizan que sus hallazgos se basan en experimentos controlados a la escala de 100 mil millones de tokens, proporcionando evidencia empírica robusta de que la elección del objetivo de aprendizaje impacta significativamente la calidad de la representación posterior, independientemente de los factores de confusión relacionados con la escala. Liberan todos los artefactos (checkpoints, código, datos) para fomentar más investigación sobre estas dinámicas de entrenamiento.