Resumen Técnico: EuroBERT: Escalamiento de Codificadores Multilingües para Lenguas Europeas

Declaración del Problema

Las representaciones vectoriales multilingües de propósito general son fundamentales para tareas de Procesamiento de Lenguaje Natural (NLP) como la recuperación de información, la clasificación y la regresión. Tradicionalmente, estas representaciones se derivan de modelos codificadores bidireccionales (p. ej., BERT, XLM-RoBERTa). Sin embargo, el progreso de la investigación reciente ha favorecido fuertemente a los modelos generativos unidireccionales de solo decodificador (decoder-only). Si bien los modelos decodificadores han impulsado avances significativos en arquitectura, calidad de datos y escala, estas innovaciones no se han transferido sistemáticamente de vuelta a los codificadores. En consecuencia, los profesionales suelen depender de modelos codificadores obsoletos que carecen de los beneficios de rendimiento de las recetas de entrenamiento modernas, a pesar de que no existe una barrera arquitectónica inherente para aplicar estos avances a los codificadores.

Metodología

Los autores presentan EuroBERT, una familia de codificadores multilingües diseñados para revisar el desarrollo de codificadores a través del lente de los recientes avances en decodificadores. La metodología abarca tres componentes principales:

1. Arquitectura

Los modelos EuroBERT (disponibles en tamaños de 210M, 610M y 2.1B de parámetros) adoptan una arquitectura de transformador denso estándar pero incorporan modernizaciones específicas inspiradas en Llama 2 y Llama 3:

• Eliminación de sesgos: Todos los sesgos han sido eliminados de la arquitectura.
• Mecanismos de Atención: Implementación de Atención de Consulta Agrupada (Grouped Query Attention - GQA).
• Funciones de Activación: Uso de Unidades Lineales con Compuerta Swish (SwiGLU).
• Normalización: Normalización de Capa de Raíz Cuadrada Media (RMS).
• Incrustaciones Posicionales: Incrustaciones Posicionales Rotativas (RoPE).
• Longitud de Contexto: Soporte nativo para secuencias de hasta 8,192 tokens.

2. Construcción del Conjunto de Datos

Los modelos se entrenan en un corpus multilingüe de 5 billones de tokens, que comprende:

• Idiomas: 15 idiomas, incluyendo lenguas europeas principales (inglés, francés, alemán, español, italiano, portugués, polaco, holandés, ruso, turco) e idiomas globales ampliamente hablados (chino, japonés, vietnamita, árabe, hindi).
• Dominios: El corpus incluye texto general (FineWeb, CulturaX), datos de traducción paralela (EuroLLM) y dominios especializados: Código (38 lenguajes de programación de The Stack v2) y Matemáticas (Proof-Pile-2, Open-Web-Math).
• Estrategia de Entrenamiento: Un pipeline de dos fases que consiste en Pre-entrenamiento (4.8T de tokens) y Recocido (Annealing) (200B de tokens). La fase de recocido ajusta la distribución de los datos para enfatizar conjuntos de datos de mayor calidad y equilibrios de dominios específicos.

3. Receta de Entrenamiento

• Objetivo: Modelado de Lenguaje Enmascarado (Masked Language Modeling - MLM).
• Ratios de Enmascaramiento: Se utiliza un enfoque dinámico. El pre-entrenamiento emplea un ratio de enmascaramiento del 50% (basado en hallazgos de que ratios más altos benefician a modelos más grandes), mientras que la fase de recocido lo reduce al 10% para optimizar el rendimiento en tareas posteriores.
• Aprendizaje por Currículo: Durante el recocido, la distribución de los datos se ajusta. Los autores descubrieron que reducir la proporción de inglés (al 26%) y aumentar proporcionalmente otros idiomas, junto con la mezcla de cubetas de calidad (específicamente niveles 3 y 4 en lugar de solo los más altos), produce mejores resultados.
• Entrenamiento de Longitud Variable: Para manejar documentos pre-procesados de longitud fija, los autores emplean el recorte aleatorio de secuencias de hasta 8,192 tokens durante el recocido, lo cual resultó ser superior al entrenamiento basado únicamente en longitudes fijas.
• Infraestructura: El entrenamiento se llevó a cabo en el supercomputador Adastra utilizando GPUs MI250X y MI300A, utilizando FlashAttention, entropía cruzada fusionada y particionamiento híbrido (hybrid sharding).

Contribuciones Clave

1. Familia EuroBERT: Lanzamiento de tres modelos codificadores multilingües (210M, 610M, 2.1B) que superan a las alternativas existentes en diversas tareas.
2. Receta de Entrenamiento Revisada: Demostración de que el rendimiento de los codificadores puede mejorarse significativamente mediante la adopción de conocimientos de la era de los decodificadores, específicamente respecto a altos ratios de enmascaramiento en el pre-entrenamiento, ratios más bajos en el recocido y la inclusión de datos de código y matemáticas.
3. Evaluación Exhaustiva: Benchmarking extenso a través de tareas de recuperación, clasificación, regresión, código y matemáticas multilingües, mostrando que los modelos EuroBERT igualan o superan a líneas base más grandes (p. ej., XLM-RoBERTa-3.5B) siendo significativamente más pequeños.
4. Lanzamiento Abierto: Publicación de los modelos, puntos de control intermedios y el marco de entrenamiento para facilitar la investigación futura.

Resultados

La familia EuroBERT demuestra un rendimiento de vanguardia o competitivo a través de una amplia gama de benchmarks:

• Recuperación Multilingüe: Los modelos EuroBERT logran un rendimiento superior en MIRACL, MLDR, Wikipedia y CC-News. Notablemente, los modelos de 210M y 610M superan a todas las líneas base de tamaño similar y compiten con el XLM-RoBERTa de 3.5B.
• Clasificación y Regresión: Los modelos funcionan al nivel de o mejor que sus alternativas de tamaño similar en XNLI, PAWS-X, AmazonReviews y MassiveIntent. También muestran resultados sólidos en regresión de secuencias (WMT, SeaHorse).
• Código y Matemáticas: Los modelos EuroBERT superan significativamente a todas las líneas base (incluyendo el modelo de solo inglés ModernBERT) en recuperación de código (CodeSearchNet, DupStackMath) y tareas matemáticas (MathFormula, MathShepherd). Se encontró que la inclusión de datos de código y matemáticas durante el entrenamiento mejora las capacidades de recuperación.
• Contexto Largo: A diferencia de XLM-RoBERTa, que se degrada en entradas largas, EuroBERT mantiene su rendimiento en longitudes de contexto de hasta 8,192 tokens.
• Clasificación de Tokens (NER): Aunque EuroBERT queda ligeramente por detrás de XLM-RoBERTa en NER, los autores atribuyen esto a la fertilidad del tokenizador (tamaño del vocabulario) en lugar de la capacidad del modelo, señalando que el rendimiento se iguala cuando las entidades se dividen en cantidades de tokens similares.

Significado y Reivindicaciones

El artículo afirma que la familia EuroBERT representa una "receta refrescada" para entrenar codificadores de propósito general multilingües. Los autores enfatizan que:

• La Escala y la Arquitectura Importan: Aumentar la capacidad del modelo y adoptar componentes arquitectónicos modernos (GQA, RoPE, SwiGLU) mitiga eficazmente la "maldición de la multilingüidad".
• La Composición de los Datos es Crítica: La inclusión de datos de código y matemáticas mejora la recuperación multilingüe, mientras que una distribución de idiomas equilibrada (reduciendo el dominio del inglés) potencia el rendimiento general.
• Dinámicas de Entrenamiento: La combinación específica de altos ratios de enmascaramiento durante el pre-entrenamiento y ratios más bajos durante el recocido, junto con el entrenamiento de longitud variable mediante recorte aleatorio, es crucial para optimizar tanto las tareas de recuperación como las de clasificación.
• Utilidad Práctica: Los modelos proporcionan una alternativa de alto rendimiento y viable para aplicaciones de codificadores en el mundo real, ofreciendo soporte nativo para contexto largo y un rendimiento superior en dominios especializados como código y matemáticas, todo ello siendo más eficientes en parámetros que los codificadores de vanguardia anteriores.

Los autores concluyen que su trabajo cierra la brecha entre los recientes avances de los decodificadores y la utilidad de los codificadores, proporcionando una base robusta para representaciones vectoriales multilingües en tareas de recuperación, clasificación y regresión.