Resumen Técnico: EuroLLM-22B

Declaración del Problema

A pesar de los rápidos avances en los modelos de lenguaje de gran tamaño (LLM), el ecosistema actual sigue estando fuertemente sesgado hacia el inglés y un conjunto limitado de lenguas de altos recursos. Muchos de los modelos líderes son de código cerrado o solo parcialmente abiertos, ofreciendo una transparencia limitada respecto a los datos de entrenamiento y los procedimientos. En consecuencia, numerosos idiomas europeos permanecen desatendidos, con pocos modelos "hechos en Europa" capaces de soportar nativamente todo el especto de las lenguas oficiales de la Unión Europea (UE). El proyecto EuroLLM fue lanzado para abordar esta brecha mediante el desarrollo de modelos abiertos que prioricen la diversidad lingüística europea y fomenten el desarrollo de la IA dentro de la UE.

Metodología

Arquitectura y Modelado

EuroLLM-22B es un modelo de 22.6 mil millones de parámetros construido sobre las decisiones arquitectónicas de sus predecesores (EuroLLM 1.7B y 9B). Las especificaciones clave incluyen:

• Tokenización: Un tokenizador basado en BPE con un vocabulario de 128,000 unidades, que cubre 24 idiomas oficiales de la UE y 11 idiomas adicionales (árabe, catalán, chino, gallego, hindi, japonés, coreano, noruego, ruso, turco y ucraniano).
• Arquitectura: Utiliza Atención de Consulta Agrupada (GQA), pre-normalización de capa, RMSNorm, funciones de activación SwiGLU y Embebedimientos Posicionales Rotatorios (RoPE).
• Ventana de Contexto: Una extensión significativa a 32,768 tokens, lograda mediante el ajuste del factor de escala de RoPE ($\theta$) de $1 \times 10^4$ a $1 \times 10^6$.

Estrategia de Pre-entrenamiento

El modelo fue pre-entrenado con aproximadamente 4 billones de tokens utilizando un esquema de entrenamiento de tres fases diseñado para exponer progresivamente al modelo a datos de mayor calidad:

1. Fase 1: Entrenado con 3.6T de tokens con un calentamiento lineal hacia una tasa de aprendizaje máxima de $1.5 \times 10^{-4}$. Esta fase incluye documentos educativos de alta calidad de FineWeb-edu de forma inmediata, en lugar de reservarlos para etapas posteriores.
2. Fase 2: Una fase de recocido (annealing) sobre 400B de tokens, reduciendo la tasa de aprendizaje al 10% de su máximo.
3. Fase 3: Una fase final de decaimiento donde la tasa de aprendizaje cae a cero. Esta fase incorpora datos de contexto largo (libros y código) para soportar la ventana de contexto de 32K.

Curación de Datos:

• Datos Web: Los datos en inglés provienen de FineWeb-edu y Nemotron-CC. Los datos multilingües se agregan de RedPajama-Data-v2 (para idiomas de altos recursos) y HPLT, MADLAD-400, CulturaX y mC4 (para otros). Todos los datos pasan por un riguroso filtrado, incluyendo comprobaciones de perplejidad, filtros heurísticos (por ejemplo, eliminar "lorem ipsum", exceso de mayúsculas) y puntuación de calidad mediante EuroFilter, un clasificador que asigna puntuaciones de 0 a 5.
• Datos Paralelos: Los datos paralelos a nivel de oración y de documento (xx$\leftrightarrow$en) se recolectan de fuentes como Europarl, ParaCrawl y WikiMatrix, filtrados mediante Bicleaner y CometKiwi-22.
• Código y Matemáticas: Los datos se obtienen de The Stack, Algebraic-stack y Open-web-math. La tercera fase introduce FineMath y datos matemáticos sintéticos generados por modelos Qwen-2.5, filtrados por LLM-as-a-Judge.
• Fuentes de Alta Calidad: Wikipedia, ArXiv, Libros y Apollo se utilizan para el inglés, con la adición de Cosmopedia (y sus variantes traducidas) para las fases posteriores.

Post-entrenamiento

El modelo ajustado para instrucciones (EuroLLM-22B-Instruct) se deriva del modelo base utilizando EuroBlocks-22B, un nuevo conjunto de datos de instrucción multilingüe que contiene aproximadamente 10.6 millones de ejemplos.

• Construcción del Conjunto de Datos: Construido sobre versiones anteriores de EuroBlocks, incorporando instrucciones de diversas fuentes públicas (por ejemplo, Hermes-3, Tülu 3, Nemotron V2). Las respuestas son regeneradas utilizando modelos abiertos capaces (DeepSeek, Qwen, Llama) y seleccionadas mediante Skywork-Gemma2-27B como modelo de recompensa.
• Filtrado: Se eliminan los rastros de razonamiento estructurado para crear un corpus de instrucción-respuesta sin razonamiento.
• Ajuste Fino (Fine-Tuning): El modelo se ajusta durante 5 épocas usando precisión mixta bfloat16, empaquetado de secuencias y un programador de tasa de aprendizaje de coseno (LR máx de $1 \times 10^{-5}$). La eficiencia del entrenamiento se mejora mediante Axolotl y Liger-Kernel.

Contribuciones Clave

1. Modelo EuroLLM-22B: El lanzamiento de un modelo de 22B de parámetros entrenado desde cero para soportar los 24 idiomas oficiales de la UE más 11 idiomas adicionales, con una ventana de contexto de 32K tokens.
2. EuroLLM-9B Mejorado: Un modelo de 9B actualizado que incorpora la misma extensión de contexto largo y la receta de post-entrenamiento de la versión 22B.
3. Conjunto de Datos EuroWeb: El lanzamiento del conjunto de datos web de pre-entrenamiento multilingüe utilizado para EuroLLM 22B, incluyendo los niveles de datos filtrados por calidad.
4. EuroBlocks-22B: Un nuevo y expandido conjunto de datos de instrucción multilingüe con respuestas sintéticas de alta calidad.
5. Ecosistema de Código Abierto: Lanzamiento de los modelos base y ajustados para instrucciones, junto con las bases de código de pre-entrenamiento (fork de Megatron-LM) y evaluación.

Resultados

Evaluado a través de un amplio conjunto de benchmarks en inglés y multilingües, EuroLLM-22B demuestra un rendimiento competitivo:

• Tendencias de Escalamiento: El modelo muestra mejoras consistentes sobre EuroLLM-9B y EuroLLM-22B-Preview, confirmando una tendencia de escalamiento positiva dentro de la familia EuroLLM.
• Comparación con Modelos Europeos: EuroLLM-22B logra el rendimiento más fuerte entre los modelos europeos totalmente abiertos. Notablemente, supera frecuentemente o se mantiene competitivo con Apertus-70B (un modelo de 70B de parámetros) a pesar de tener aproximadamente un tercio de los parámetros, particularmente en el seguimiento de instrucciones y tareas STEM.
• Comparación con Modelos Globales: Aunque EuroLLM-22B queda por detrás de los mejores modelos de pesos abiertos (por ejemplo, Llama-3.3-70B, Qwen-3-30B-A3B) en puntuaciones agregadas, ofrece la alternativa más capaz de pesos totalmente abiertos diseñada específicamente para lenguas europeas.
• Traducción: El rendimiento de traducción se mantiene robusto, con la receta de post-entrenamiento actualizada fortaleciendo el comportamiento de asistente general y el razonamiento sin degradar la calidad de la traducción.
• Contexto Largo: La extensión a 32K tokens permite el modelado efectivo de entradas de formato largo y la cobertura de benchmarks como WMT25, que anteriormente eran inaccesibles para los modelos de contexto de 4K.

Significado y Reivindicaciones

El artículo posiciona a EuroLLM-22B como un paso significativo hacia la democratización de la IA en Europa. Al proporcionar un modelo totalmente abierto y de alta calidad que soporta nativamente toda la diversidad lingüística de la UE, los autores pretenden reducir la dependencia de modelos cerrados y centrados en el inglés. Los autores afirman que EuroLLM logra una calidad sólida con un presupuesto de tokens comparativamente modesto (4T de tokens) en comparación con modelos más grandes entrenados con significativamente más datos (por ejemplo, 15T de tokens para Apertus-70B), lo que sugiere que la curación de datos de alta calidad y el post-entrenamiento dirigido son estrategias efectivas para cerrar las brechas de rendimiento. El lanzamiento de los conjuntos de datos y las bases de código asociadas tiene como objetivo apoyar la investigación futura en la comprensión y generación de lenguas europeas.