Resumo Técnico: EuroLLM-22B

Declaração do Problema

Apesar dos rápidos avanços nos modelos de linguagem de grande escala (LLMs), o ecossistema atual permanece fortemente inclinado para o inglês e um conjunto limitado de línguas de alto recurso. Muitos dos modelos líderes são de código fechado ou apenas parcialmente abertos, oferecendo transparência limitada quanto aos dados de treinamento e procedimentos. Consequentemente, inúmeras línguas europeias permanecem subatendidas, com poucos modelos "feitos na Europa" capazes de suportar nativamente todo o espectro das línguas oficiais da União Europeia (UE). O projeto EuroLLM foi lançado para enfrentar essa lacuna, desenvolvendo modelos abertos que priorizam a diversidade linguística europeia e fomentam o desenvolvimento da IA dentro da UE.

Metodologia

Arquitetura e Modelagem

O EuroLLM-22B é um modelo de 22,6 bilhões de parâmetros construído sobre as decisões arquiteturais de seus predecessores (EuroLLM 1.7B e 9B). As especificações principais incluem:

• Tokenização: Um tokenizador baseado em BPE com um vocabulário de 138.000 unidades, cobrindo 24 línguas oficiais da UE e 11 línguas adicionais (árabe, catalão, chinês, galego, hindi, japonês, coreano, norueguês, russo, turco e ucraniano).
• Arquitetura: Utiliza Grouped Query Attention (GQA), pré-normalização de camada, RMSNorm, funções de ativação SwiGLU e Rotary Positional Embeddings (RoPE).
• Janela de Contexto: Uma extensão significativa para 32.768 tokens, alcançada pelo ajuste do fator de escala RoPE ($\theta$) de $1 \times 10^4$ para $1 \times 10^6$.

Estratégia de Pré-Treinamento

O modelo foi pré-treinado em aproximadamente 4 trilhões de tokens usando um cronograma de treinamento de três fases projetado para expor progressivamente o modelo a dados de maior qualidade:

1. Fase 1: Treinado em 3,6T de tokens com um warmup linear até uma taxa de aprendizado de pico de $1,5 \times 10^{-4}$. Esta fase inclui documentos educacionais de alta qualidade do FineWeb-edu imediatamente, em vez de reservá-los para estágios posteriores.
2. Fase 2: Uma fase de annealing ao longo de 400B de tokens, reduzindo a taxa de aprendizado para 10% do seu pico.
3. Fase 3: Uma fase final de decaimento onde a taxa de aprendizado cai para zero. Esta fase incorpora dados de contexto longo (livros e código) para suportar a janela de contexto de 32K.

Curadoria de Dados:

• Dados da Web: Os dados em inglês são provenientes do FineWeb-edu e Nemotron-CC. Os dados multilíngues são agregados do RedPajama-Data-v2 (para línguas de alto recurso) e HPLT, MADLAD-400, CulturaX e mC4 (para outras). Todos os dados passam por filtragem rigorosa, incluindo verificações de perplexidade, filtros heurísticos (ex: remoção de "lorem ipsum", excesso de letras maiúsculas) e pontuação de qualidade via EuroFilter, um classificador que atribui pontuações de 0 a 5.
• Dados Paralelos: Dados paralelos ao nível de sentença e de documento (xx$\leftrightarrow$en) são coletados de fontes como Europarl, ParaCrawl e WikiMatrix, filtrados usando Bicleaner e CometKiwi-22.
• Código e Matemática: Os dados são obtidos do The Stack, Algebraic-stack e Open-web-math. A terceira fase introduz FineMath e dados matemáticos sintéticos gerados por modelos Qwen-2.5, filtrados por LLM-as-a-Judge.
• Fontes de Alta Qualidade: Wikipedia, ArXiv, Livros e Apollo são usados para o inglês, com o Cosmopedia (e suas variantes traduzidas) adicionado para fases posteriores.

Pós-Treinamento

O modelo ajustado para instruções (EuroLLM-22B-Instruct) é derivado do modelo base usando o EuroBlocks-22B, um novo conjunto de dados de instrução multilíngue contendo aproximadamente 10,6 milhões de exemplos.

• Construção do Conjunto de Dados: Construído sobre versões anteriores do EuroBlocks, incorporando instruções de diversas fontes públicas (ex: Hermes-3, Tülu 3, Nemotron V2). As respostas são regeneradas usando modelos abertos capazes (DeepSeek, Qwen, Llama) e selecionadas via Skywork-Gemma2-27B como um modelo de recompensa.
• Filtragem: Traços de raciocínio estruturado são removidos para criar um corpus de instrução-resposta sem raciocínio.
• Ajuste Fino (Fine-Tuning): O modelo é ajustado por 5 épocas usando precisão mista bfloat16, empacotamento de sequência e um programador de taxa de aprendimento de cosseno ($1 \times 10^{-5}$ LR máxima). A eficiência do treinamento é aumentada usando Axolotl e Liger-Kernel.

Principais Contribuições

1. Modelo EuroLLM-22B: O lançamento de um modelo de 22B de parâmetros treinado do zero para suportar todas as 24 línguas oficiais da UE mais 11 línguas adicionais, com uma janela de contexto de 32K tokens.
2. EuroLLM-9B Melhorado: Um modelo de 9B atualizado incorporando a mesma extensão de contexto longo e receita de pós-treinamento da versão 22B.
3. Conjunto de Dados EuroWeb: O lançamento do conjunto de dados de pré-treinamento web multilíngue usado para o EuroLLM 22B, incluindo os níveis de dados filtrados por qualidade.
4. EuroBlocks-22B: Um novo e expandido conjunto de dados de instrução multilíngue com respostas sintéticas de alta qualidade.
5. Ecossistema de Código Aberto: Lançamento dos modelos base e ajustados para instrução, juntamente com as bases de código de pré-treinamento (fork do Megatron-LM) e avaliação.

Resultados

Avaliado através de um amplo conjunto de benchmarks em inglês e multilíngues, o EuroLLM-22B demonstra um desempenho competitivo:

• Tendências de Escalonamento: O modelo mostra melhorias consistentes sobre o EuroLLM-9B e o EuroLLM-22B-Preview, confirmando uma tendência de escalonamento positiva dentro da família EuroLLM.
• Comparação com Modelos Europeus: O EuroLLM-22B alcança o desempenho mais forte entre os modelos europeus totalmente abertos. Notavelmente, ele frequentemente supera ou permanece competitivo com o Apertus-70B (um modelo de 70 bilhões de parâmetros), apesar de ter aproximadamente um terço dos parâmetros, particularmente em tarefas de seguimento de instrução e STEM.
• Comparação com Modelos Globais: Embora o EuroLLM-22B fique atrás dos melhores modelos de pesos abertos (ex: Llama-3.3-70B, Qwen-3-30B-A3B) em pontuações agregadas, ele oferece a alternativa mais capaz e totalmente aberta projetada especificamente para línguas europeias.
• Tradução: O desempenho de tradução permanece robusto, com a atualização da receita de pós-treinamento fortalecendo o comportamento de assistente geral e o raciocínio sem degradar a qualidade da tradução.
• Contexto Longo: A extensão para 32K tokens permite a modelagem eficaz de entradas de formato longo e a cobertura de benchmarks como o WMT25, que anteriormente eram inacessíveis para os modelos de contexto de 4K.

Significância e Alegações

O artigo posiciona o EuroLLM-22B como um passo significativo para a democratização da IA na Europa. Ao fornecer um modelo totalmente aberto e de alta qualidade que suporta nativamente toda a diversidade linguística da UE, os autores visam reduzir a dependência de modelos fechados e centrados no inglês. Os autores afirmam que o EuroLLM alcança uma qualidade forte com um orçamento de tokens comparativamente modesto (4T de tokens) em relação a modelos maiores treinados com significativamente mais dados (ex: 15T de tokens para o Apertus-70B), sugerindo que a curadoria de dados de alta qualidade e o pós-treinamento direcionado são estratégias eficazes para fechar as lacunas de desempenho. O lançamento dos conjuntos de dados e bases de código associadas tem o intuito de apoiar pesquisas futuras em compreensão e geração de línguas europeias.