Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

1. O Problema

O treinamento de Grandes Modelos de Linguagem (LLMs) depende criticamente da curadoria de dados. Embora existam heurísticas baseadas em regras para filtragem de dados em inglês e em conjuntos multilíngues, as técnicas de filtragem baseadas em modelos (model-based filtering) têm focado predominantemente no inglês. Isso cria uma disparidade, onde modelos multilíngues são treinados com dados de menor qualidade em comparação com os modelos monolíngues de inglês, exacerbando o "curse of multilinguality" (maldição do multilinguismo), onde o desempenho em idiomas de recursos limitados diminui à medida que o modelo é treinado em muitos idiomas simultaneamente. A maioria dos conjuntos de dados multilíngues de última geração (como o FineWeb-2) ainda depende principalmente de filtros heurísticos, em vez de filtros aprendidos por modelos.

2. Metodologia

Os autores desenvolveram um framework unificado, transparente e eficiente para filtragem baseada em modelos em escala web para conjuntos de dados multilíngues. A metodologia divide-se em duas etapas principais:

A. Seleção de Dados de Treinamento para o Classificador (Representative Samples)

Para treinar os classificadores de qualidade, os autores definiram dois critérios para os dados de treinamento: serem informativos/estruturados e estarem disponíveis em múltiplos idiomas. Eles criaram duas configurações de Multilingual Knowledge Collection (MKC):

• MKC: Combina conjuntos de alta curadoria e estrutura: Include-Base-44, OpenAssistant-2, MMLU (traduzido) e Aya Dataset.
• MKC+: Inclui todos os dados do MKC mais a Aya Collection (uma coleção maior, gerada por IA, com menos garantias de qualidade, mas maior escala).

O objetivo não é treinar o LLM final nesses dados, mas sim treinar um modelo proxy para identificar documentos de alta qualidade no conjunto de pré-treinamento (FineWeb-2) que sejam semanticamente similares a essas amostras representativas.

B. Abordagens de Filtragem Baseadas em Modelos

Dois métodos principais foram implementados para classificar os documentos do FineWeb-2:

1. Filtragem baseada em FastText (FT): Um classificador binário leve (executável em CPU) treinado com características de n-gramas (2-gramas para a maioria, 4-gramas para chinês). É inspirado na abordagem do DCLM.
2. Filtragem baseada em Embeddings de Transformer:
   • Utiliza o modelo XLM-RoBERTa (base) para gerar embeddings contextuais de 768 dimensões para os primeiros 512 tokens de cada documento.
   • Dois métodos de classificação sobre os embeddings:
     • MLP (Multi-Layer Perceptron): Uma rede neural simples treinada para classificar se um embedding pertence à classe positiva (dados de qualidade) ou negativa.
     • CS (Cosine Similarity): Calcula a similaridade de cosseno máxima entre o embedding do documento e um conjunto de amostras positivas.

3. Contribuições Principais

• Framework Unificado Multilíngue: Desenvolvimento de um sistema de filtragem transparente e simples que funciona em diversas famílias linguísticas, scripts e níveis de disponibilidade de recursos.
• Ablação Abrangente: Estudos detalhados no conjunto de dados FineWeb-2 cobrindo 20 idiomas (incluindo Chinês, Alemão, Francês, Árabe e Dinamarquês como representativos), demonstrando que é possível atingir desempenho de linha de base com apenas 15% dos tokens de treinamento.
• Mitigação da Maldição do Multilinguismo: Evidência empírica de que a filtragem de qualidade transforma a maldição do multilinguismo em um benefício, onde modelos multilíngues treinados com dados filtrados superam seus equivalentes monolíngues quando expostos à mesma quantidade de tokens do idioma alvo.
• Recursos Abertos: Liberação do conjunto de dados refinado FineWeb2-HQ (cobrindo 20 idiomas) e do código fonte.

4. Resultados Experimentais

Os experimentos foram realizados treinando modelos Llama de 1B parâmetros com 70B e 119B tokens.

• Desempenho Superior: A abordagem MLP MKC+ (usando embeddings de Transformer e o conjunto de dados mais rico) superou consistentemente todas as outras abordagens, incluindo a linha de base FineWeb-2, DCLM e FineWeb-Edu.
• Eficiência de Dados: Com apenas 10% a 15% dos tokens originais (filtrados), o modelo alcançou pontuações equivalentes ou superiores à linha de base treinada com 100% dos dados não filtrados em benchmarks como MMLU, CMMLU e ARC.
• Comparação de Métodos:
  • O método MLP com embeddings de Transformer obteve o melhor desempenho geral.
  • O método FastText mostrou-se competitivo e é uma alternativa viável para cenários com restrições computacionais, devido ao seu baixo custo de inferência em CPU.
  • A similaridade de cosseno (CS) foi menos eficaz que o MLP.
• Análise de Contaminação: Após a remoção de contaminação de dados (decontamination) via n-gramas, o desempenho do método proposto permaneceu superior ao da linha de base, confirmando que os ganhos não são devidos apenas à contaminação acidental dos benchmarks.
• Idiomas de Baixo Recurso: Para idiomas com menos dados disponíveis (como Árabe e Dinamarquês), a taxa de retenção foi aumentada (56% e 65%, respectivamente) para manter o volume de tokens, mantendo ganhos de desempenho.

5. Significado e Impacto

Este trabalho demonstra que a filtragem baseada em modelos, anteriormente restrita ao inglês, pode ser generalizada com sucesso para dezenas de idiomas. Ao focar em dados estruturados e ricos em conhecimento, os autores provam que a qualidade dos dados é um fator mais crítico do que a quantidade bruta para o pré-treinamento de LLMs multilíngues.

A liberação do FineWeb2-HQ e do código permite que a comunidade científica reproponha e expanda esses resultados, promovendo a equidade no desenvolvimento de LLMs para idiomas não ingleses e reduzindo a dependência de dados de baixa qualidade que prejudicam o desempenho em tarefas cognitivas e de raciocínio. Além disso, a descoberta de que a filtragem de qualidade mitiga a maldição do multilinguismo oferece uma nova direção para o treinamento eficiente de modelos globais.