Resumo Técnico: MixMinMatch – Acordo entre Múltiplas Fontes para Conjuntos de Dados de Pré-treinamento Multilíngues

Declaração do Problema

Construir corpora de pré-treinamento de alta qualidade para Grandes Modelos de Linguagem (LLMs) via raspagem de dados da web (web scraping) é computacionalmente caro e consome muitos recursos. Para idiomas que não o inglês, vários grupos de pesquisa frequentemente realizam raspagens e filtragens da web de forma independente, o que resulta em uma redundância significativa. Embora essa redundância seja tradicionalmente vista como uma ineficiência — desperdiçando recursos em conteúdo duplicado — os autores argumentam que ela representa um sinal de qualidade inexplorado.

O problema central abordado é a falta de um método computacionalmente eficiente e livre de modelos para filtrar textos de baixa qualidade em conjuntos de dados multilíngues. As abordagens existentes dependem frequentemente de classificadores de qualidade baseados em modelos caros (que exigem passagens de inferência para cada documento) ou heurísticas específicas de idioma que falham em generalizar para diversos scripts e morfologias. Além disso, a deduplicação padrão remove quase-duplicatas para economizar computação, mas descarta os metadados valiosos sobre quais fontes retiveram conteúdos específicos.

Metodologia: MixMinMatch

Os autores propõem o MixMinMatch, um pipeline de três estágios que utiliza a redundância de corpora web existentes como um filtro de qualidade. O método trata as decisões de filtragem independentes de diferentes grupos de pesquisa como um ensemble de "votantes" sobre a qualidade do conteúdo.

1. Mix (Misturar)

O pipeline agrega múltiplos corpora de pré-treinamento públicos existentes para um idioma alvo (ex: árabe, turco, hindi) enquanto preserva a proveniência de cada documento. Cada documento é armazenado como uma tupla $(x, s)$, onde $x$ é o texto e $s$ denota o conjunto de dados de origem. Antes da agregação, filtros de qualidade específicos do idioma (ex: restrições de comprimento, consistência de script, verificações de repetição de n-gramas) são aplicados independentemente a cada fonte para remover conteúdos obviamente de baixa qualidade.

2. MinHash

O corpus agregado passa pela detecção padrão de quase-duplicatas usando MinHash e Locality-Sensitive Hashing (LSH).

• Processo: Os documentos são convertidos em conjuntos de n-gramas de caracteres ($n=5$). Assinaturas MinHash são computadas, e documentos que colidem em pelo menos uma banda LSH são tratados como pares candidatos.
• Agrupamento (Clustering): Pares com uma similaridade de Jaccard estimada $\geq 0,8$ são agrupados usando Union-Find.
• Deduplicação: Um documento representante é retido por cluster.
• Insight Chave: Este passo é uma prática padrão no pré-treinamento de LLMs para evitar o treinamento em duplicatas. O MixMinMatch utiliza os clusters produzidos por este passo, não apenas o output deduplicado.

3. Match (Combinar)

Este estágio extrai o sinal de qualidade do processo de deduplicação.

• Acordo entre Fontes (Cross-Source Agreement): Para cada cluster de quase-duplicatas, o algoritmo conta o número de conjuntos de dados de origem únicos ($s$) que contribuíram com um documento para aquele cluster.
• Filtragem: O subconjunto "Matched" retém apenas os representantes de clusters onde $|S(C_i)| \geq 2$. Em outras palavras, um documento é mantido apenas se foi recuperado independentemente por pelo menos duas diferentes pipelines de origem.
• Eficiência: Esta operação é computacionalmente gratuita em relação ao passo de deduplicação. Ela envolve apenas a contagem de rótulos de origem dentro das estruturas Union-Find existentes, não exigindo passagens de inferência adicionais ou treinamento de modelos.

Principais Contribuições

1. Análise Sistemática da Redundância: Os autores quantificam a sobreposição entre fontes em grandes corpora multilíngues (C4, CulturaX, HPLT 2.0, FineWeb-2, etc.), demonstrando que dezenas de bilhões de tokens são compartilhados entre pipelines independentes. Por exemplo, o C4 e o CulturaX compartilham mais de 9 bilhões de tokens de conteúdo quase-duplicado em árabe.
2. Algoritmo MixMinMatch: Um método inovador que reformula o acordo entre fontes como um filtro de ensemble. Ele extrai um sinal de qualidade "de graça" da infraestrutura de deduplicação MinHash já utilizada no pré-treinamento.
3. Novos Corpora: O lançamento de três novos conjuntos de dados de pré-treinamento multilíngue (AraMix, TurMix, HinMix) para árabe, turco e hindi. Estes incluem tanto versões completas deduplicadas por MinHash quanto subconjuntos "Matched" menores e de alta qualidade com contagem de origem por documento.
4. Validação Empírica: Evidência experimental mostrando que o pareamento entre fontes identifica conteúdo de alta qualidade que supera os baselines de fonte única.

Resultados

Os autores avaliaram os conjuntos de dados gerados pré-treinando modelos do tipo Llama de 1.46B de parâmetros em um orçamento fixo de tokens (29.36B tokens) e medindo o desempenho em suítes de benchmarks específicos de idioma (FineTasks).

• Árabe: O subconjunto AraMix-Matched alcançou uma pontuação agregada de 0,161, uma melhoria relativa de 4,5% sobre o melhor baseline de fonte única (ArabicWeb24, 0,154). O mixture completo AraMix-MinHash (178B tokens) igualou o desempenho do baseline (0,153) enquanto fornecia 4,3× mais tokens únicos.
• Turco: TurMix-Matched alcançou uma pontuação de 0,204, uma melhoria relativa de 5,5% sobre o baseline de turco do FineWeb-2 (0,194).
• Hindi: HinMix-MinHash mostrou o maior ganho, melhorando o baseline de CulturaX-Hindi em 11,6% (0,089 vs. 0,080). O subconjunto matched também superou o baseline em 8,1%.
• Estudos de Ablação: Remover o "melhor" baseline de fonte única da mistura não anulou os ganhos. Por exemplo, o TurMix-Matched sem o FineWeb-2 ainda superou o baseline do FineWeb-2, confirmando que o sinal de qualidade surge do acordo entre as fontes restantes, não meramente da herança da qualidade de um único dataset superior.
• Comparação com Filtragem Baseada em Modelo: O subconjunto matched superou o FineWeb2-HQ, um corpus filtrado usando pontuação de qualidade baseada em modelos caros, apesar de o MixMinMatch ser livre de modelos.

Significância e Alegações

O artigo postula que a redundância em corpora web existentes é um recurso, não apenas desperdício. Os autores alegam que o conteúdo mantido independentemente por múltiplas pipelines de filtragem é um forte indicador de qualidade, análogo ao acordo entre anotadores em crowdsourcing ou métodos de ensemble em aprendizado de máquina.

A principal significância deste trabalho é a demonstração de que o acordo entre fontes funciona como um filtro de qualidade gratuito e livre de modelos. Ao tratar o passo de deduplicação padrão (MinHash) como um mecanismo para identificar consenso, praticantes podem construir conjuntos de dados de pré-treinamento de alta qualidade sem o overhead computacional de executar classificadores de qualidade em cada documento. Os autores concluem que a comunidade de pesquisa pode extrair valor adicional de conjuntos de dados existentes ao combiná-los sistematicamente, em vez de tratar cada novo projeto como uma raspagem do zero.

O artigo permanece modesto quanto à escala, observando que os experimentos foram conduzidos em modelos de 1.46B de parâmetros para garantir comparabilidade direta com o protocolo FineWeb-2, embora sugiram que os efeitos de qualidade de dados tipicamente persistem ou se amplificam em escalas maiores. Eles também reconhecem que o pareamento entre fontes é complementar, e não um substituto, para outros métodos de seleção de dados.