Resumo Técnico: Uma Lição Amarga para a Filtragem de Dados

Declaração do Problema

O paradigma padrão para o pré-treinamento de grandes modelos de linguagem (LLMs) envolve uma filtragem rigorosa de dados, onde textos de fontes como o Common Crawl (CC) são curados para reter apenas subconjuntos "de alta qualidade". Embora essa abordagem seja amplamente aceita como essencial, particularmente em regimes com restrições de computação, ela entra em conflito com as leis de escala que sugerem que o desempenho melhora com volumes de dados cada vez maiores. A filtragem reduz drasticamente o orçamento de tokens disponível (por exemplo, o DCLM-Baseline retém apenas ~1% do CC), potencialmente limitando o desempenho de modelos treinados sob condições de alta computação e escassez de dados.

Este artigo investiga a hipótese de que a filtragem de dados é necessária no limite de grande computação. Especificamente, questiona-se se o treinamento diretamente no pool completo e não filtrado do Common Crawl pode, eventualmente, superar o treinamento em subconjuntos cuidadosamente curados e filtrados quando os modelos são suficientemente grandes e treinados por tempo suficiente.

Metodologia

Os autores empregam um estudo sistemático de escala para avaliar o desempenho ótimo ($L^\star$) alcançável em diferentes conjuntos de dados, definido como a perda mínima atingível variando o tamanho do modelo ($M$) e os passos de treinamento ($N$) sem restrições computacionais.

1. Configuração Experimental:

   • Conjuntos de Dados: O conjunto de dados principal é um subconjunto de 240 trilhões de tokens do Common Crawl (DCLM-Pool). Os autores criam subconjuntos que variam de 670 milhões a 10 bilhões de tokens.
   • Filtros: Eles comparam o pool não filtrado contra cinco variantes filtradas:
     • Filtro de inglês: Remove texto não em inglês.
     • Filtro de repetição: Remove documentos com repetição excessiva.
     • Filtro de palavras de parada: Garante a presença de palavras de parada comuns em inglês.
     • RefinedWeb: Uma combinação das anteriores mais filtros similares.
     • DCLM-Baseline: Um pipeline fortemente filtrado que retém ~2,1% dos dados originais.
   • Modelos: Transformers densos estilo Llama variando de 15 milhões a 7 bilhões de parâmetros.
   • Métricas: As métricas principais são a média da verossimilhança negativa (NLL) no C4, Fineweb-Edu e Cosmopedia. Benchmarks downstream (ARC-Easy, PIQA, SocialIQA) também são avaliados.

2. Estratégia de Escala:

   • O estudo escala tanto o tamanho do modelo quanto os passos de treinamento (incluindo múltiplas épocas) para observar o "ponto de cruzamento" onde o pool não filtrado supera os conjuntos de dados filtrados.
   • Eles introduzem experimentos com "dados lixo" injetando strings geradas aleatoriamente e documentos com palavras embaralhadas no pool de treinamento para testar a robustez do modelo ao ruído.
   • Leis de escala são derivadas para prever o limiar de computação (em FLOPs) necessário para que o pool não filtrado se torne ótimo para tamanhos de pool específicos.

3. Análise Teórica:

   • O artigo apresenta um modelo teórico baseado em fatoração de matriz de baixo posto com entradas ortogonais. Este modelo demonstra que, se a capacidade (posto) de um modelo for suficiente para cobrir o número de tarefas distintas (ou distribuições de dados), ele pode representar otimamente o problema de previsão sem interferência de tarefas de "ruído". Por outro lado, modelos menores sofrem com interferência.

Principais Resultados

1. A Vantagem do "Sem Filtro" em Escala

A descoberta central é que o pool completo e não filtrado do Common Crawl eventualmente supera todas as variantes filtradas quando os modelos são suficientemente grandes e treinados por passos suficientes.

• Modelos Pequenos: Em regimes de baixa computação (modelos pequenos, poucos passos), conjuntos de dados filtrados (como o DCLM-Baseline) frequentemente produzem perda menor.
• Modelos Grandes: À medida que o tamanho do modelo aumenta (por exemplo, de 330M para 1B de parâmetros), a lacuna de desempenho se fecha e se inverte. O pool não filtrado alcança a perda mais baixa (por exemplo, 3,37 NLL no modelo de 1B), superando até mesmo os filtros mais agressivos.
• Fronteira de Pareto: Ao plotar a perda contra a computação (FLOPs), o pool não filtrado transita do conjunto de dados com pior desempenho para o melhor à medida que a computação aumenta. Notavelmente, alguns conjuntos de dados filtrados (como os filtrados apenas para repetição) nunca aparecem na fronteira de Pareto; sempre há um conjunto de dados melhor em qualquer nível de computação dado.

2. Robustez a Dados "Lixo"

O estudo testa os limites da robustez do modelo injetando dados de baixa qualidade:

• Strings Aleatórias: Modelos treinados em uma mistura de CC e strings geradas aleatoriamente (até 200% do tamanho do pool) eventualmente igualam o desempenho do pool limpo à medida que o tamanho do modelo aumenta.
• Palavras Embaralhadas: Surpreendentemente, modelos treinados em documentos com ordens de palavras embaralhadas (preservando apenas distribuições de unigramas) não apenas recuperam o desempenho, mas, em alguns casos (modelos de 330M+), superam o pool não filtrado após passos de treinamento suficientes. Isso sugere que modelos grandes podem extrair sinais úteis (por exemplo, estatísticas de co-ocorrência) mesmo de estruturas de dados altamente degradadas.

3. Leis de Escala e Limiares de Computação

Os autores derivam leis de escala para prever quando o pool não filtrado se torna ótimo para o pool completo de 240 trilhões de tokens do DCLM-Pool.

• O número de passos de treinamento (épocas) necessário para que o pool não filtrado supere o RefinedWeb cresce de forma superlinear com o tamanho do pool.
• No entanto, a computação necessária para esse cruzamento é altamente linear. Os autores estimam que, para o pool completo de 240T de tokens, a abordagem não filtrada se torna ótima em aproximadamente $10^{30}$ FLOPs. Embora isso exceda as estimativas atuais de fronteira (~$5 \times 10^{26}$ FLOPs), está dentro do domínio de projeções de futuro próximo (por exemplo, $10^{29}$ FLOPs até 2030).

4. Degradação do Modelo e Factualidade

• Mudança de Distribuição: Embora os modelos sejam robustos a palavras embaralhadas em termos de perda média, eles mostram degradação no primeiro token de um documento (onde a mudança de distribuição é mais aguda). No entanto, os autores argumentam que isso é negligenciável para a maioria dos casos de uso envolvendo contextos mais longos.
• Factualidade: Uma análise preliminar de documentos relacionados ao MMLU no CC sugere que conteúdo ativamente prejudicial e não factual (por exemplo, teorias da conspiração que refutam fatos estabelecidos) é relativamente raro em comparação com conteúdo de apoio ou neutro. A análise teórica sugere que a filtragem é benéfica apenas se o "ruído" for altamente prevalente e o filtro tiver uma alta razão de verdadeiros positivos para falsos positivos, o que pode não se aplicar à ampla distribuição do CC.

Significado e Alegações

O artigo argumenta que a filtragem de dados pode sofrer da "Liça Amarga" (Sutton, 2019): heurísticas projetadas por humanos que funcionam bem em pequenas escalas são eventualmente superadas por abordagens simples e escaláveis que aproveitam o aumento da computação.

• Rejeição da Necessidade de Filtragem: Os autores rejeitam a hipótese de que a filtragem de dados é estritamente necessária. Eles fornecem evidências de que nenhum filtro existente provavelmente melhorará o treinamento direto no Common Crawl, dado computação e capacidade de modelo suficientes.
• Robustez de Modelos Grandes: Modelos suficientemente grandes são altamente robustos a dados irrelevantes ou "lixo" e podem extrair informações úteis de fontes ruidosas, incluindo texto embaralhado.
• Implicações Futuras: Embora a filtragem permaneça importante nos regimes atuais com restrições de computação, o artigo sugere que, à medida que os orçamentos de computação escalarem em direção a $10^{30}$ FLOPs, a estratégia ótima pode mudar para o uso do pool de dados completo e não filtrado, tornando obsoletos pipelines complexos de curadoria.

Os autores concluem que, embora dados prejudiciais (por exemplo, conteúdo não factual que imita texto de alta qualidade) possam teoricamente existir, eles não são prevalentes o suficiente no Common Crawl para justificar a enorme perda de dados incorrida pela filtragem agressiva, especialmente quando a alternativa é simplesmente treinar modelos maiores por mais tempo.