Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

Este artigo apresenta dois novos conjuntos de dados de pré-treinamento de código e matemática, chamados SwallowCode e SwallowMath, que utilizam um pipeline inovador de reescrita para refinar dados públicos e, ao serem aplicados no pré-treinamento contínuo do modelo Llama-3.1-8B, resultam em melhorias significativas no desempenho de geração de código e raciocínio matemático.

O essencial

Imagine que você está tentando ensinar uma criança superinteligente (um Modelo de Linguagem Grande, ou LLM) a se tornar um gênio em matemática e programação. O problema é que, até agora, os livros que usávamos para ensinar essa criança eram cheios de erros, páginas rasgadas, anotações confusas e até mesmo piadas sem graça.

O artigo "Reescrever Dados de Pré-treinamento Impulsiona o Desempenho de LLMs em Matemática e Código" conta a história de como um grupo de pesquisadores do Japão (do Instituto de Ciência de Tóquio e da AIST) decidiu não apenas escolher os melhores livros, mas reescrever os livros ruins para torná-los perfeitos.

Eles criaram dois novos "conjuntos de dados" (coleções de textos para treinar a IA) chamados SwallowCode (para código) e SwallowMath (para matemática).

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A "Caixa de Ferramentas" Suja

Antes, os cientistas pegavam dados da internet (como o The Stack para código ou o Finemath para matemática). Era como pegar uma caixa de ferramentas usada por milhares de pessoas:

• Alguns parafusos estavam enferrujados (código com erros de sintaxe).
• Algumas chaves eram do tamanho errado (estilo de programação bagunçado).
• Havia instruções que faltavam ou eram confusas (problemas de matemática sem contexto).

A maioria dos pesquisadores tentava apenas peneirar essa caixa, jogando fora as ferramentas quebradas. Mas o que sobrava ainda era meio "sujo" e desorganizado.

2. A Solução: O "Restaurador de Antiquários"

Em vez de apenas jogar fora o que estava ruim, os autores criaram um processo de 4 etapas que age como um restaurador de antiguidades ou um professor particular exigente:

Para Código (SwallowCode):

Imagine que você tem um texto de código Python cheio de erros. O processo funciona assim:

1. Verificação de Sintaxe (O Chefe de Segurança): Eles usam um computador para garantir que o código não quebre o computador. Se o código não "compilar" (não funcionar), ele é descartado.
2. Filtro de Estilo (O Inspetor de Limpeza): Eles usam uma ferramenta chamada Pylint que funciona como um inspetor de trânsito. Se o código estiver muito bagunçado, com nomes de variáveis estranhos ou comentários inúteis, ele é rejeitado.
3. Reescrita Guiada por Estilo (O Professor de Etiqueta): Aqui entra a mágica. Uma IA muito inteligente (Llama-3.3) lê o código e o reescreve. Ela não muda o que o código faz, mas muda como ele é escrito. Ela dá nomes bonitos às variáveis, adiciona comentários explicativos e organiza o código para que qualquer humano possa entender. É como transformar um rabisco em um poema.
4. Otimização Autocontida (O Mecânico de Precisão): Às vezes, o código precisa de bibliotecas externas que não existem ou usa algoritmos lentos. A IA reescreve o código para que ele funcione sozinho (autocontido) e seja mais rápido. Ela transforma um exemplo bobo em uma lição valiosa.

O Resultado: Eles pegaram 16,1 bilhões de "pedaços" de código e os transformaram em um material de treinamento de altíssima qualidade.

Para Matemática (SwallowMath):

O processo é similar, mas focado em problemas matemáticos:

• Eles limpam o "lixo" da internet (como rodapés de sites, datas de envio, anúncios).
• Eles preenchem as lacunas: se uma pergunta de matemática está incompleta, a IA a completa.
• Eles transformam respostas confusas em explicações passo a passo, como se um professor estivesse ensinando na lousa.

3. A Prova de Fogo: A Corrida de Carros

Para ver se funcionava, eles fizeram um teste:

• Pegaram um carro de corrida padrão (o modelo Llama-3.1-8B).
• Treinaram metade deles com os dados antigos (apenas filtrados, como Stack-Edu).
• Treinaram a outra metade com os dados "reescritos" (SwallowCode e SwallowMath).

O Veredito:
Os carros treinados com os dados reescritos foram muito mais rápidos e precisos!

• Em testes de código (HumanEval), a precisão saltou 17 pontos.
• Em testes de matemática (GSM8K), a precisão subiu 12 pontos.

É como se você trocasse o combustível de um carro comum por um combustível de foguete. O motor é o mesmo, mas o que você coloca dentro faz toda a diferença.

4. Por que isso é importante?

A grande lição deste trabalho é: Não basta ter muitos dados; é preciso ter dados bons.

Muitas empresas tentam criar dados do zero (dados sintéticos), mas isso é como tentar inventar a roda de novo e pode resultar em dados repetitivos e sem criatividade. Os autores preferiram pegar dados reais da internet e poli-los.

Eles chamam essa abordagem de "Transformar e Manter" (Transform-and-Retain). Em vez de jogar fora o que é "ruim", eles o transformam em algo "ótimo".

Resumo Final

Os pesquisadores criaram dois novos livros didáticos (SwallowCode e SwallowMath) reescrevendo dados públicos. Eles agiram como professores que pegam um caderno cheio de erros, limpam a sujeira, organizam as ideias e reescrevem as lições para que fiquem claras e perfeitas.

O resultado? Modelos de IA que aprendem muito mais rápido e resolvem problemas de matemática e programação com muito mais inteligência, tudo isso usando a mesma quantidade de tempo e energia de treinamento. É uma vitória da qualidade sobre a quantidade.

Resumo técnico

Título: Reescrever Dados de Pré-Treinamento Impulsiona o Desempenho de LLMs em Matemática e Código

1. O Problema

O desempenho de Grandes Modelos de Linguagem (LLMs) em síntese de programas e raciocínio matemático é fundamentalmente limitado pela qualidade dos seus corpora de pré-treinamento.

• Limitações das Abordagens Atuais: Conjuntos de dados públicos existentes (como The-Stack-v1/v2 para código e Finemath-4+ para matemática) dependem principalmente de extração baseada em regras ou filtragem por pontuação de modelos. Essas abordagens frequentemente retêm dados ruidosos, redundantes ou estilisticamente inconsistentes.
• Filtragem Excludente: Métodos anteriores (como Stack-Edu) tendem a descartar amostras de baixa qualidade em vez de corrigi-las, deixando defeitos persistentes (como falta de contexto ou convenções de nomenclatura inconsistentes) nos dados retidos.
• Lacuna de Qualidade: Modelos de ponta de código aberto não divulgam seus corpora de pré-treinamento, criando uma "lacuna de qualidade de dados" para a comunidade aberta.

2. Metodologia: A Abordagem "Transform-and-Retain"

Os autores propõem uma mudança de paradigma: em vez de apenas filtrar dados, eles reescritam o corpus de pré-treinamento para eliminar ruído e redundância, transformando amostras de baixa qualidade em exemplos autocontidos e semanticamente aprimorados.

Eles introduzem dois novos conjuntos de dados de código aberto: SwallowCode e SwallowMath.

A. SwallowCode (Código Python)
Baseado em The-Stack-v2, o pipeline de construção segue quatro estágios rigorosos:

1. Filtragem de Sintaxe: Remoção de códigos que não compilam no Python 3.10.
2. Filtragem Baseada em Linter (Pylint): Aplicação de regras de estilo (Google Python Style Guide) e penalização de comentários excessivos.
3. Reescrita Guiada por Estilo (SGCR - Style-Guided Code Rewriting): Um modelo LLM (Llama-3.3-70B-Instruct) reescreve o código para garantir:
   • Nomenclatura descritiva e consistente.
   • Modularização clara.
   • Uso de type hints e docstrings.
   • Tratamento de erros adequado.
4. Reescrita de Otimização Autocontida (SCOR - Self-Contained Optimization Rewriting): O segundo estágio de reescrita foca na semântica:
   • Autocontenção: Garante que o código não dependa de variáveis externas ou bibliotecas não importadas.
   • Otimização: Substitui algoritmos ineficientes (ex: recursão ingênua) por soluções eficientes (ex: programação dinâmica).
   • Transformação: Converte snippets triviais em exemplos instrutivos e completos.

B. SwallowMath (Matemática)
Baseado em Finemath-4+, o pipeline aplica reescrita para:

1. Remover cabeçalhos de web, rodapés e metadados irrelevantes.
2. Restaurar contexto faltante em perguntas ou respostas incompletas.
3. Reformatar soluções em explicações concisas e passo a passo.

Configuração Experimental:

• Modelo Base: Llama-3.1-8B (escolhido por ser forte o suficiente para ser um baseline realista, mas ainda abaixo da fronteira para evitar saturação).
• Orçamento: Pré-treinamento contínuo com 50 bilhões de tokens.
• Controle: Comparações diretas com Stack-Edu e outros corpora públicos sob as mesmas condições de treinamento.

3. Principais Contribuições

1. Novos Corpora de Dados: Liberação pública de SwallowCode (16,1 bilhões de tokens) e SwallowMath (2,3 bilhões de tokens) sob licença Llama 3.3 Community.
2. Metodologia "Transform-and-Retain": Demonstra que reescrever dados de baixa qualidade é mais eficaz do que descartá-los, maximizando a utilidade dos dados.
3. Pipeline Reprodutível: Disponibilização de todo o código do pipeline, prompts, checkpoints intermediários e dados finais, permitindo que a comunidade adapte o método para outros modelos.
4. Validação Rigorosa: Estudos de ablação detalhados que isolam o impacto de cada estágio do pipeline (filtragem vs. reescrita) e verificações de contaminação (decontamination) contra benchmarks.

4. Resultados

Os experimentos mostram ganhos significativos em benchmarks padrão, superando modelos treinados com corpora filtrados tradicionais (como Stack-Edu) dentro do mesmo orçamento de tokens.

Desempenho em Código (Llama-3.1-8B + 50B tokens):

• HumanEval: Aumento de +17.0 pontos no pass@1 em comparação ao Stack-Edu.
• HumanEval+: Aumento de +16.1 pontos no pass@1.
• Nota: O pipeline de reescrita (SGCR + SCOR) contribuiu com a maior parte do ganho (cerca de 14 pontos totais), superando as etapas de filtragem.

Desempenho em Matemática (Llama-3.1-8B + 50B tokens):

• GSM8K: Aumento de +12.4 pontos de precisão.
• MATH: Aumento de +7.6 pontos de precisão.

Generalização:

• A metodologia também foi testada no modelo Qwen2-7B (com 20B tokens de pré-treinamento), onde o uso de SwallowCode superou o Stack-Edu em +10.3 pontos no HumanEval, confirmando que os benefícios não são específicos apenas da família Llama-3.

5. Significado e Impacto

• Eficiência de Dados: O trabalho demonstra que a qualidade dos dados supera a quantidade bruta. Um corpus reescrito e refinado atinge desempenho superior com o mesmo ou menor número de tokens em comparação a corpora ruidosos.
• Custo-Benefício: Embora a reescrita inicial exija recursos computacionais significativos (GPU hours), o custo é amortizado pela maior eficiência no treinamento subsequente e pela reutilização dos dados refinados pela comunidade.
• Transparência: Ao liberar os dados e o método, os autores permitem que a comunidade de código aberto supere a lacuna de qualidade em relação aos modelos proprietários, fornecendo uma base sólida para o desenvolvimento de LLMs especializados em raciocínio e código.
• Mudança de Paradigma: O estudo sugere que o futuro da curadoria de dados para LLMs deve focar em transformação e retenção de dados existentes, em vez de apenas filtragem excludente.

Em resumo, o artigo estabelece que a reescrita sistemática de dados de pré-treinamento usando LLMs é uma estratégia poderosa e reprodutível para elevar o estado da arte em tarefas de raciocínio matemático e síntese de código para modelos de linguagem abertos.