How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data

Título: Como Sintetizar Dados de Pré-treinamento de Alta Qualidade? Um Estudo Sistemático de Design de Prompt, Modelo Gerador e Dados de Origem

1. O Problema

O campo de Grandes Modelos de Linguagem (LLMs) enfrenta um limite na disponibilidade de dados reais da web de alta qualidade para pré-treinamento. À medida que o volume de texto web raspável (crawlable) atinge um platô, a comunidade tem recorrido a dados sintéticos (gerados por LLMs) para expandir os conjuntos de treinamento.

No entanto, o espaço de design para a geração de dados sintéticos é vasto e carece de avaliação sistemática. Trabalhos anteriores exploraram abordagens isoladas (como reescrita estilística, extração de pares de perguntas e respostas ou resumos), mas não compararam criticamente como diferentes variáveis interagem. As principais lacunas incluem:

• Qual estratégia de reescrita (prompt) é mais eficaz?
• Modelos geradores maiores (ex: 70B+ parâmetros) são necessários, ou modelos menores bastam?
• A qualidade dos dados de origem (source data) é mais crítica do que a seleção dos dados de mistura (mix-in data)?
• Existe um risco de "colapso de modelo" ou perda de diversidade linguística ao usar apenas dados sintéticos?

2. Metodologia

Os autores conduziram um estudo controlado extensivo, gerando mais de um trilhão de tokens para identificar os fatores críticos na reescrita de texto web em dados sintéticos. O framework experimental isolou três eixos principais:

1. Estratégia de Reescrita (Prompt Design):

   • Compararam 8 prompts existentes da literatura (ex: Nemotron-HQ-Synth, REWIRE, BeyondWeb) contra 4 novos formatos pedagógicos estruturados: Matemática (problemas de palavras), FAQ (Perguntas Frequentes), Tabelas e Tutoriais.
   • O objetivo era transformar texto plano em sinais estruturados que facilitassem o aprendizado.

2. Modelo Gerador (Generator Model):

   • Escala: Testaram famílias de modelos de 135M a 27B parâmetros (Gemma 3 e SmolLM2) para encontrar o ponto de saturação de desempenho.
   • Arquitetura: Compararam 6 famílias de modelos abertos (~1B parâmetros) para avaliar a sensibilidade à arquitetura.

3. Composição de Dados (Mix-in e Source Data):

   • Investigaram se o treinamento apenas com dados sintéticos é suficiente ou se a mistura com dados web originais (mix-in) é indispensável.
   • Avaliaram a qualidade da fonte (Dsource) versus a qualidade dos dados de mistura (Dmix), testando conjuntos como DCLM, Cosmopedia e subconjuntos de FineWeb (HQ e LQ).

Configuração Experimental:

• Modelo Avaliado: Um modelo de 1.2B parâmetros (Qwen 2) foi treinado do zero em 21 bilhões de tokens.
• Avaliação: 12 benchmarks cobrindo conhecimento factual, compreensão de leitura, raciocínio, compreensão de linguagem natural (NLU), matemática e entendimento de tabelas.

3. Principais Contribuições e Resultados

A. O Formato de Saída é o Fator Dominante

• Formatos Pedagógicos Estruturados Superam Tudo: Os prompts estruturados (Math, FAQ, Table, Tutorial) superaram consistentemente tanto as bases de dados web curadas (como DCLM) quanto os métodos sintéticos anteriores.
  • O formato Math alcançou a melhor pontuação média macro (15.31 vs. 13.77 do DCLM).
  • O formato Table também se destacou (14.83).
• Prompting > Tamanho do Modelo: A escolha do prompt é mais crítica do que o tamanho do modelo gerador.

B. Modelos Grandes Não São Necessários (Lei de Diminuição de Retornos)

• Saturação em 1B Parâmetros: Aumentar o tamanho do modelo gerador além de 1 bilhão de parâmetros não trouxe benefícios significativos para a maioria dos prompts.
  • O modelo SmolLM2 1.7B superou modelos de 12B e 27B (como Gemma 3) quando usado com prompts estruturados.
  • Modelos muito grandes (ex: 27B) às vezes até performaram pior devido a uma consistência excessiva que reduz a diversidade (ver abaixo).
• Arquitetura Importa: O SmolLM2 (1.7B) superou todas as outras famílias de modelos (~1B), atribuído ao seu conjunto de dados de instruction-tuning que incluía tarefas de reescrita explícitas.

C. A Importância Crítica dos Dados de Mistura (Mix-in)

• Dados Sintéticos Puros são Insuficientes: Treinar exclusivamente com dados sintéticos resulta em desempenho subótimo, especialmente em tarefas de Compreensão de Linguagem Natural (NLU) e raciocínio de senso comum (ex: PIQA, HellaSwag), onde os dados sintéticos falham em replicar a diversidade linguística da web.
• A Mistura é Essencial: A integração de dados sintéticos com dados web originais (mix-in) acelera a convergência e restaura capacidades de NLU.
• Qualidade da Fonte vs. Mistura: A qualidade do dado de origem (Dsource) tem impacto menor se o dado de mistura (Dmix) for de alta qualidade. É possível "up-cycle" (reciclar) dados web ruidosos de baixa qualidade em tokens de treinamento úteis, desde que misturados com um corpus robusto.

D. Diversidade de Saída vs. Consistência de Formato

• Colapso de Template (Template Collapse): Modelos muito "bem comportados" (como o Qwen 3 em certos prompts) tendem a gerar saídas com estrutura idêntica e repetitiva, saturando o sinal de aprendizado.
• Vantagem da Diversidade: O SmolLM2, embora menos consistente na estrutura (algumas soluções incompletas), gerou maior variabilidade no comprimento e na estrutura, o que resultou em melhor desempenho downstream. Para pré-treinamento, a diversidade da saída é mais importante que a consistência do formato.

E. Eficiência de Custo

• A configuração ótima (SmolLM2 1.7B + Prompts Estruturados) reduziu o custo de geração em até 30 vezes em comparação com métodos que usam modelos grandes (ex: Llama 3.3 70B no REWIRE), mantendo ou superando o desempenho.

4. O Dataset FINEPHRASE

Aplicando essas descobertas, os autores criaram e lançaram o FINEPHRASE:

• Escala: 486 bilhões de tokens.
• Composição: Texto web reescrito em 4 formatos estruturados (Math, FAQ, Table, Tutorial) usando o modelo SmolLM2 1.7B.
• Desempenho: Supera todas as bases de dados sintéticas existentes (Nemotron-HQ-Synth, REWIRE, Cosmopedia) em benchmarks agregados.
• Custo: Geração com 30x mais eficiência computacional que métodos anteriores.

5. Significado e Conclusão

Este trabalho redefine a estratégia para a geração de dados sintéticos para LLMs:

1. Mude o Foco: A prioridade deve ser o design do prompt (formatos pedagógicos estruturados) e não o aumento da escala do modelo gerador.
2. Modelos Pequenos Bastam: Modelos de ~1B parâmetros são suficientes e mais eficientes para síntese de dados.
3. Hibridização é Obrigatória: Dados sintéticos não devem substituir dados reais, mas sim complementá-los. A mistura é crucial para evitar o colapso de modelo e manter a diversidade linguística.
4. Diversidade > Perfeição: A variabilidade na geração é mais valiosa para o pré-treinamento do que a consistência rígida do formato.

O estudo fornece um framework reprodutível e um dataset aberto (FINEPHRASE) que permite à comunidade treinar modelos de alta qualidade com custos drasticamente reduzidos, expandindo o reservatório de dados disponíveis para a próxima geração de IAs.