Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining

1. Problema e Motivação

O avanço dos Grandes Modelos de Linguagem (LLMs) tem sido desigual entre idiomas. Para línguas como o português, a escassez de corpora de alta qualidade em larga escala torna o treinamento from scratch impraticável. A estratégia comum é o pré-treinamento contínuo (continued pretraining) de modelos baseados em inglês usando dados limitados do idioma-alvo.

A questão central investigada é: o ganho obtido com dados limitados pode ser amplificado por meio de transformação de dados (escrita sintética/rewriting), e essa transformação compensa a baixa qualidade dos dados originais? Estudos anteriores focaram principalmente em inglês e não controlaram sistematicamente a qualidade da fonte antes da reescrita.

2. Metodologia

Os autores conduziram um estudo controlado utilizando o corpus ClassiCC-PT (120B tokens), que possui pontuações contínuas de qualidade em STEM e Educacional (0 a 5).

• Construção de Subconjuntos: Foram criados dois subconjuntos de 10B tokens cada:
  • Alta Qualidade: Documentos com pontuação > 2.5.
  • Baixa Qualidade: Documentos com pontuação entre 0.5 e 2.0.
• Geração de Dados Sintéticos: Cada subconjunto foi reescrito usando um modelo instruído de 7B parâmetros (Qwen-2.5-7B) em quatro estilos distintos:
  1. Easy: Simplificação para nível de leitura inferior.
  2. Medium: Estilo enciclopédico (semelhante à Wikipedia).
  3. Hard: Versão técnica e formal.
  4. QA: Transformação para formato Pergunta e Resposta.
  • Isso gerou ~30B tokens sintéticos por condição, somados aos 10B originais, totalizando ~40B tokens únicos por condição.
• Modelos Base: Dois modelos centrados em inglês foram pré-treinados continuamente:
  • 1.1B parâmetros (derivado do TinyLLaMA).
  • 7B parâmetros (derivado do LLaMA-2).
• Avaliação: Todos os modelos foram testados no PoETa V2, um benchmark abrangente de 44 tarefas em português. A métrica utilizada foi o NPM (Normalized Performance Metric), que normaliza os resultados de 0 a 100.

3. Contribuições Principais

• Análise de Interação Qualidade-Rewriting: O estudo isola sistematicamente o efeito da qualidade dos dados originais versus o efeito da reescrita sintética, algo não feito anteriormente para o português.
• Descoberta do "Multiplicador de Qualidade": Evidencia que a reescrita sintética atua principalmente como um multiplicador de dados já de alta qualidade, e não como um substituto eficaz para a curadoria de dados de baixa qualidade.
• Dependência de Escala: Demonstra que a eficácia dessa interação é fortemente dependente do tamanho do modelo (escala).

4. Resultados Chave

Escala 7B (Modelo LLaMA-2)

• Alta Qualidade + Rewriting: Produziu o melhor desempenho, alcançando 41.0 NPM. Houve um ganho de +3.4 NPM em relação aos dados de alta qualidade não modificados.
• Baixa Qualidade + Rewriting: O ganho foi marginal (+0.5 NPM), atingindo apenas ~35.8 NPM.
• Conclusão: A reescrita amplifica significativamente dados bons, mas não consegue "salvar" dados ruins de forma substancial.
• Análise por Categoria:
  • Exames e Tarefas Específicas do Brasil: A diferença de qualidade foi mais crítica (gap de ~13 pontos entre alta e baixa qualidade com reescrita).
  • Ética: A reescrita ajudou independentemente da qualidade original.
  • Conhecimento Geral: Curiosamente, a reescrita às vezes prejudicou o desempenho, possivelmente introduzindo ruído ou distorções factuais.

Escala 1.1B (Modelo TinyLLaMA)

• Interação Fraca: O padrão observado no modelo de 7B não se manteve.
• Desempenho Competitivo: Dados de baixa qualidade não modificados performaram de forma comparável (e em alguns pontos superiores) aos dados de alta qualidade reescritos.
• Hipótese: Modelos menores podem não ter capacidade suficiente para aproveitar as transformações estruturais complexas introduzidas pela reescrita, ou a diversidade bruta dos dados não filtrados oferece um sinal de aprendizado mais forte para modelos com poucos parâmetros.

5. Significado e Implicações

O trabalho conclui que a escrita sintética (rewriting) não é uma solução mágica para dados de baixa qualidade. Em vez disso, ela funciona como um multiplicador de qualidade:

1. Curadoria é Fundamental: A seleção de dados de alta qualidade (STEM/Educacional) continua sendo o passo mais crítico.
2. Estratégia Híbrida: A melhor estratégia para pré-treinamento contínuo em português (e possivelmente outras línguas de recursos limitados) é combinar curadoria rigorosa de dados com geração sintética para amplificar o valor desses dados selecionados.
3. Dependência de Escala: A eficácia da reescrita aumenta com o tamanho do modelo; modelos muito pequenos podem não se beneficiar ou até se prejudicar com dados sintéticos complexos.

Limitações Notadas: O estudo baseou-se em execuções únicas (sem testes de significância estatística), usou um único modelo de reescrita e não realizou controle de diversidade de tokens entre as condições reescritas e não reescritas (embora o ganho assimétrico sugira que a qualidade, e não apenas a quantidade, seja o fator determinante).