KletterMix: Climbing Toward High-Quality German Pretraining Data

Resumo Técnico: KletterMix: Escalando em direção a dados de pré-treinamento de alta qualidade para o alemão

Declaração do Problema

Dados de pré-treinamento de alta qualidade são um determinante primário do desempenho de modelos de linguagem. Enquanto o inglês se beneficiou de corpora de pré-treinamento amplos, diversos e bem documentados (ex: ClimbMix, Dolma), os recursos da língua alemã permanecem comparativamente subdesenvolvidos. Os datasets de alemão existentes são frequentemente derivados de raspagens web ruidosas, incorporados como subconjuntos de corpora multilíngues ou lançados com documentação e validação limitadas através de experimentos de treinamento controlados. A raspagem web nativa em alemão sozinha tem dificuldade em replicar a diversidade de fontes, o design de mistura e os padrões de documentação dos datasets de alto nível sem uma filtragem agressiva que pode remover conteúdos úteis de cauda longa (long-tail). Além disso, não se pode assumir que um comportamento forte do modelo em alemão emergirá apenas de dados centrados no inglês devido a características linguísticas específicas, como morfologia, composição de palavras (compounding), capitalização e variação regional.

Metodologia

Os autores introduzem o KletterMix, um corpus de pré-treinamento e recozimento (annealing) de 725B de tokens construído ao traduzir o ClimbMix, uma mistura de pré-treinamento de estado da arte em inglês, para o alemão. A construção segue um pipeline de cinco estágios projetado para preservar limites de documentos, metadados, estrutura de origem e diversidade tópica:

1. Normalização de Registros de Origem: A origem em inglês é armazenada como arquivos JSONL fragmentados contendo identificadores de documentos, texto e metadados (cluster de origem, localização, comprimento aproximado). Esta estrutura é preservada ao longo do pipeline.
2. Roteamento Sensível ao Comprimento: Para lidar eficientemente com comprimentos variáveis de documentos, os documentos são roteados para baldes de contexto (context buckets: curto, médio, longo, transbordamento) com base em seu comprimento de origem. Isso permite orçamentos específicos de origem e destino por balde, reduzindo o preenchimento (padding) e ineficiências de escalonamento.
3. Tradução Preservadora de Documentos:
   • Documentos curtos são traduzidos em uma única passagem.
   • Documentos longos são segmentados em sentenças e empacotados de forma gananciosa (greedy) em blocos (chunks). Se uma sentença exceder o orçamento do bloco, ela é dividida no nível de token.
   • Para documentos segmentados, a tradução do bloco $t-1$ é incluída como uma janela de contexto truncada para o bloco $t$ a fim de manter a continuidade do discurso e a consistência terminológica.
   • É utilizado um orçamento dinâmico no lado do destino, onde o comprimento máximo de geração é derivado do comprimento do bloco de origem ($\ell_{max}^{tgt} = \min(L_{max}, \lceil \alpha\ell_{src} + \beta\rceil)$) para acomodar a tendência do alemão de expansão de comprimento superficial.
4. Execução Escalável por Fragmentos (Shard-Wise): A tradução é realizada por trabalhadores paralelos em subconjuntos disjuntos do corpus. Os trabalhadores preservam os identificadores originais para rastreabilidade e implementam capacidades de retomada para execuções interrompidas.
5. Estimativa de Qualidade e Filtragem:
   • Subconjunto Piloto: Uma amostra estratificada do corpus é pontuada usando COMETKiwi, um modelo de estimativa de qualidade livre de referência, para gerar rótulos de alta qualidade.
   • Treinamento de Proximidade (Proxy): Um modelo de regressão de gradiente impulsionado (gradient-boosted) é treinado nos dados piloto para prever as pontuações do COMETKiwi usando apenas características do lado do destino (texto em alemão) e metadados de baixo custo (ex: identificação de linguagem GlotLID, forma do texto, razões de repetição).
   • Filtragem: O modelo de proximidade pontua o corpus completo. Três divisões de treinamento de 12B de tokens filtradas são criadas ao reter documentos com pontuações de proximidade $\ge 0,50$, $\ge 0,55$ e $\ge 0,60$.

Principais Contribuições

• Dataset KletterMix: Um corpus de 725B de tokens em alemão construído a partir de uma origem em inglês de alta qualidade, preservando a estrutura de nível de documento, metadados e o design de mistura.
• Pipeline de Tradução Escalável: Uma metodologia para traduzir dados de pré-treinamento que inclui roteamento sensível ao comprimento, segmentação preservadora de documentos, orçamento dinâmico e execução por fragmentos.
• Diagnósticos de Qualidade: Uma documentação abrangente do corpus usando estimativa de qualidade baseada em COMETKiwi e em modelos de proximidade, juntamente com análises de distribuições de comprimento, cobertura tópica e preservação de metadados.
• Validação Empírica: Ablações controladas de pré-treinamento e recozimento comparando o KletterMix contra corpora de alemão estabelecidos (FineWeb2-DE e GermanWeb).

Resultos

Os autores avaliaram o KletterMix usando um modelo Qwen3-0.6B sob orçamentos de treinamento correspondentes de 12B de tokens.

• Dinâmica de Treinamento: Modelos treinados no KletterMix alcançaram perdas de treinamento e validação menores em comparação com modelos treinados no FineWeb2-DE e GermanWeb, sugerindo melhor eficiência de amostragem.
• Benchmarks de Avaliação (Downstream): Em um conjunto de benchmarks na língua alemã (MMLU, PIQA, HellaSwag, ARC-Challenge), as variantes do KletterMix geralmente superaram as bases em agregados (Média Central/Core Avg).
  • O KletterMix filtrado (pontuação $\ge 0,60$) alcançou a maior Média Central (40,2), superando o FineWeb2-DE (38,3) e o GermanWeb (36,8).
  • O KletterMix mostrou força particular em HellaSwag (inferência de senso comum fundamentada) e ARC-Challenge (raciocínio de estilo científico), sugerindo que o corpus transfere efetivamente estruturas explicativas coerentes.
  • Experimentos de Recozimento (Annealing): Ao realizar o recozimento de um modelo pré-treinado no FineWeb2-DE, a mudança para o KletterMix rendeu uma Média Central (39,4) superior à mudança para o GermanWeb (37,6), com ganhos concentrados no HellaSwag e ARC-C.
• Análise de Qualidade: Os diagnósticos do corpus revelaram uma distribuição de comprimento de cauda pesada consistente com a origem. No entanto, "caudas inferiores" em baldes de contexto longo (onde documentos longos em inglês resultaram em traduções em alemão estranhamente curtas) foram identificadas como potenciais modos de falha que requerem auditoria.

Significância e Alegações

O artigo argumenta que dados traduzidos cuidadosamente podem fortalecer substancialmente o ecossistema de dados de pré-treinamento do alemão. A significância do KletterMix não reside em substituir os dados nativos em alemão, mas em demonstrar que as decisões de curadoria, a diversidade de fontes e a estrutura de mistura de um forte corpus em inglês podem ser transferidas para o alemão através de tradução de alta qualidade e validação rigorosa.

Os autores alegam que esta abordagem transfere mais do que apenas a forma superficial; ela transfere uma estrutura de mistura útil. Os resultados sugerem que os dados traduzidos podem melhorar as capacidades do modelo em áreas que exigem contexto estruturado, como plausibilidade de nível de evento e raciocínio composicional. No entanto, o artigo mantém uma postura modesta, reconhecendo que:

• Dados traduzidos podem herdar vieses culturais, geográficos e de licenciamento da origem em inglês.
• A tradução automática pode introduzir artefatos (translationese, desvio semântico) e falhar em documentos especializados.
• A filtragem baseada em proximidade é um sinal de classificação prático para treinamento de orçamento fixo, mas não é uma lei de qualidade universal (visto que o desempenho no MMLU não melhorou monotonicamente com a filtragem mais rigorosa).
• Os resultados atuais são limitados a um tamanho de modelo específico (0.6B) e orçamento de tokens, necessitando de trabalhos futuros em modelos maiores e benchmarks mais amplos.

Em última análise, o KletterMix apresenta uma rota prática para o pré-treinamento não inglês que prioriza a documentação, a validação empírica e a preservação da estrutura do dataset sobre a simples escala ou apenas a raspagem nativa.