SozKZ: Training Efficient Small Language Models for Kazakh from Scratch

1. O Problema

O idioma cazaque, falado por mais de 22 milhões de pessoas, permanece subatendido pelos modelos de linguagem multilíngues atuais (como Llama 3, Gemma e Qwen). Existem duas ineficiências principais ao aplicar esses modelos ao cazaque:

• Morfologia Aglutinante: O cazaque possui uma morfologia rica, onde as palavras carregam extensos sufixos flexionais e derivacionais. Os tokenizadores multilíngues genéricos fragmentam o texto cazaque em um número desproporcional de subpalavras (alta "fertilidade"), reduzindo a eficiência do contexto e aumentando o custo computacional.
• Capacidade Desperdiçada: Modelos multilíngues alocam a vasta maioria de seus parâmetros para idiomas de alto recurso (como inglês), deixando uma fração mínima de capacidade para idiomas de baixo recurso como o cazaque. Isso resulta em uma baixa relação entre capacidade útil e tamanho total do modelo.

2. Metodologia

Os autores propõem o SozKZ, uma família de modelos de linguagem de arquitetura Llama treinados do zero (from scratch) exclusivamente em texto cazaque.

• Dados de Treinamento:
  • Um corpus monolíngue cazaque de alta qualidade foi construído agregando 18 fontes (incluindo Wikipedia cazaque, CulturaX, mC4, etc.).
  • Após um pipeline rigoroso de limpeza de 9 etapas (normalização, filtragem de URL/HTML, identificação de idioma e deduplicação), o corpus final contém 13,7 milhões de documentos, resultando em aproximadamente 9 bilhões de tokens.
• Tokenizador Dedicado:
  • Foi treinado um tokenizador ByteLevel BPE com um vocabulário de 50.257 tokens, exclusivamente sobre o corpus cazaque.
  • Este tokenizador foi projetado para minimizar a fertilidade (número médio de tokens por palavra), oferecendo uma vantagem de 2–3× em eficiência comparado aos tokenizadores multilíngues.
• Arquitetura do Modelo:
  • Segue a arquitetura LlamaForCausalLM (SwiGLU, RoPE, RMSNorm, embeddings acoplados).
  • Quatro escalas de parâmetros foram treinadas: 50M, 150M, 300M e 600M.
  • Todos os modelos foram treinados do zero, sem inicialização prévia.
• Configuração de Treinamento:
  • O modelo de 600M foi treinado com uma razão de tokens/parâmetros de ~15:1 (ligeiramente abaixo do ideal de Chinchilla de 20:1, devido à disponibilidade limitada de dados de alta qualidade em cazaque).
  • Uso de precisão mista bfloat16 e otimizadores AdamW.

3. Principais Contribuições

1. Pipeline End-to-End: Apresentação de um pipeline completo para treinamento de modelos de linguagem cazaques em quatro escalas, incluindo coleta, limpeza e pré-tokenização.
2. Tokenizador Especializado: Design de um tokenizador BPE de 50K vocabulário que demonstra superioridade significativa na eficiência de tokenização para o cazaque.
3. Avaliação Comparativa: Avaliação rigorosa dos modelos SozKZ contra cinco modelos multilíngues de base (Qwen, Llama 3, Gemma) variando de 0,5B a 3B de parâmetros.
4. Análise de Escala: Relato de curvas de escala empíricas para a modelagem de linguagem cazaque, identificando o ponto ideal de eficiência.
5. Reprodutibilidade e Open Source: Liberação de todos os modelos, tokenizador e código de treinamento sob licenças abertas.

4. Resultados

Os modelos foram avaliados em três benchmarks cazaques (QA de múltipla escolha cultural, compreensão de leitura e classificação de tópicos) em configuração zero-shot.

• Classificação de Tópicos (SIB-200): O modelo SozKZ-600M alcançou 25,5% de precisão, superando todos os modelos multilíngues avaliados até 2B de parâmetros (incluindo Gemma-2B e Llama-3.2-1B que ficaram em ~20,1%). Curiosamente, o modelo menor SozKZ-50M também atingiu 25,5%, superando modelos multilíngues muito maiores (como Qwen-1.5B com 11,8%).
• QA de Múltipla Escolha (Cultural): O SozKZ-600M alcançou 30,3% de precisão, aproximando-se do desempenho do Llama-3.2-1B (32,0%), apesar de ter 40% menos parâmetros.
• Compreensão de Leitura (Belebele): Os resultados foram mais modestos (27,0% para o SozKZ-600M), indicando que esta tarefa é desafiadora para modelos base sem ajuste fino, com todos os modelos agrupados perto da linha de base aleatória.
• Análise de Escala: Observou-se um ganho consistente de desempenho à medida que o tamanho do modelo aumentava de 50M para 600M (ganho de 7,5 pontos percentuais no MC QA), sugerindo que o modelo ainda não atingiu a saturação e que mais escalonamento seria benéfico.

5. Significado e Conclusão

O trabalho demonstra que modelos pequenos e dedicados, treinados do zero com um tokenizador apropriado ao idioma, oferecem um caminho viável e altamente eficiente para a tecnologia de idiomas de baixo recurso.

• Eficiência: Um modelo de 600M parâmetros treinado especificamente para o cazaque compete com modelos multilíngues de 1B a 3B parâmetros, mas a um custo computacional de treinamento e inferência muito menor.
• Importância do Tokenizador: A superioridade nos resultados de classificação de tópicos destaca que, para idiomas aglutinantes, a qualidade do tokenizador é tão crítica quanto o tamanho do modelo.
• Futuro: Os autores sugerem que o treinamento de modelos ainda maiores (1B–3B) e o ajuste fino para instruções (instruction tuning) podem fechar a lacuna restante em tarefas de conhecimento intensivo e melhorar a compreensão de leitura.

Em resumo, o SozKZ prova que a especialização (modelos monolíngues + tokenizadores nativos) é uma estratégia superior à generalização (modelos multilíngues massivos) para idiomas morfologicamente ricos e de baixo recurso.