MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages

Resumo Técnico: MzansiText e MzansiLM

1. O Problema

O campo de Processamento de Linguagem Natural (PLN) para línguas africanas, especificamente as 11 línguas oficiais escritas da África do Sul, enfrenta desafios significativos:

• Falta de Modelos Decodificador-Único (Decoder-Only): A pesquisa histórica para línguas africanas foi dominada por arquiteturas baseadas em codificadores (como BERT) ou codificador-decodificador (como T5). Embora modelos decoder-only (como LLaMA) estejam ganhando popularidade globalmente, não existia um modelo de código aberto que cobrisse explicitamente todas as 11 línguas oficiais da África do Sul.
• Recursos Limitados: Nove das 11 línguas são consideradas de baixo recurso. A maioria dos modelos existentes cobre apenas um subconjunto (geralmente Afrikaans, isiZulu e isiXhosa) ou depende de fine-tuning contínuo em modelos grandes pré-existentes, em vez de treinamento do zero.
• Incerteza sobre Estratégias de Adaptação: Não está claro qual estratégia de adaptação (ajuste fino monolinguístico, multilinguístico ou instrução multi-tarefa) é mais eficaz para modelos de pequena escala (baixo número de parâmetros) em contextos de baixo recurso.

2. Metodologia

Os autores desenvolveram uma abordagem completa, desde a criação do corpus até o treinamento e avaliação do modelo.

A. Criação do Corpus (MzansiText)

• Fontes de Dados: Agregaram dados públicos de múltiplas fontes, incluindo mC4, CulturaX, WURA, Glot500-c, NCHLT Text, CC100, ParaCrawl e Inkuba-Mono.
• Pipeline de Preparação: Implementaram um pipeline determinístico e reprodutível usando a ferramenta Datatrove. O processo incluiu:
  1. Identificação de linguagem (mantendo apenas as 11 línguas alvo).
  2. Normalização e remoção de ruído (HTML, caracteres de controle).
  3. Remoção de duplicatas (exatas e aproximadas) usando MinHash.
  4. Filtros de segurança e qualidade.
  5. Empacotamento de fragmentos em registros de ~1.000 tokens.
• Distribuição: O corpus resultante é desbalanceado, com cerca de 84% dos tokens em Afrikaans e Inglês devido à disponibilidade de dados de alta qualidade. Os autores testaram uma distribuição balanceada artificialmente, mas observaram degradação no desempenho em tarefas downstream, optando por manter a distribuição natural para maximizar o volume de dados utilizáveis.

B. Treinamento do Modelo (MzansiLM)

• Arquitetura: Um modelo decoder-only compacto com 125 milhões de parâmetros, baseado na configuração do MobileLLM.
• Configuração: Utiliza uma pilha de decodificador estilo LLaMA com atenção causal, contexto máximo de 2.048 tokens e um tokenizador BPE com vocabulário de 65.536 tokens.
• Treinamento: Treinado do zero no MzansiText por 5 épocas, utilizando 4 aceleradores NVIDIA A100.

C. Regimes de Adaptação (Fine-tuning)
Os autores avaliaram sistematicamente três regimes de adaptação:

1. Ajuste Fino Monolinguístico Específico de Tarefa: Um modelo separado para cada par (tarefa, língua).
2. Ajuste Fino Multilinguístico Específico de Tarefa: Um modelo por tarefa, agrupando todas as línguas relevantes para aquela tarefa.
3. Ajuste Fino de Instrução Multi-tarefa Geral: Um único modelo treinado em todas as tarefas e línguas simultaneamente.

3. Contribuições Principais

1. MzansiText: Um corpus de pré-treinamento multilíngue curado e reprodutível cobrindo todas as 11 línguas oficiais escritas da África do Sul.
2. MzansiLM: O primeiro modelo decoder-only de código aberto treinado do zero para todas as 11 línguas, com 125M de parâmetros.
3. Análise Comparativa: Uma avaliação sistemática que revela onde modelos decoder-only de pequena escala superam ou ficam aquém de arquiteturas maiores ou baseadas em codificadores, fornecendo diretrizes claras para pesquisadores de línguas de baixo recurso.
4. Reprodutibilidade: Liberação completa do código, dados e pesos do modelo.

4. Resultados Chave

A avaliação cobriu tarefas de compreensão (NLU) e geração (NLG), incluindo classificação de tópicos, reconhecimento de entidades nomeadas (NER), geração de texto e raciocínio few-shot.

• Geração de Texto (Data-to-Text e Headlines):

  • O ajuste fino monolinguístico específico de tarefa obteve desempenho excepcional. No modelo T2X (dados para texto) em isiXhosa, alcançou 20,65 BLEU, superando o mT5-base (0,58B) e competindo com modelos encoder-decoder mais de 10 vezes maiores.
  • Para geração de manchetes (AfriHG), o ajuste fino multilinguístico foi superior para isiXhosa, enquanto o monolinguístico liderou em isiZulu.

• Tarefas de Sequência e Classificação (NLU):

  • NER (Reconhecimento de Entidades Nomeadas): O ajuste fino monolinguístico superou todos os outros modelos decoder-only (incluindo modelos de 0,4B e 8B parâmetros) e até o Llama-3.1-70B em algumas métricas. No entanto, modelos baseados em codificadores (como AfroXLMR) ainda mantêm vantagem significativa.
  • Classificação de Tópicos (MasakhaNEWS): O ajuste fino multilinguístico beneficiou línguas bantus relacionadas, alcançando 78,5% de macro-F1 em isiXhosa.

• Raciocínio e Compreensão (Few-Shot e Leitura):

  • O desempenho em tarefas de raciocínio few-shot (como IrokoBench, AfriXNLI, AfriMMLU) e compreensão de leitura (Belebele) permaneceu próximo ao acaso (chance) para o modelo de 125M, independentemente do regime de ajuste fino.
  • Isso indica que tarefas complexas de raciocínio exigem escalonamento para modelos muito maiores (acima de 70B parâmetros) ou o uso de arquiteturas baseadas em codificadores para baixo recurso.

5. Significância e Conclusão

O trabalho estabelece um marco importante para o PLN na África do Sul e para línguas de baixo recurso em geral:

• Viabilidade de Modelos Pequenos: Demonstra que modelos decoder-only treinados do zero, com design cuidadoso e cobertura linguística regional específica, podem superar modelos muito maiores em tarefas de geração estruturada quando submetidos a supervisão específica de tarefa.
• Guia de Arquitetura: O estudo esclarece que, para tarefas de baixo recurso, não há uma "solução única".
  • Para geração e NER, modelos decoder-only pequenos com ajuste fino monolinguístico são altamente eficazes.
  • Para classificação estruturada e raciocínio complexo, arquiteturas baseadas em codificadores ou modelos decoder-only muito grandes (70B+) ainda são superiores.
• Reprodutibilidade: Ao fornecer um corpus limpo e um modelo base reprodutível, os autores permitem que a comunidade científica itere rapidamente e desenvolva soluções mais robustas para as línguas sul-africanas, evitando a dependência exclusiva de modelos proprietários ou de grande escala que não cobrem a diversidade linguística local.

Em suma, MzansiLM não visa substituir modelos maiores em todas as tarefas, mas serve como uma base reprodutível essencial para identificar onde o ajuste fino específico é eficaz e onde arquiteturas alternativas são necessárias.