SindBERT, the Sailor: Charting the Seas of Turkish NLP

Resumo Técnico: SindBERT, o Marinheiro: Navegando pelos Mares do PLN Turco

Declaração do Problema
Embora os modelos baseados em transformer tenham revolucionado o Processamento de Linguagem Natural (PLN), línguas morfologicamente ricas como o turco permanecem sub-representadas nos esforços de pré-treinamento em larga escala. Os modelos turcos existentes, como o BERTurk e várias variantes de ELECTRA ou ConvBERT, frequentemente dependem de corpora menores, métodos de treinamento de gerações anteriores ou arquiteturas que não são implementações RoBERTa totalmente escalonadas. Embora existam alguns modelos no estilo RoBERTa para o turco, eles foram tipicamente treinados com tamanhos de lote menores ao longo de períodos relativamente curtos, carecendo dos extensos regimes de pré-treinamento observados em seus equivalentes em inglês ou multilíngues. Consequentemente, o PLN turco carece de um modelo de codificador (encoder-only) de alta qualidade e larga escala treinado do zero usando princípios modernos de RoBERTa.

Metodologia
Para abordar essa lacuna, os autores introduzem o SindBERT, um modelo codificador baseado em RoBERTa pré-treinado especificamente para o turco. A metodologia envolve três componentes principais:

• Construção de Dados: O SindBERT foi treinado do zero em um corpus combinado de aproximadamente 312 GB de texto em turco, extraído de mC4 (242 GB), OSCAR23 (69 GB) e Wikipedia (0,6 GB). Os dados passaram por uma filtragem leve, restrita à remoção de documentos com codificações de caracteres inválidas.
• Tokenização e Arquitetura: Diferente de modelos que utilizam tokenizadores genéricos, os autores construíram um vocabulário BPE de nível de byte dedicado e otimizado para o turco usando 40 GB de texto amostrado aleatoriamente, resultando em um inventário de subpalavras de 52k. Duas configurações de modelo foram treinadas: SindBERTbase e SindBERTlarge.
• Regime de Treinamento: O treinamento foi conduzido utilizando o framework fairseq em um pod de TPUv4 de 128 núcleos. Ambos os modelos foram treinados em precisão total (fp32) para garantir que a dinâmica de treinamento fosse atribuível ao tamanho do modelo e não a otimizações numéricas. O pré-treinamento seguiu um cronograma padrão de RoBERTa com 100 mil passos de atualização, um tamanho de lote global de 8k e decaimento de taxa de aprendizado polinomial. O SindBERTbase treinou em cerca de 29,2 horas, enquanto o SindBERTlarge exigiu cerca de 6,0 dias.

Principais Contribuições

1. Lançamento do SindBERT: Os autores lançam os primeiros modelos de codificador de larga escala no estilo RoBERTa para o turco (nas variantes base e large), treinados do zero em um corpus massivo e diversificado de textos da web.
2. Benchmarking Abrangente: O SindBERT é avaliado contra uma ampla gama de modelos turcos e multilíngues existentes (incluindo BERTurk, ELECTRA, ConvBERT, XLM-R e EuroBERT) em quatro tarefas distintas de jusante (downstream):
   • Etiquetagem de Classes Gramaticais (PoS Tagging) (Universal Dependencies).
   • Reconhecimento de Entidades Nomeadas (NER) (WikiANN).
   • Detecção de Linguagem Ofensiva (OffensEval-TR 2020).
   • Aceitabilidade Linguística (TURBLIMP).
3. Análise Empírica de Escalonamento: O estudo fornece um estudo de caso empírico sobre os limites do escalonamento em línguas morfologicamente ricas, comparando a performance de corpora ruidosos de larga escala contra conjuntos de dados menores e curados.

Resultos

• Performance Competitiva: O SindBERT apresenta um desempenho competitivo com os modelos estado da arte atuais, tanto turcos quanto multilíngues.
  • O SindBERTlarge alcançou as melhores pontuações em duas das quatro tarefas: etiquetagem de PoS (94,63 F1) e Detecção de Linguagem Ofensiva (82,29 macro-F1).
  • O SindBERTbase alcançou resultados fortes, particularmente em etiquagem de PoS (94,47 F1), comparáveis aos principais baselines.
• Tendências de Escalonamento: Os resultados indicam uma tendência de escalonamento plana. Embora o SindBERTlarge tenha superado os modelos base em tarefas específicas, ele não mostrou uma vantagem consistente em todos os benchmarks. Em alguns casos, como NER e TURBLIMP, modelos menores ou com arquiteturas diferentes (ex: BERTurk128k, XLM-Rlarge) performaram igualmente bem ou melhor.
• Qualidade do Corpus vs. Volume: Comparações com o BERTurk (treinado em um corpus menor e mais limpo de 35 GB) revelaram que a qualidade e a diversidade do corpus podem superar o mero volume de dados. Variantes do BERTurk frequentemente superaram o SindBERT em tarefas de aceitabilidade linguística (TURBLIMP), sugerindo que dados curados são altamente eficazes para o turco.
• Especificidade Linguística: O SindBERT demonstrou força particular em fenômenos morfossintáticos específicos do turco (ex: scrambling, afixação suspensa, concordância de sujeito) na avaliação TURBLIMP, embora tenha tido dificuldades com certos fenômenos sintáticos complexos, como a elipse, em comparação com modelos multilíngues.

Significância e Alegações
O artigo posiciona o SindBERT como um recurso significativo para a comunidade de PLN turca, oferecendo o primeiro codificador RoBERTA de larga escala lançado abertamente para o idioma. No entanto, os autores são modestos em suas alegações quanto à necessidade de escalonamento massivo. Eles argumentam que a tendência de escalonamento plana observada no SindBERT, XLM-R e EuroBERT sugere que os benchmarks atuais do turco já podem estar saturados, o que significa que simplesmente aumentar o tamanho do modelo ou o volume de dados gera retornos decrescentes.

Em vez disso, o artigo conclui que o progresso futuro no PLN turco dependerá menos de escalonamento e mais de:

• Curadoria de Corpus: Priorizar qualidade, diversidade de domínio e representatividade linguística sobre o volume bruto.
• Tokenização: Otimizar tamanhos de vocabulário para estruturas aglutinantes.
• Avaliação: Desenvolver suítes de teste mais discriminativas (como o TrGLUE) para capturar melhor as capacidades dos modelos além dos atuais benchmarks saturados.

O SindBERT serve tanto como uma base robusta para pesquisas e aplicações futuras no PLN turco quanto como uma demonstração empírica do papel central da composição do corpus em línguas morfologicamente ricas. Os modelos são liberados sob a licença MIT nos formatos fairseq e Hugging Face.