Resumo Técnico: ModernBERT-TR

Declaração do Problema

O Processamento de Linguagem Natural (PLN) em Turco depende atualmente de arquiteturas obsoletas ou modelos multilíngues subotimizados. O codificador monolíngue dominante, BERTurk (2020), utiliza a arquitetura BERT vanilla e foi treinado em um corpus relativamente pequeno (~4,5 bilhões de tokens). Embora os modelos multilíngues (ex: mBERT, XLM-R) ofereçam cobertura, eles diluem a capacidade entre muitos idiomas, limitando o desempenho por idioma. Além disso, avanços arquiteturais recentes que melhoraram significativamente a qualidade dos codificadores para o Inglês — como embeddings de posição rotativos (RoPE), Unidades Lineares com Portão (GLU), atenção local-global alternada e treinamento com empacotamento de sequências — não foram aplicados sistematicamente ao pré-treinamento monolíngue em Turco.

Metodologia

Os autores introduzem o ModernBERT-TR, um modelo codificador de 150M de parâmetros construído sobre a arquitetura ModernBERT, mas pré-treinado do zero especificamente para o Turco.

Arquitetura e Configuração de Treinamento

• Arquitetura: O modelo segue a configuração ModernBERT-base com 22 camadas de transformer, 768 dimensões ocultas e 12 cabeças de atenção. Principais melhorias arquiteturais em relação ao BERT vanilla incluem:
  • RoPE: Embeddings de posição rotativos substituem as posições absolutas aprendidas para melhorar a generalização para comprimentos de sequência variáveis.
  • GLU: Unidades Lineares com Portão com ativação GELU são utilizadas nas redes de feed-forward.
  • Pré-normalização: A normalização de camada é aplicada antes das subcamadas de atenção e feed-forward para melhorar o fluxo de gradiente.
  • Mecanismo de Atenção: Uma janela deslizante de 128 tokens é usada na maioria das camadas, com atenção global total aplicada a cada 3ª camada para equilibrar eficiência e modelagem de dependência de longo alcance.
  • Eficiência de Treinamento: O modelo utiliza Flash Attention e treinamento com empacotamento de sequências (concatenação de documentos de comprimento variável em lotes de comprimento fixo) para eliminar o desperdício de padding.
• Tokenizador: Um tokenizador WordPiece customizado de 50K foi treinado do zero em dados em Turco. Este tamanho foi selecionado para equilibrar a eficiência de compressão contra o tamanho da tabela de embeddings, alcançando uma alta eficiência de vocabulário em comparação com alternativas maiores (128K).
• Dados de Treinamento: O corpus consiste em 144,4 bilhões de tokens (treinados ao longo de 2 épocas). Os dados são uma mistura equilibrada de:
  • FineWeb-2 Turkish: 41,2B de tokens (web-crawled).
  • Corpus BertTurk: 6,2B de tokens, com upsampling de 5× (31,0B tokens efetivos) para equilibrar a mistura e aproveitar textos de maior qualidade.
• Hiperparâmetros: O treinamento utilizou o otimizador Decoupled StableAdamW com uma taxa de aprendizado de pico de $2 \times 10^{-4}$, um tamanho de lote global de 256 sequências (262K tokens) e um cronograma de taxa de aprendizado de cosseno com warmup de 1B de tokens. O modelo foi treinado em 4× GPUs NVIDIA H100 durante 623 horas de GPU.

Estudos de Ablação

Ablações sistemáticas foram conduzidas sobre a taxa de aprendizado, tamanho de lote, razão final do cronograma de cosseno ($\alpha_f$) e mistura de dados. Os resultados indicaram que a composição de dados (especificamente o upsampling de 5× do Corpus BertTurk) e a taxa de aprendizado foram os principais impulsionadores do desempenho downstream, enquanto o tamanho do lote e o $\alpha_f$ tiveram efeitos mínimos dentro dos intervalos testados.

Principais Contribuições

1. Modelo ModernBERT-TR: O primeiro codificador de Turco disponível publicamente que utiliza avanços arquiteturais do ModernBERT (RoPE, GLU, atenção alternada, treinamento sem padding).
2. Tokenizador Customizado: Um tokenizador WordPiece de 50K otimizado para a morfologia do Turco, demonstrando superior eficiência de vocabulário.
3. Corpus Curado: Um corpus de treinamento equilibrado combinando FineWeb-2 e o Corpus BertTurk, com evidência empírica apoiando o upsampling de corpora de alta qualidade.
4. Ablações Sistemáticas: Identificação da mistura de dados e da taxa de aprendizado como fatores críticos para a qualidade do pré-treinamento monolíngue em Turco.
5. Resultados de Estado da Arte: Alcance de novos benchmarks em tarefas de PLN em Turco com um modelo significativamente menor que as principais alternativas multilíngues.
6. Lançamento Aberto: Lançamento público dos pesos do modelo, tokenizador, código de avaliação e configuração de treinamento.

Resultados

Probing Linear de Codificador Congelado

Avaliado em 11 tarefas diversas de PLN em Turco (classificação, regressão e classificação de tokens) usando um protocolo de codificador congelado:

• Desempenho Geral: O ModernBERT-TR alcançou uma pontuação média de 60,2%, superando o segundo melhor modelo (Turkish-E5-large, 560M parâmetros) em 13,1% relativo e a linha de base convencional BERTurk em 70,3% relativo.
• Eficiência: Apesar de possuir apenas ~150M de parâmetros (aproximadamente 1/4 do tamanho das variantes E5-large), o ModernBERT-TR superou-as em todas as categorias de tarefas.
• Especificidades de Tarefa: O modelo liderou em 5 de 11 tarefas, incluindo detecção de linguagem ofensiva, classificação de discurso de ódio, aceitabilidade linguística (TrCOLA) e Reconhecimento de Entidades Nomeadas (WikiNER).

Fine-Tuning Completo (TabiBench)

Avaliado no benchmark de 28 tarefas TabiBench usando fine-tuning completo:

• O ModernBERT-TR pontuou 77,28, igualando o TabiBERT concorrente (treinado em ~1 trilhão de tokens com idiomas mistos) com uma diferença de apenas 0,30 pontos.
• O ModernBERT-TR liderou em 5 de 8 categorias de tarefas (Classificação de Texto, Similaridade Semântica de Texto, NLI, Compreensão Acadêmica, Recuperação de Informação).
• O TabiBERT manteve uma vantagem em Recuperação de Código e Questionamento (Question Answering), atribuída à inclusão de dados de código e matemáticos em seu pré-treinamento.

Significância

O artigo demonstra que inovações arquiteturais modernas combinadas com pré-treinamento monolíngue direcionado podem produzir representações que são mais linearmente separáveis e eficazes do que modelos multilíngues maiores, mesmo quando treinados com significativamente menos tokens (144,4B vs 1T).

Os autores afirmam que, para o pré-treinamento monolíngue com recursos limitados, a curadoria e mistura cuidadosa de dados (especificamente o upsampling de corpora de alta qualidade) geram maiores benefícios do que simplesmente escalar tamanhos de lote ou ajustar parâmetros de cronograma. Ao lançar o ModernBERT-TR, os autores visam acelerar a pesquisa de PLN em Turco, fornecendo um modelo de fundação que supera as linhas de base existentes exigindo apenas 623 horas de GPU para treinamento.