Resumo Técnico: BERTomelo

Declaração do Problema

Embora os modelos de codificação (encoders) tenham se tornado o estado da arte para o Processamento de Linguagem Natural (PLN), o cenário para modelos de língua portuguesa permanece limitado por arquiteturas legadas. Os codificadores monolíngues de português existentes, como o BERTimbau e o Albertina, aderem amplamente à arquitetura BERT original, caracterizada por janelas de contexto limitadas a 512 tokens, mecanismos de atenção padrão e uma falta de otimizações de eficiência modernas. Embora os modelos multilíngues ofereçam uma cobertura ampla, eles frequentemente sofrem da "Maldição da Multilinguidade", onde o desempenho por idioma degrada em comparação com modelos monolíngues dedicados. Além disso, avanços arquiteturais recentes em inglês, como o ModernBERT, que incorporam FlashAttention, Atenção Alternada e Rotary Positional Embeddings (RoPE) para suportar janelas de contexto estendidas (até 8.192 tokens), ainda não foram plenamente realizados para o português. Existe uma lacuna crítica na disponibilidade de um codificador monolíngue de próxima geração para o português que aproveite esses mecanismos de eficiência modernos e seja treinado em um corpus contemporâneo e de alta qualidade.

Metodologia

Para abordar essa lacuna, os autores apresentam o BERTomelo, um conjunto de codificadores monolíngues pré-treinados do zero especificamente para o português brasileiro. A metodologia abrange três componentes principais: arquitetura, dados e protocolo de treinamento.

Arquitetura

O BERTomelo é construído sobre a arquitetura ModernBERT. Ele está disponível em duas variantes:

• Base: 22 camadas, 12 cabeças de atenção, tamanho oculto de 768 e aproximadamente 136 milhões de parâmetros.
• Large: 28 camadas, 16 cabeças de atenção, tamanho oculto de 1.024 e aproximadamente 378 milhões de parâmetros.

Ambas as variantes adotam uma janela de contexto de 1.024 tokens, dobrando a capacidade dos modelos legados padrão. As principais características arquiteturais incluem:

• Mecanismos de Eficiência: Integração de FlashAttention-2, Unpadding e Sequence Packing para reduzir gargalos de memória e desperdício computacional.
• Estratégia de Atenção: Implementação de Atenção Alternada, onde duas camadas consecutivas aplicam atenção local (tamanho de janela de 128) seguidas por uma camada com atenção global.
• Codificação Posicional: Uso de Rotary Positional Embeddings (RoPE) com uma frequência de base ajustada (10.000) para facilitar a futura escalabilidade de contexto.
• Otimizações Estruturais: Camadas lineares sem viés (bias-free), blocos de pré-normalização e funções de ativação Gaussian Error Gated Linear Unit (GeGLU).
• Objetivo de Treinamento: A tarefa de Next Sentence Prediction (NSP) é omitida; o treinamento baseia-se exclusivamente em Masked Language Modeling (MLM) com uma taxa de mascaramento aumentada de 30%.

Dados e Tokenização

Os modelos foram pré-treinados no ClassiCC-PT, um corpus massivo e de alta qualidade composto por 96 milhões de documentos curados em português extraídos do Common Crawl. Este conjunto de dados foi selecionado para substituir o antigo corpus BrWaC usado por modelos anteriores.

• Tokenização: Os autores utilizaram um tokenizador rápido personalizado baseado no algoritmo Unigram (previamente usado no ModBERTBr), treinado em uma combinação de Wikipedia e BrWaC. O tamanho do vocabulário é de 32.768 tokens.
• Pré-processamento: O corpus foi segmentado por quebras de linha e filtrado com base no comprimento da palavra (2–15 caracteres), densidade de stop-words (mínimo de 2 por sequência) e comprimento da sequência (20–1.024 palavras).

Protocolo de Treinamento

O treinamento foi conduzido em clusters de Computação de Alto Desempenho da AMD (GPUs MI300X e MI325X) utilizando o ecossistema Hugging Face.

• Configuração: Ambos os modelos foram treinados por 2 milhões de passos com um tamanho de lote global de 2.048.
• Precisão: O treinamento utilizou precisão mista bf16 para garantir estabilidade.
• Duração: O modelo Base exigiu aproximadamente 121 horas, e o modelo Large 170 horas, processando cerca de 386 bilhões de tokens (8,67 épocas).

Principais Contribuições

1. Adaptação do ModernBERT: O BERTomelo é o primeiro codificador de português a integrar sistematicamente a arquitetura ModernBERT, trazendo mecanismos de eficiência avançados (FlashAttention, Atenção Alternada) e janelas de contexto estendidas para o ecossistema de PLN em português.
2. Janela de Contexto Estendida: Ao implementar uma janela de contexto de 1.024 tokens, o BERTomelo aborda as limitações dos modelos anteriores de 512 tokens, permitindo um melhor tratamento de dependências de longo alcance.
3. Pré-treinamento de Alta Qualidade: O uso do corpus ClassiCC-PT garante que o modelo esteja alinhado com o uso contemporâ da língua, indo além das restrições de conjuntos de dados mais antigos como o BrWaC.
4. Disponibilidade de Código Aberto: Tanto os modelos Base quanto o Large, junto com o código fonte, são lançados publicamente no Hugging Face e GitHub para fomentar a pesquisa na comunidade.

Resultados

O artigo avalia o BERTomelo através de métricas intrínsecas e extrínsecas, comparando-o com modelos de ponta em português (BERTimbau, Albertina, ModBERTBr) e baselines multilíngues (mBERT, XLM-RoBERTa).

Avaliação Intrínseca

• Tokenização: O tokenizador demonstrou alta eficiência com uma fertilidade de 1,506 e uma razão de tokens desconhecidos de apenas 0,0017% no conjunto de treinamento.
• Estabilidade de Treinamento: As curvas de perda mostraram um decaimento suave e progressivo. O modelo Large exibiu picos transientes na norma do gradiente após 1 milhão de passos, mas manteve a estabilidade geral.
• Desempenho de MLM: No conjunto de teste, o modelo Base alcançou 79,26% de acurácia (perda 0,9495), enquanto o modelo Large atingiu 82,28% de acurácia (perda 0,7799), indicando uma captura robusta de padrões sintáticos e semânticos do português.

Avaliação Extrínseca (Tarefas de Downstream)

Avaliado em ASSIN2 (STS e RTE) e LeNER-Br (NER):

• Similaridade Semântica de Texto (STS): O BERTomelo alcançou o menor Erro Quadrático Médio (MSE) para ambas as variantes (0,425 para o Base, 0,401 para o Large), superando todos os outros modelos, incluindo BERTimbau e ModBERTBr.
• Reconhecimento de Implicação Textual (RTE): O BERTomelo Base alcançou 87,70% de acurácia, e o Large 89,26%. Embora o BERTimbau Large tenha superado ligeiramente o BERTomelo Large (90,04%), o BERTomelo permaneceu altamente competitivo.
• Reconhecimento de Entidades Nomeadas (NER): O BERTomelo Base obteve o maior Micro F1-score (91,37%) e Precisão (90,46%). O BERTomelo Large alcançou o maior Recall (92,75%) e um Micro F1-score competitivo (91,05%).

Significância e Alegações

O artigo afirma que o BERTomelo consegue preencher a lacuna arquitetural no PLN do português brasileiro. Ao integrar as inovações do ModernBERT, ele oferece uma alternativa mais robusta e eficiente aos modelos multilíngues massivos e aos codificadores monolíngues legados. Os resultados demonstram que o pré-treinamento monolíngue dedicado em dados contemporâneos produz um desempenho superior em tarefas como NER e STS em comparação com seus equivalentes multilíngues.

Os autores observam modestamente que, embora a janela de contexto de 1.024 tokens seja uma capacidade central, ela não foi explicitamente avaliada nos benchmarks atuais (que são majoritariamente de nível de sentença). No entanto, eles afirmam que este recurso fornece uma base para o processamento de dependências de longo alcance. O trabalho valida a necessidade de adaptação arquitetural para idiomas específicos e estabelece um novo baseline para o desenvolvimento futuro de codificadores de português. Um trabalho futuro é proposto para aproveitar totalmente a implementação de RoPE para estender a janela de contexto para 8.192 tokens e para implementar o sequence packing para ganhos de eficiência adicionais.