Resumo Técnico: PortBERT

Definição do Problema

Embora os modelos baseados em transformer tenham revolucionado o Processamento de Linguagem Natural (PLN), modelos eficientes e específicos para a língua portuguesa permanecem escassos. Os modelos existentes para o português frequentemente priorizam escala ou precisão bruta, negligenciando a eficiência de treinamento e implantação. Além disso, muitos avanços no PLN para o português trazem altos custos computacionais, tornando-os difíceis de implantar em ambientes com sensibilidade à latência ou recursos limitados. Há uma falta de relatórios transparentes sobre tempos de treinamento, utilização de hardware e vazão (throughput) de inferência para modelos específicos de português, criando uma lacuna na compreensão das compensações entre computação e desempenho neste domínio.

Metodologia

Para abordar essas lacunas, os autores apresentam o PortBERT, uma família de modelos codificadores baseados em RoBERTa projetados especificamente para o português.

• Corpus de Dados: Os modelos foram pré-treinados do zero em mais de 450 GB de texto deduplicado e filtrado, derivado do conjunto de dados CulturaX, que agrega as partes em português do mC4 e OSCAR23. Isso representa uma redução significativa de redundância em comparação com corpora brutos coletados da web.
• Tokenização: Um vocabulário dedicado de Byte Pair Encoding (BPE) de nível de byte com 52.000 tokens foi construído usando 40 GB de dados amostrados aleatoriamente em português. Esta abordagem, inspirada em trabalhos anteriores sobre alemão e holandês, visa melhorar a eficiência e a compressão de tokens.
• Arquitetura e Treinamento:
  • Os modelos aderem à arquitetura padrão RoBERTa sem modificações como atenção esparsa ou janelas de contexto estendidas, garantindo uma linha de base justa para comparação.
  • O treinamento foi realizado utilizando o framework fairseq.
  • O PortBERTbase foi treinado em um cluster de 8 GPUs NVIDIA A40.
  • O PortBERTlarge foi treinado em um pod de TPUv4-128.
  • Ambos os modelos foram treinados em precisão total (fp32) para garantir uma comparação direta da eficiência do hardware sem o fator de confusão das otimizações de precisão mista.
  • O cronograma de treinamento incluiu 100 mil passos de atualização com um tamanho de lote (batch size) de 8k, um warmup de 10k passos e decaimento de taxa de aprendizado polinomial.
• Avaliação: Os modelos foram avaliados no ExtraGLUE, um conjunto de tarefas traduzidas do GLUE e SuperGLUE (STS-B, RTE, WNLI, MRPC). O protocolo de avaliação envolveu o ajuste fino (fine-tuning) de cada tarefa 28 vezes com hiperparâmetros variados (tamanho do lote e taxa de aprendizado) para identificar o melhor checkpoint de desempenho.

Principais Contribuições

1. Lançamento dos Modelos: Os autores lançam duas variantes de código aberto, PortBERTbase (126M de parâmetros) e PortBERTlarge (357M de parâmetros), treinadas em GPUs e TPUs, respectivamente.
2. Benchmarking Abrangente: O artigo fornece uma avaliação rigorosa do PortBERT contra outros onze modelos de língua portuguesa (tanto monolíngues quanto multilíngues) no benchmark ExtraGLUE.
3. Relatório de Eficiência: Diferente de trabalhos anteriores, este estudo relata explicitamente tempos de treinamento, vazão de inferência e vazão de ajuste fino, oferecendo insights práticos sobre a eficiência do modelo e a utilização do hardware.
4. Reprodutibilidade: Todos os modelos são disponibilizados no Hugging Face, e os checkpoints do fairseq são fornecidos para apoiar pesquisas futuras.

Resultados

• Desempenho em Tarefas de Avaliação (Downstream Performance):
  • O PortBERTbase alcançou uma pontuação média (AVG) de 80,57, superando vários modelos monolíngues existentes e posicionando-se competitivamente contra baselines multilíngues. Notavelmente, alcançou a maior precisão na tarefa WNLI (60,56) entre os modelos base.
  • O PortBERTlarge alcançou um AVG de 82,26, superando ligeiramente o BERTimbau-large (82,23) e demonstrando a maior precisão em WNLI (61,97) entre os modelos grandes. Embora não tenha dominado todas as tarefas, manteve-se consistentemente entre os melhores desempenhos.
  • Ambos os modelos igualaram ou superaram modelos monolíngues e multilíngues existentes em diversas métricas, validando a eficácia do treinamento em corpora recentes e de alta qualidade e deduplicados.
• Eficiência vs. Precisão:
  • O PortBERTbase demonstrou um equilíbrio favorável, oferecendo um forte desempenho em tarefas com uma vazão de treinamento competitiva (~25–26 amostras/seg) e vazão de inferência (>65 amostras/seg).
  • O PortBERTlarge alcançou uma alta relação entre eficiência e desempenho. Apesar de ser um modelo grande, manteve uma vazão de treinamento (23,3 amostras/seg) e de inferência (70,7 amostras/seg) superior em comparação com outros modelos grandes como XLM-RoBERTa-large e EuroBERT-610M, que sofreram com métricas de vazão menores.
  • O estudo destaca que os modelos PortBERT oferecem uma eficiência de parâmetros superior, com o PortBERTbase (126M) superando modelos multilíngues maiores como o XLM-RoBERTa-base (278M) em média.

Significância e Alegações

O artigo posiciona o PortBERT como uma alternativa robusta, reprodutível e acessível para o PLN prático em português. Sua significância reside em abordar a dimensão pouco explorada das compensações entre computação e desempenho.

• Complemento aos Grandes Modelos: Embora grandes codificadores multilíngues (ex: XLM-RoBERTa, EuroBERT) ofereçam um forte desempenho, suas altas demandas computacionais restringem a implantação prática. O PortBERT os complementa ao oferecer uma opção mais eficiente para aplicações monolíngues onde a transferência zero-shot não é necessária.
• Modelagem Sustentável: O trabalho demonstra que um design de modelo cuidadoso, combinado com o pré-treinamento otimizado em corpora recentes, pode gerar modelos fortes sem depender de infraestruturas massivas e inacessíveis.
• Estabelecimento de Baseline: Ao utilizar a arquitetura padrão do RoBERTa e pipelines de treinamento transparentes, o PortBERT estabelece uma base sólida para pesquisas futuras, permitindo comparações justas de custos computacionais e eficiência no PLN para o português.

Os autores reconhecem limitações, incluindo a falta de controle dialetal específico (português brasileiro vs. europeu), a ausência de Whole Word Masking (WWM) devido a restrições do framework, e a dependência de corpora baseados na web que podem conter vieses residuais. No entanto, eles afirmam que o PortBERT fornece um passo fundamental em direção a uma modelagem de linguagem sustentável e acessível para o português.