GottBERT: a pure German Language Model

Resumo Técnico: GottBERT: um modelo de linguagem puramente alemão

Problema
Embora modelos de linguagem (LMs) pré-treinados como BERT e RoBERTa tenham revolucionado o Processamento de Linguagem Natural (NLP), o foco inicial da pesquisa foi predominantemente no inglês. Embora existam modelos multilíngues, modelos de idioma único frequentemente oferecem vantagens em eficiência de pré-treinamento, utilização de recursos e desempenho em tarefas de downstream. Apesar da ascensão de grandes LLMs baseados em prompts, modelos menores e computacionalmente eficientes do tipo BERT continuam sendo críticos para implantação prática. Na época deste trabalho, havia uma carência de um modelo RoBERTa dedicado de idioma único para o alemão, treinado exclusivamente em um corpus alemão de alta qualidade e escala massiva. Os modelos alemães existentes (ex: GermanBERT, dbmdz BERT) baseavam-se primariamente na arquitetura BERT original ou utilizavam fontes de dados mistas, e nenhum deles havia aproveitado a escala total do corpus OSCAR com as otimizações arquiteturais específicas do RoBERTa.

Metodologia
Os autores desenvolveram o GottBERT, o primeiro modelo RoBERTa de idioma único para o alemão, utilizando a parte alemã do dataset OSCAR (Open Super-large Crawled ALMAnaCH coRpus). A metodologia envolveu várias etapas principais:

1. Curadoria e Filtragem de Dados:

   • Fonte: O modelo foi treinado na primeira versão publicada e deduplicada do corpus OSCAR alemão (145GB, ~21,5 bilhões de palavras).
   • Estratégia de Filtragem: Inspirados pelo FlauBERT, os autores implementaram um pipeline de filtragem para criar uma versão "limpa" (121GB, ~18,1 bilhões de palavras). Este processo abordou:
     • Erros de Codificação: Correção de umlauts errôneos causados por problemas de decodificação UTF-8 e remoção de linhas com caracteres não reproduzíveis.
     • Qualidade de Conteúdo: Remoção de spam, listas de palavras e documentos que não fossem em alemão.
     • Heurísticas Sintáticas: Utilização de um algoritmo de detecção de linguagem (baseado em n-gramas) para filtrar arte ASCII e um SVM de classe única treinado em 12k documentos para identificar conteúdo "sujo". O SVM utilizou características linguísticas específicas do alemão, como a capitalização de substantivos e razões de stopwords, pontuação, palavras únicas e tokens em caixa alta.
   • Vocabulário: Um novo vocabulário de 52k sub-tokens de palavras foi computado usando Byte Pair Encoding (BPE) em 40GB de texto alemão amostrado aleatoriamente, resultando em uma redução de 40% no tamanho dos dados binários em comparação com o tokenizer do GPT-2 treinado em inglês.

2. Infraestrutura de Pré-treinamento:

   • Hardware: GottBERT é o primeiro modelo RoBERTa publicado pré-treinado em TPUs (Tensor Processing Units). O modelo base foi treinado em um pod de 256 núcleos TPUv3, enquanto os modelos grandes utilizaram um pod de 128 núcleos TPUv4.
   • Arquitetura: Os modelos seguiram a arquitetura padrão do RoBERTA (removendo embeddings de segmento e previsão de próxima sentença, utilizando mascaramento dinâmico).
   • Hiperparâmetros: O treinamento utilizou o framework fairseq. Os modelos base foram treinados por 100k passos com um tamanho de lote (batch size) de 8k e uma taxa de aprendizado de pico de 0.0004. Os modelos grandes utilizaram uma taxa de aprendizado de pico de 0.00015.
   • Modelos Gerados: Quatro modelos foram produzidos: GottBERTbase e GottBERTlarge (dados não filtrados), e fGottBERTbase e fGottBERTlarge (dados filtrados).

3. Avaliação:

   • Os modelos foram ajustados (fine-tuned) e avaliados em cinco tarefas de downstream:
     • Inferência de Linguagem Natural (NLI): XNLI (parte alemã).
     • Reconhecimento de Entidades Nomeadas (NER): CoNLL 2003 (alemão) e GermEval 2014.
     • Classificação de Texto: GermEval 2018 (grossa e fina) e 10kGNAD (classificação de tópicos de notícias).
   • O desempenho foi medido usando scores F1 e acurácia, com resultados calculados sobre a média de 24 execuções com variados hiperparâmetros para garantir robustez.

Principais Contribuições

• Primeiro RoBERTa Alemão: A introdução do primeiro modelo RoBERTa de idioma único para o alemão, treinado exclusivamente no corpus OSCAR alemão.
• Metodologia de Filtragem: O desenvolvimento e aplicação de um método de filtragem específico para textos alemães, utilizando características sintáticas (como a capitalização de substantivos) e aprendizado de máquina (SVM) para remover dados de baixa qualidade.
• Lançamento Aberto: O lançamento de todas as quatro variantes de modelos (base e large, filtrado e não filtrado) sob a licença MIT para apoiar a comunidade de pesquisa de NLP alemã.
• Análise Empírica: Uma avaliação abrangente comparando estes novos modelos contra modelos BERT alemães existentes (GermanBERT, dbmdz BERT, GBERT, GELECTRA) e modelos multilíngues (mBERT, XLM-RoBERTa).

Resultados

• Modelos Base: O GottBERT demonstrou um desempenho competitivo, liderando entre os modelos base em 4 de 6 tarefas. Especificamente, GottBERTbase e fGottBERTbase alcançaram scores de topo ou próximos ao topo em tarefas de NER e classificação de texto.
• Modelos Large: Os modelos large mostraram um desempenho robusto, mas foram geralmente superados por GELECTRAlarge e GBERTlarge em diversas tarefas. XLM-Rlarge alcançou o maior F1 score na tarefa de NER do GermEval 2014.
• Impacto da Filtragem: Contrariando as expectativas dos autores, a filtragem do corpus OSCAR não melhorou significamente os resultados. Em alguns casos, os modelos não filtrados performaram ligeiramente melhor ou comparavelmente aos filtrados. Os autores sugerem que o processo de limpeza pode ter inadvertidamente removido a variância textual valiosa, que é conhecida por beneficiar o desempenho do modelo.
• Comparação: Enquanto os modelos GELECTRA geralmente alcançaram as maiores acurácias (provavelmente devido à arquitetura ELECTRA e potencialmente a dados de treinamento maiores/mais variados incluindo OPUS e OpenLegalData), o GottBERT estabeleceu-se como uma base forte, particularmente na categoria de arquitetura base.

Significância e Alegações
O artigo afirma que o GottBERT serve como um recurso valioso e eficiente para a comunidade de NLP alemã, oferecendo um fundamento de idioma único de estado da arte que rivaliza com modelos multilíngues em tarefas específicas. Os autores destacam que, embora a estratégia específica de limpeza de dados não tenha gerado o aumento de desempenho antecipado, o sucesso do pré-treinamento de um modelo RoBERTa em TPUs e o lançamento destes modelos fornecem uma infraestrutura crítica para pesquisas futuras.

Os autores notam modestamente que seus resultados são específicos para a primeira versão do corpus OSCAR e que os modelos podem ter dificuldades com nuances culturais ou dialetos não bem representados nos dados de treinamento. Eles reconhecem que a abordagem de filtragem foi um compromisso entre custo computacional e qualidade de dados, e sugerem que trabalhos futuros devem explorar o aumento da variância do corpus (ex: incorporando Wikipedia ou dados jurídicos) e utilizar o Whole Word Masking (WWM) para melhorar ainda mais o desempenho. O trabalho ressalta a relevância contínua de modelos eficientes de idioma único, apesar da tendência para LLMs massivos.