Resumo Técnico: HalleluBERT

Declaração do Problema

Apesar do impacto transformador de modelos baseados em transformer como o BERT e o RoBERTa no Processamento de Linguagem Natural (PLN), a língua hebraica carece de um codificador de grande escala, no estilo RoBERTa, treinado do zero e disponibilizado em variantes base e large. Os modelos de hebraico existentes enfrentam limitações significativas:

• Corpus e Escala: Modelos anteriores, como HeBERT e AlephBERT, foram treinados em corpora comparativamente modestos (aprox. 10–18 GB), limitando sua cobertura da complexa morfologia e diversidade de domínios do hebraico.
• Transparência de Treinamento: Embora o HeRo tenha introduzido o pré-treinamento no estilo RoBERTa para o hebraico, ele carecia de um relato completo de detalhes críticos de treinamento (ex: tamanho de lote efetivo, total de passos de atualização) e parecia ter sido treinado sob recursos computacionais limitados.
• Variantes de Modelo: Não havia um modelo de variante large de hebraico disponível publicamente para testar os benefícios de escalonamento de parâmetros para este idioma específico.

Consequentemente, existe uma lacuna em recursos de alta qualidade e reproduzíveis para o PLN em hebraico que possam igualar o desempenho de modelos multilíngues (como o XLM-RoBERTa), ao mesmo tempo em que aproveitam as vantagens do pré-treinamento monolíngue.

Metodologia

Dados e Pré-processamento

Os autores construíram um corpus de pré-treinamento totalizando aproximadamente 49,1 GB de texto em hebraico desduplicado. Este conjunto de dados combina:

• HeDC4: Um corpus da web limpo e com identificação de idioma derivado de mC4 e OSCAR22 (aprox. 47,5 GB).
• Wikipedia: Um dump da Wikipedia em hebraico (aprox. 1,6 GB).
  Os documentos foram embaralhados antes do treinamento para mitigar efeitos de ordenação provenientes de raspagens específicas de fontes.

Para a tokenização, os autores empregaram Byte-Pair Encoding (BPE) operando ao nível de byte, consistente com o RoBERTa. Em vez de usar um tokenizador otimizado para o inglês (ex: GPT-2), eles treinaram um vocabulário específico para o hebraico em 20 GB de texto embaralhado. Isso resultou em um inventário de subpalavras de 52k adaptado às propriedades ortográficas e morfológicas do hebraico.

Arquitetura do Modelo e Pré-treinamento

O artigo apresenta o HalleluBERT, uma família de codificadores no estilo RoBERTa com duas variantes:

• HalleluBERTbase: Comparável em tamanho aos modelos de BERT existentes em hebraico (~126M de parâmetros).
• HalleluBERTlarge: Uma variante escalonada (~357M de parâmetros).

O treinamento foi conduzido utilizando o framework fairseq em um pod de TPUv4 de 128 núcleos. Os principais hiperparâmetros de treinamento incluíram:

• Precisão: Precisão total (não foi utilizada precisão mista devido a limitações do framework).
• Cronograma (Schedule): 100.000 passos de atualização com um warmup de 10k passos e decaimento de taxa de aprendizado polinomial.
• Tamanho de Lote (Batch Size): Tamanho de lote global de 8k.
• Taxas de Aprendizado: 0.0004 para o modelo base e 0.00015 para o modelo large.
• Duração: O modelo base treinou em ~30,2 horas; o modelo large exigiu ~6,0 dias.

Protocolo de Avaliação

Os modelos foram avaliados em benchmarks nativos de hebraico para Reconhecimento de Entidades Nomeadas (NER) e Classificação de Sentimento:

• NER: Avaliado no dataset BMC e na variante baseada em tokens do NEMO2.
• Sentimento: Avaliado no SMCD (Social Media Comments Deduplicated), uma versão limpa do dataset OmiLab contendo ~8.465 amostras únicas.

O pipeline de avaliação utilizou uma busca em grade (grid search) sobre tamanhos de lote {16, 32} e taxas de aprendizado {5e-6 a 5e-5} em GPUs NVIDIA RTX 3090. Os modelos foram ajustados (fine-tuned) por até 30 épocas com parada antecipada (early stopping). O desempenho foi medido usando F1 micro-média para NER e F1 macro-média para sentimento.

Principais Contribuições

1. Lançamento do HalleluBERT: Os autores lançaram as variantes base e large de um codificador no estilo RoBERTa para o hebraico, treinado do zero em um corpus de grande escala e limpo.
2. Tokenizador Customizado: Desenvolvimento e lançamento de um tokenizador BPE de nível de byte específico para o hebraico (vocabulário de 52k).
3. Benchmarking Abrangente: Uma comparação rigorosa contra modelos monolíngues existentes (HeBERT, AlephBERT, HeRo) e baselines multilíngues (mBERT, XLM-RoBERTa).
4. Ciência Aberta: Todos os pesos dos modelos e o tokenizador são lançados sob a licença MIT para apoiar a pesquisa reproduzível.

Resultados

O HalleluBERT alcançou o estado da arte em desempenho através das tarefas avaliadas:

• Reconhecimento de Entidades Nomeadas (NER):
  • O HalleluBERTbase alcançou as pontuações micro-F1 mais altas tanto no BMC (93,33) quanto no NEMO (87,06), superando todos os outros modelos base.
  • O HalleluBERTlarge manteve uma vantagem consistente no NEMO (88,70) e na média de NER, confirmando que o escalonamento beneficia o desempenho de NER.
• Classificação de Sentimento:
  • Embora o AlephBERT tenha liderado entre os modelos base (83,66), o HalleluBERTlarge alcançou a maior pontuação de classificação geral (84,91), superando o XLM-RoBERTalarge em mais de um ponto.
• Desempenho Geral:
  • O HalleluBERTlarge obteve a maior pontuação média não ponderada entre todos os três benchmarks (BMC, NEMO, SMCD) com 88,95, ocupando o primeiro lugar entre todos os modelos avaliados.
  • O HalleluBERTbase ficou em segundo lugar geral (87,83), superando todos os outros baselines na média combinada.

Notavelmente, os resultados indicam que o pré-treinamento monolíngue em corpora grandes e de alta qualidade produz um desempenho superior em comparação com codificadores multilíngues para tarefas específicas de hebraico.

Significância e Alegações

O artigo postula que o HalleluBERT demonstra o valor do pré-treinamento monolíngue de grande lote para o hebraico. Os autores alegam que ganhos substanciais de desempenho são alcançáveis mesmo com escolhas de hiperparâmetros conservadoras (ex: treinamento em precisão total, taxas de aprendizado padrão) quando a escala de dados e computação é suficiente.

O trabalho destaca que:

1. Superioridade Monolíngue: Para o hebraico, um modelo treinado exclusivamente em texto de alta qualidade em hebraico supera seus equivalentes multilíngues, reforçando a necessidade de recursos específicos do idioma.
2. Escalabilidade: O escalonamento do variante base para o large fornece melhorias consistentes, embora por vezes marginais, particularmente em tarefas de NER.
3. Reproduzibilidade: Ao lançar o modelo e o tokenizador, os autores visam estabelecer um novo padrão de baseline para o PLN em hebraico, abordando lacunas anteriores de transparência de treinamento e disponibilidade de modelos.

Os autores reconhecem modestamente as limitações, incluindo a falta de intervalos de confiança (devido a sementes aleatórias fixas), a ausência de treinamento de precisão mista (que limitou a eficiência computacional) e a exclusão de variações dialetais ou de domínio (ex: hebraico bíblico, textos jurídicos) nos dados de pré-treinamento. Eles sugerem que trabalhos futuros poderiam explorar Whole Word Masking (WWM), ablações de vocabulário e suítes de avaliação mais amplas.