Resumo Técnico: DunbaaBERT: Do Sacrifício à Semântica

Declaração do Problema

Apesar do avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) na aprendizagem zero-shot e few-shot, o urdu permanece uma língua significativamente sub-representada de recursos no ecossistema de PLN. Embora falada por mais de 100 milhões de pessoas, o urdu enfrenta desafios devido à escassez de dados de treinamento de alta qualidade, configurações de avaliação fragmentadas e à falta de modelos codificadores apenas, de código aberto e avaliados sistematicamente. Recursos existentes frequentemente variam em script (Urdu Padrão vs. Urdu Romanizado), domínio e esquemas de anotação, tornando comparações justas difíceis. Além disso, modelos específicos para urdu disponíveis em plataformas como o Hugging Face frequentemente sofrem de documentação pobre, configurações de treinamento pouco claras ou possível sub-treinamento, enquanto modelos multilíngues massivos (por exemplo, mBERT, XLM-R) distribuem sua capacidade entre muitas línguas, potencialmente diluindo o desempenho para estruturas linguísticas específicas, como a morfologia rica do urdu.

Metodologia

Construção do Corpus

Os autores construíram um corpus de pré-treinamento em urdu dedicado de 17 GB, integrando múltiplas fontes:

• Dados Web Principais: Texto derivado da web em larga escala de mC4 e CulturaX (subconjuntos do OSCAR), fornecendo diversidade ampla de tópicos e estilos.
• Wikipedia: Artigos da Wikipedia em urdu, utilizados tanto como um corpus de referência limpo quanto como fonte de texto de alta qualidade.
• Dados Auxiliares: Texto em urdu filtrado extraído de dados paralelos derivados do NLLB (OPUS).
• Estratégia de Filtragem: Para lidar com ruídos nos dados auxiliares do NLLB sem anotação manual, os autores empregaram um pipeline de filtragem não supervisionado. Isso envolveu o treinamento de um modelo fastText skip-gram em linhas limpas da Wikipedia em urdu para criar um centróide de referência. Linhas candidatas foram pontuadas com base na similaridade de cosseno a esse centróide menos um termo de penalidade heurístico ($P(x)$) que accounta para ruídos de nível superficial (por exemplo, comprimento curto, alta proporção de caracteres latinos, padrões de boilerplate). Esse processo reteve aproximadamente 92,6% dos dados auxiliares, removendo outliers claros.
• Deduplicação: O corpus final passou por deduplicação exata ao nível de linha, reduzindo o tamanho de aproximadamente 22,3 GB para 17 GB.

Arquitetura do Modelo e Treinamento

O estudo introduz o DunbaaBERT, uma família de modelos baseados em RoBERTa-base treinados do zero.

• Arquitetura: Configuração padrão RoBERTa-base com mascaramento dinâmico e Whole Word Masking (WWM).
• Ablação de Vocabulário: Três variantes foram treinadas com tamanhos distintos de vocabulário Byte-BPE: 32k, 52k e 96k tokens.
• Configuração de Treinamento: Os modelos foram treinados por 100 mil etapas de atualização com um comprimento de sequência de 512 tokens. O treinamento utilizou precisão mista (FP16) em GPUs NVIDIA H100. Todos os hiperparâmetros (aquecimento da taxa de aprendizado, decaimento, tamanho do lote) foram mantidos idênticos entre as variantes para isolar os efeitos do tamanho do vocabulário.

Framework de Avaliação

Os modelos foram avaliados em benchmarks intrínsecos e downstream:

• Avaliação Intrínseca: URBLIMP, um benchmark de 5.696 pares mínimos sondando 19 fenômenos linguísticos de granularidade fina (por exemplo, concordância, ordem das palavras, estrutura de argumentos).
• Tarefas Downstream:
  • Classificação de Notícias (COUNT19): Classificação multiclasse de artigos de notícias em sete domínios.
  • Detecção de Linguagem Ofensiva (USADC): Classificação binária de texto abusivo versus normal no script nativo do urdu.
  • Análise de Sentimento: Avaliada em dois conjuntos de dados: PSL–Kabaddi (sentimento no Twitter relacionado a esportes) e IMDB Urdu (resenhas de filmes ao nível do documento).
• Métricas: Acurácia, Macro-F1 e uma nova métrica de Eficiência Normalizada (Norm. Eff.), definida como $(Macro\text{-}F1/100) \times (SPS / \max(SPS))$, que equilibra desempenho preditivo com vazão de inferência.

Principais Contribuições

1. Modelos DunbaaBERT: O lançamento de três modelos codificadores monolíngues em urdu de última geração (vocabulários de 32k, 52k e 96k) treinados do zero em um corpus curado de 17 GB, lançados sob a licença MIT.
2. Análise Sistemática de Vocabulário: Uma investigação abrangente sobre como o tamanho do vocabulário afeta o PLN em urdu, desafiando a suposição de que vocabulários maiores sempre produzem melhor desempenho downstream.
3. Benchmarks de Eficiência: A introdução de métricas de eficiência normalizada para avaliar o trade-off entre desempenho do modelo e custo computacional, demonstrando que modelos menores e especializados podem superar bases multilíngues maiores em custo-benefício.
4. Corpus Curado: Uma metodologia detalhada para construir um corpus em urdu de alta qualidade e deduplicado usando técnicas de filtragem não supervisionada, abordando a escassez de dados de treinamento limpos.

Resultados

Aceitabilidade Linguística (URBLIMP)

• As variantes do DunbaaBERT superaram significativamente as bases multilíngues (mBERT, XLM-R, mmBERT).
• A variante com vocabulário de 52k alcançou a pontuação geral mais alta (97,0), seguida por 32k (95,1) e 96k (94,6).
• Notavelmente, o modelo de 96k, apesar de alcançar a menor perplexidade de pré-treinamento, não traduziu isso em competência linguística downstream superior. O modelo de 52k mostrou o desempenho mais equilibrado em categorias gramaticais complexas.

Tarefas Downstream

• Desempenho: As variantes do DunbaaBERT alcançaram resultados competitivos ou superiores em comparação com bases multilíngues fortes. Por exemplo, na tarefa de detecção de linguagem ofensiva USADC, o DunbaaBERT32k alcançou um Macro-F1 de 94,08, superando modelos multilíngues e resultados previamente relatados baseados em GPT-4.
• Eficiência: A variante de 32k forneceu consistentemente a Eficiência Normalizada mais forte na maioria dos benchmarks (por exemplo, 0,944 no COUNT19, 0,897 no IMDB Urdu).
• Impacto do Vocabulário: Vocabulários maiores (96k) não melhoraram consistentemente a eficácia downstream. Em vários casos, o modelo de 32k ofereceu o melhor trade-off entre acurácia e velocidade de inferência.

Eficiência vs. Custo de Busca

• A análise dos custos de busca de hiperparâmetros revelou que os modelos DunbaaBERT, particularmente as variantes de 32k e 52k, ocupam regiões favoráveis no espaço de desempenho-eficiência-custo. Eles requerem menos tempo total de busca para encontrar configurações ótimas em comparação com modelos multilíngues maiores como XLM-Rlarge ou HPLT-BERTur.

Significado e Alegações

O artigo afirma que modelos codificadores específicos para urdu, cuidadosamente curados, podem permanecer altamente competitivos para aplicações práticas de PLN, mesmo com escalas de modelo e treinamento comparativamente compactas. Os autores argumentam que a escalabilidade do vocabulário sozinha não é suficiente para garantir eficácia downstream aprimorada; em vez disso, um tamanho de vocabulário equilibrado (entre 32k e 52k) combinado com curadoria de corpus de alta qualidade oferece o trade-off ideal para o urdu.

O estudo destaca que, para línguas morfologicamente ricas como o urdu, o "sacrifício" de usar um vocabulário menor e especializado frequentemente produz melhor generalização semântica e sintática do que simplesmente aumentar a contagem de tokens. Os autores posicionam o DunbaaBERT como uma alternativa robusta e eficiente aos modelos multilíngues massivos, particularmente em cenários de implantação com recursos limitados. Eles reconhecem limitações relacionadas ao foco em benchmarks de classificação e à falta de variação dialetal no corpus, mas enfatizam que seu trabalho fornece uma base reprodutível para futuras pesquisas em PLN em urdu.