Benchmarking BERT-based Models for Sentence-level Topic Classification in Nepali Language

Este estudo avalia o desempenho de dez modelos BERT multilíngues e específicos para línguas indianas na classificação de tópicos em nepaleses, demonstrando que o modelo MuRIL-large alcançou o melhor resultado com um F1-score de 90,60%, estabelecendo uma base sólida para futuras aplicações de PLN em nepaleses.

O essencial

Imagine que você tem uma biblioteca gigante cheia de livros escritos em nepalês, mas ninguém sabe como organizá-los. Alguns livros falam de agricultura, outros de saúde, educação, cultura ou notícias gerais. O desafio é criar um "bibliotecário inteligente" que possa ler uma frase e dizer imediatamente: "Ah, isso é sobre saúde!" ou "Isso é sobre cultura!".

Este artigo é como o relatório de uma corrida de testes para encontrar o melhor bibliotecário para essa tarefa. Os autores testaram dez "cérebros de computador" diferentes (chamados modelos BERT) para ver qual deles aprende melhor a língua nepalesa.

Aqui está a história simplificada, usando analogias do dia a dia:

1. O Problema: A Língua Esquecida

A maioria das tecnologias de inteligência artificial foi treinada com línguas "ricas" e populares, como inglês ou mandarim. O nepalês, embora tenha milhões de falantes, é considerado uma língua com "poucos recursos digitais". É como tentar ensinar um aluno usando apenas um livro de texto velho e rasgado, enquanto os outros alunos têm bibliotecas inteiras.

2. Os Competidores: Quem entrou na corrida?

Os pesquisadores trouxeram dez modelos diferentes para a pista, cada um com uma "história de vida" diferente:

• Os Poliglotas (Multilíngues): Modelos como o mBERT e o XLM-R são como estudantes que aprenderam 100 línguas ao mesmo tempo. Eles sabem um pouco de tudo, mas talvez não sejam especialistas em nada.
• Os Regionais (Índicos): Modelos como o MuRIL e o HindiBERT são como vizinhos que falam línguas muito parecidas com o nepalês (como o hindi). Eles compartilham a mesma "família linguística" e o mesmo alfabeto (Devanagari). É como se fossem primos distantes que se entendem muito bem.
• O Especialista Local (Nepalês): O NepBERTa é o "nativo". Ele só estudou textos em nepalês. É como um morador local que cresceu ouvindo e falando a língua o tempo todo.

3. A Prova de Fogo

Eles pegaram 25.000 frases nepalesas (divididas igualmente entre os 5 temas) e pediram para cada modelo classificar. Foi como dar uma pilha de cartas misturadas para cada bibliotecário e ver quem as separa mais rápido e com mais precisão.

4. Quem Ganhou? (Os Resultados)

Aqui está a surpresa e a lição principal:

• O Vencedor: O MuRIL-large (o "primo regional" grande) venceu a corrida! Ele conseguiu acertar 90,6% das classificações.
  • A Analogia: Pense nele como um vizinho que, embora não seja o dono da casa, conhece tão bem a família e a cultura que consegue adivinhar o que está acontecendo melhor do que qualquer um. O fato de ele ter sido treinado com muitas línguas indianas similares ajudou muito.
• O Vice-Campeão: O NepBERTa (o especialista local) ficou em segundo lugar, com 88,26%.
  • O Pulo do Gato: Embora tenha perdido por pouco, ele foi o mais eficiente. Ele precisou de menos tempo e menos energia (computação) para treinar. É como um atleta que correu quase tão rápido quanto o vencedor, mas gastou menos calorias.
• Os Outros: Os modelos que só falam inglês (RoBERTa) ou modelos multilíngues genéricos ficaram atrás. Eles tentaram usar o conhecimento do inglês para entender o nepalês, mas a "tradução mental" não foi tão precisa quanto a de quem já fala línguas da mesma família.

5. Onde Eles Tiveram Dificuldade?

Os modelos foram ótimos em classificar frases sobre "Agricultura" ou "Saúde", onde as palavras são muito específicas. Mas tiveram mais dificuldade com "Comunicação Geral".

• Por que? Porque "Comunicação Geral" é como uma caixa de ferramentas mista: pode ser sobre arte, literatura ou histórias. É mais difícil para o computador adivinhar o tema quando a frase é genérica, comparado a quando ela diz claramente "vacina" ou "trator".

6. Conclusão e O Futuro

O estudo nos ensina duas coisas importantes:

1. Conhecer a família ajuda: Para línguas como o nepalês, usar modelos treinados em línguas vizinhas (índicas) funciona melhor do que usar modelos genéricos de todo o mundo.
2. Especialistas locais são valiosos: Mesmo que o "primo regional" tenha vencido, o especialista local (NepBERTa) mostrou que, com bons dados, você pode ter um sistema muito bom e barato.

O Próximo Passo:
Os autores dizem que isso é apenas o começo. Agora que eles têm um "bibliotecário" que funciona bem em frases soltas, o próximo desafio é ensinar esses modelos a ler livros inteiros (documentos completos) para entender o contexto maior, não apenas frases isoladas.

Em resumo: Para ensinar uma máquina a entender o nepalês, não basta jogar um modelo inglês nela; é melhor usar um modelo que já "converse" com a família linguística da região ou um especialista local bem treinado.

Resumo técnico

Título: Benchmarking de Modelos Baseados em BERT para Classificação de Tópicos ao Nível de Frase na Língua Nepalesa

1. Problema e Motivação

A língua nepalesa, escrita em script Devanagari e classificada como uma língua de baixos recursos (low-resource), permanece subexplorada no campo do Processamento de Linguagem Natural (NLP). Apesar de sua importância cultural e linguística, o desenvolvimento de modelos robustos é dificultado pela escassez de corpora anotados em larga escala, recursos computacionais limitados e uma estrutura morfológica rica.
Embora modelos pré-treinados baseados em Transformers (como BERT) tenham avançado significativamente o NLP em línguas de alto recurso, existe uma lacuna na avaliação sistemática e comparativa de diferentes variantes de BERT (multilíngues, específicas para a região indiana, hindi e nepalesa) para tarefas de classificação de texto em nepales. A maioria dos trabalhos anteriores focou em poucos modelos ou não realizou comparações abrangentes entre abordagens multilíngues e monolíngues.

2. Metodologia

O estudo propõe um benchmark rigoroso para avaliar a eficácia de modelos BERT na classificação de tópicos ao nível de frase em nepales.

• Dataset: Foi utilizado um conjunto de dados balanceado contendo 25.006 frases em nepales, distribuídas uniformemente entre cinco domínios conceituais:
  1. Agricultura
  2. Saúde
  3. Educação e Tecnologia
  4. Cultura e Turismo
  5. Comunicação Geral (derivado de Artes, Literatura e Histórias).
     Os dados foram filtrados e deduplicados para remover ruído.
• Modelos Avaliados: Dez variantes de modelos BERT foram selecionados e fine-tuned (ajustados finamente):
  • Multilíngues: mBERT, XLM-R, mDeBERTa.
  • Índicos (Indic): MuRIL (base e large), DevBERT, IndicBERT.
  • Hindi: HindiBERT.
  • Nepales (Monolíngue): NepBERTa.
  • Inglês (Baseline): RoBERTa.
• Configuração Experimental:
  • Divisão dos dados: 20.005 frases para treino, 2.500 para validação e 2.501 para teste.
  • Hiperparâmetros: 10 épocas, taxa de aprendizado de 2e-5, batch size de 8, acumulação de gradiente de 2 e comprimento máximo de sequência de 256.
  • Hardware: CPU Intel Xeon Platinum e GPU NVIDIA GeForce RTX 4060 Ti.
• Métricas de Avaliação: Precisão ponderada, Recall ponderado, F1-score ponderado, Acurácia e Área sob a Curva Característica de Operador Receptor (AUROC).

3. Contribuições Principais

• Estabelecimento de uma Linha de Base Robusta: O estudo fornece a primeira comparação abrangente de modelos BERT (multilíngues, regionais e monolíngues) especificamente para classificação de tópicos em nepales.
• Análise Comparativa Detalhada: Vai além de trabalhos anteriores ao comparar mais de uma dúzia de classes e modelos, incluindo variantes específicas para a região indiana e modelos treinados exclusivamente em nepales.
• Insights sobre Transferência de Aprendizado: Demonstra como a pré-treinagem em corpora linguisticamente relacionados (línguas índicas) versus corpora monolíngues impacta o desempenho em línguas de baixos recursos.
• Análise por Categoria: Fornece uma avaliação granular do desempenho dos modelos em cada um dos cinco domínios temáticos, identificando onde os modelos falham (ex: Comunicação Geral).

4. Resultados Chave

Os resultados, avaliados principalmente pelo F1-score ponderado, revelaram as seguintes tendências:

• Desempenho Superior dos Modelos Índicos: Os modelos treinados especificamente para línguas índicas superaram consistentemente os modelos multilíngues gerais e o modelo monolíngue em inglês.
  • MuRIL-large obteve o melhor desempenho geral, alcançando um F1-score de 90,60%, seguido por DevBERT (90,06%) e HindiBERT (89,63%).
  • O IndicBERT teve o desempenho mais baixo entre os modelos testados (80,66%).
• Competitividade do Modelo Monolíngue (NepBERTa): O NepBERTa, treinado exclusivamente em texto nepales, alcançou um F1-score de 88,26%. Embora ligeiramente inferior ao MuRIL-large, ele demonstrou ser altamente eficiente computacionalmente, exigindo apenas 34,78 minutos de tempo de treinamento e 110M de parâmetros, comparado aos 65,75 minutos e 304M de parâmetros do MuRIL-large.
• Modelos Multilíngues: O XLM-R performou bem (89,67%), superando o mBERT (87,78%) e o mDeBERTa (86,92%). O modelo em inglês (RoBERTa) teve o pior desempenho (83,83%), confirmando a necessidade de adaptação para línguas específicas.
• Desafios por Categoria: Todos os modelos classificaram com maior precisão as categorias de Agricultura, Saúde, Educação/Tecnologia e Cultura. A categoria "Comunicação Geral" apresentou os menores scores de F1 (ex: 84,37% para MuRIL-large), provavelmente devido à sua natureza derivada de múltiplos subgêneros (literatura, artes), o que introduz maior variabilidade linguística.

5. Significado e Conclusão

O estudo conclui que, para línguas de baixos recursos como o nepales, modelos pré-treinados em dados regionais (Índicos) ou monolíngues específicos superam os modelos multilíngues gerais. A superioridade do MuRIL-large sugere que a exposição a línguas morfologicamente e scriptualmente relacionadas (como hindi e outras línguas índicas) enriquece a representação do nepales. Simultaneamente, a eficiência do NepBERTa valida a estratégia de pré-treinamento monolíngue quando há corpus suficiente disponível.

Limitações e Trabalhos Futuros:
O estudo reconhece limitações, como a restrição à tarefa de classificação (não testado em NER, QA ou análise de sentimentos) e a necessidade de análise de erros mais profunda. O trabalho futuro visa expandir o dataset, realizar análises de erro detalhadas, explorar técnicas de ensemble learning e estender a classificação de frases para classificação de documentos completos, permitindo uma compreensão contextual mais ampla.

Este trabalho serve como um ponto de partida fundamental para pesquisas futuras em NLP em nepales, estabelecendo padrões de desempenho para aplicações de classificação de documentos e além.