Part-of-Speech Tagger for Bodo Language using Deep Learning approach

Este artigo apresenta o desenvolvimento do BodoBERT, o primeiro modelo de linguagem para a língua Bodo, e um modelo de ensemble baseado em aprendizado profundo para o reconhecimento de classes gramaticais (POS) que alcança um F1-score de 0,8041, preenchendo uma lacuna significativa no processamento de linguagem natural para línguas de recursos limitados.

O essencial

Imagine que a linguagem é como uma grande cidade cheia de pessoas (as palavras) que precisam se comunicar. Para que um computador entenda essa cidade, ele precisa de um "guia" que saiba exatamente qual é a função de cada pessoa: quem é o rei (substantivo), quem é o mensageiro (verbo), quem é o descritor (adjetivo), e assim por diante. Esse guia é chamado de Tagger de Partes da Fala (ou Part-of-Speech Tagger).

Até agora, essa cidade era muito bem estudada em lugares grandes e ricos, como o inglês ou o chinês. Mas havia uma cidade menor, vibrante e cheia de cultura chamada Bodo (falada no nordeste da Índia), que estava quase esquecida pelos cientistas da computação. Ninguém tinha feito um mapa detalhado para ela.

Este artigo é a história de como uma equipe de pesquisadores decidiu construir esse mapa do zero. Vamos ver como eles fizeram isso, usando algumas analogias simples:

1. O Problema: A Biblioteca Vazia

Para ensinar um computador a entender a língua Bodo, você precisa de dois ingredientes principais:

• Um dicionário inteligente (Modelo de Linguagem): Alguém que leu milhões de livros em Bodo e sabe como as palavras se encaixam.
• Um manual de regras (Dados Anotados): Uma lista de frases onde um humano já marcou qual palavra é o que.

O problema? Não existia nenhum "dicionário inteligente" para Bodo. Era como tentar ensinar alguém a dirigir um carro sem nunca ter visto um motor.

2. A Solução: Criando o "BodoBERT" (O Aprendiz Incansável)

Os pesquisadores decidiram criar seu próprio "cérebro" para a língua Bodo. Eles chamaram isso de BodoBERT.

• A Analogia: Imagine que você pega um bebê superinteligente (o modelo BERT) e o coloca em uma sala cheia de jornais, livros, histórias e notícias em Bodo (1,6 milhão de frases!).
• O Processo: O bebê lê tudo, aprende o som das palavras, como elas se conectam e o que significam em diferentes contextos. Depois de uma semana de "leitura intensiva" (treinamento em supercomputadores), esse bebê se torna o BodoBERT. Agora, ele é o primeiro especialista do mundo em entender a língua Bodo.

3. O Desafio: Ensinar o Guia a Classificar as Pessoas

Agora que eles tinham o "cérebro" (BodoBERT), precisavam criar o "guia" que classifica as palavras. Eles testaram três métodos diferentes, como se estivessem testando três tipos de treinadores:

1. O Ajuste Fino (Fine-tuning): Pegar o cérebro já treinado e apenas dar a ele um pouco mais de instrução específica.
2. O Detetive Clássico (CRF): Usar um sistema de regras lógicas para deduzir a função da palavra.
3. O Time de Elite (BiLSTM-CRF): Uma combinação poderosa. É como ter o cérebro do BodoBERT (que entende o contexto) trabalhando em equipe com um sistema de regras (CRF) e uma memória de longo prazo (BiLSTM) que lembra do que foi dito antes e depois na frase.

O Resultado: O "Time de Elite" (BiLSTM-CRF) venceu. Ele conseguiu classificar as palavras com uma precisão de cerca de 80%.

4. O Truque Mágico: A "Torre de Blocos" (Método Empilhado)

Os pesquisadores não pararam por aí. Eles perceberam que, às vezes, um único tipo de conhecimento não é suficiente.

• A Analogia: Imagine que o BodoBERT é um especialista em gramática. Mas e se você também tivesse um especialista em "pedacinhos de palavras" (chamado BytePairEmbeddings)?
• A Estratégia: Eles criaram uma Torre de Blocos. Eles pegaram o conhecimento do BodoBERT e "empilharam" sobre ele o conhecimento de outros modelos. É como se o guia principal tivesse óculos de realidade aumentada que mostram detalhes extras que ele sozinho não veria.
• O Resultado: Essa combinação (BodoBERT + Blocos de Palavras) melhorou a pontuação para 80,41%. Foi um recorde histórico para a língua Bodo.

5. O Teste de Fogo: Onde eles erraram?

Nenhum sistema é perfeito. O artigo mostra que o computador às vezes confunde as coisas, assim como um humano iniciante.

• O Problema da Capitalização: Em inglês, nomes próprios (como "Bodo") começam com letra maiúscula. Em Bodo, não há essa regra visual. O computador tinha dificuldade em saber se "Bodo" era um nome de pessoa (Substantivo Próprio) ou apenas uma palavra comum (Substantivo), porque visualmente elas eram iguais.
• A Confusão de Funções: Às vezes, uma palavra que é um substantivo age como um adjetivo (ex: "Língua Bodo"). O computador às vezes se perde e marca como substantivo, quando deveria ser adjetivo.

Conclusão: Por que isso importa?

Antes deste trabalho, a língua Bodo era como uma ilha sem pontes para o mundo digital. Não havia ferramentas de tradução automática, reconhecimento de voz ou corretores ortográficos inteligentes para ela.

Este artigo construiu a primeira ponte. Eles criaram o primeiro "cérebro" (BodoBERT) e o primeiro "guia" (Tagger) para a língua. Mesmo que a precisão não seja de 100% (ainda há espaço para melhorar), eles estabeleceram a base fundamental. Agora, outros pesquisadores podem usar esse trabalho para construir coisas ainda mais incríveis, como tradutores automáticos ou assistentes de voz para os 1,5 milhão de falantes de Bodo.

Resumo em uma frase: Eles ensinaram um computador a ler e entender a língua Bodo do zero, criando o primeiro mapa digital para essa cultura, usando uma combinação inteligente de "cérebro" e "regras" que funciona melhor do que qualquer tentativa anterior.

Resumo técnico

Resumo Técnico: Taggeador de Partes do Discurso (POS) para a Língua Bodo usando Abordagem de Deep Learning

1. Problema e Contexto

A língua Bodo, falada por aproximadamente 1,5 milhão de pessoas no nordeste da Índia (principalmente em Assam), é uma língua de recursos limitados (low-resource) com rica morfologia e que utiliza o script Devanagari. Apesar de sua relevância demográfica e cultural, o estado da Tecnologia de Processamento de Linguagem Natural (PLN) para o Bodo está em estágios iniciais.

• Lacuna Principal: Não existiam modelos de linguagem pré-treinados (LMs) específicos para o Bodo, nem ferramentas de PLN downstream desenvolvidas com métodos de Deep Learning.
• Desafio: A falta de corpora anotados e a ausência de modelos base (como BERT) impediam o desenvolvimento de tarefas fundamentais como o Taggeamento de Partes do Discurso (POS), que é crucial para tarefas subsequentes como Reconhecimento de Entidades Nomeadas (NER), Tradução Automática e Análise Sintática.

2. Metodologia

Os autores propuseram uma abordagem em duas etapas principais: o desenvolvimento de um modelo de linguagem e a criação de um taggeador de POS.

A. Desenvolvimento do BodoBERT

• Corpus: Foi curado um corpus monolíngue de 1,6 milhão de tokens e 191 mil sentenças, coletado de diversas fontes (LDC-IL e trabalhos anteriores), cobrindo domínios como cultura, comércio, mídia, ciência e ciências sociais.
• Arquitetura: Baseada no modelo BERT (Vanilla BERT), utilizando o WordPiece tokenizer com 50.000 vocabulários.
• Treinamento: O modelo foi pré-treinado com 103 milhões de parâmetros, 6 camadas de transformers, tamanho de camada oculta de 768 e 6 cabeças de atenção. O treinamento ocorreu em GPUs Nvidia Tesla P100 por 300.000 passos (cerca de 7 dias), utilizando a tarefa de Modelo de Linguagem Mascaramento (MLM) e Previsão de Próxima Sentença (NSP).

B. Taggeamento de POS (POS Tagger)
O objetivo foi identificar a melhor arquitetura para sequenciamento de rótulos. Foram realizados três tipos de experimentos:

1. Ajuste Fino (Fine-tuning): Ajuste direto do BodoBERT para a tarefa de POS.
2. CRF (Conditional Random Field): Uso do BodoBERT para gerar embeddings, seguidos por uma camada CRF.
3. BiLSTM-CRF: Combinação de Bidirectional Long Short-Term Memory (BiLSTM) com CRF, utilizando embeddings do BodoBERT.

C. Estratégias de Embedding e Comparação
Para avaliar o desempenho, os autores compararam o BodoBERT com outros modelos de linguagem (LMs) pré-treinados (FastText, BytePair, Flair, MuRIL, XLM-R, IndicBERT). Como não havia LMs para Bodo, modelos treinados em Hindi foram usados como comparação devido ao uso compartilhado do script Devanagari.

• Método Individual: Uso de um único LM para gerar embeddings.
• Método Empilhado (Stacked): Combinação de embeddings do BodoBERT com outros LMs para criar vetores de palavras mais ricos.

D. Dados de Treinamento
Utilizou-se o Bodo Monolingual Text Corpus (ILCI-II), anotado manualmente por especialistas seguindo o conjunto de tags do Bureau of Indian Standards (BIS), contendo 34 tags em 11 categorias principais. O dataset foi dividido em 80% treino, 10% validação e 10% teste.

3. Principais Contribuições

1. BodoBERT: É o primeiro modelo de linguagem baseado em BERT desenvolvido especificamente para a língua Bodo.
2. Primeiro Taggeador de POS Neural para Bodo: Apresentação do primeiro modelo de Deep Learning para POS tagging nesta língua, estabelecendo uma linha de base (baseline).
3. Análise Comparativa: Avaliação extensiva de diferentes arquiteturas (CRF, Fine-tuning, BiLSTM-CRF) e estratégias de embedding (Individual vs. Stacked).
4. Recursos Abertos: Disponibilização pública do modelo BodoBERT e do taggeador de POS para a comunidade de pesquisa.

4. Resultados

• Melhor Arquitetura: O modelo baseado em BiLSTM-CRF superou o ajuste fino direto e o CRF isolado.
• Desempenho do Modelo Individual: O BodoBERT sozinho alcançou um F1-score de 0,7949.
• Desempenho do Modelo Empilhado (Stacked): A combinação de BodoBERT + BytePairEmbeddings alcançou o melhor resultado geral, com um F1-score de 0,8041.
• Comparação com Assamese: Em um experimento comparativo com a língua Assamese (falada na mesma região), o modelo para Bodo superou significativamente o desempenho do Assamese (0,8041 vs. 0,7293), possivelmente devido à diferença no número de tags (34 para Bodo vs. 41 para Assamese) e na qualidade dos dados.
• Aumento de Dados: Após a adição de 10.000 sentenças anotadas via Data Augmentation e correção manual, o desempenho do modelo melhorou para um F1-score de 0,8494.

Análise de Erros:
O modelo apresentou dificuldades em distinguir entre substantivos comuns (N_NN), substantivos próprios (N_NNP) e substantivos locativos (N_NST), devido à falta de convenções ortográficas claras (como capitalização em inglês) para diferenciar nomes próprios no Bodo. Além disso, houve confusão entre adjetivos e substantivos quando o contexto alterava a função da palavra.

5. Significância e Conclusão

Este trabalho preenche uma lacuna crítica no ecossistema de PLN para línguas do nordeste da Índia. Embora o desempenho (F1 ~0,80) seja inferior ao observado em línguas de recursos ricos (como inglês), o modelo estabelecido serve como uma linha de base de facto (de facto baseline) para futuras pesquisas.
A criação do BodoBERT e do taggeador de POS permite o desenvolvimento de ferramentas downstream mais complexas, como NER e Tradução Automática, para a língua Bodo, promovendo a inclusão digital e a preservação linguística de uma comunidade de 1,5 milhão de falantes. Os recursos desenvolvidos estão disponíveis publicamente para fomentar a comunidade de pesquisa.