YoNER: A New Yorùbá Multi-domain Named Entity Recognition Dataset

1. Problema e Motivação

O Reconhecimento de Entidades Nomeadas (NER) é uma tarefa fundamental em Processamento de Linguagem Natural (PLN), essencial para extração de informações, perguntas e respostas e reconhecimento de fala. No entanto, para a língua Yorùbá (falada por mais de 50 milhões de pessoas na Nigéria e países vizinhos), o avanço da pesquisa tem sido limitado por recursos escassos e restritos a domínios específicos.

• Limitações Atuais: Os conjuntos de dados existentes, como MasakhaNER (focado em notícias) e WikiAnn (gerado automaticamente a partir da Wikipedia), cobrem apenas domínios formais ou têm anotações automáticas de baixa qualidade e tamanho reduzido.
• Falta de Diversidade: Não há dados anotados manualmente para domínios informais ou culturais ricos, como blogs, filmes, rádios e textos bíblicos, o que impede a criação de modelos robustos capazes de entender nomes africanos e conceitos culturais em contextos variados.
• Desafio de Transferência: Modelos treinados em um domínio (ex: notícias) geralmente falham ao serem aplicados em outros (ex: blogs ou filmes) devido a mudanças no vocabulário e na distribuição de entidades.

2. Metodologia

2.1. Criação do Dataset YoNER

Os autores desenvolveram o YoNER, o primeiro conjunto de dados multi-domínio de NER em Yorùbá.

• Domínios Cobertos: O dataset inclui cinco domínios distintos: Bíblia, Blogs, Filmes, Transmissões de Rádio e Wikipedia.
• Estatísticas: O corpus contém aproximadamente 5.148 sentenças e 100.795 tokens.
• Coleta de Dados:
  • Bíblia: Versículos selecionados de livros com alta densidade de entidades (nomes próprios).
  • Blogs: Posts e comentários de fóruns (ex: Nairaland) e redes sociais, contendo gírias e código-misturado.
  • Filmes: Transcrições de diálogos de filmes de Yorùbá (ex: Oleku, Apoti Eri).
  • Rádio: Transcrições de estações de rádio (ex: Fresh FM), misturando linguagem formal e coloquial.
  • Wikipedia: Artigos enciclopédicos em estilo formal.
• Anotação: Três falantes nativos de Yorùbá anotaram manualmente os dados seguindo as diretrizes CoNLL (esquema IOB2). As entidades anotadas foram: Pessoa (PER), Organização (ORG) e Localização (LOC).
• Qualidade: A concordância inter-anotador (Fleiss' Kappa) foi superior a 0,70 no nível de token, garantindo alta qualidade.

2.2. Desenvolvimento do Modelo OyoBERT

Para responder à questão sobre a eficácia de modelos monolíngues versus multilíngues, os autores pré-treinaram um novo modelo BERT específico para Yorùbá, chamado OyoBERT.

• Dados de Pré-treino: Utilizou-se o subconjunto Yorùbá do mC4, Wikipedia, notícias (BBC Yorùbá, etc.) e dados sintéticos gerados por tradução automática (NLLB-200) para aumentar o corpus para mais de 1,93 GB.
• Arquitetura: Foram criadas versões base e large. O modelo utiliza a técnica de token dropping para eficiência.

2.3. Configuração Experimental

Os autores realizaram três tipos principais de experimentos:

1. Transferência Cross-Domain: Treino em dados de notícias (MasakhaNER 2.0) e teste nos domínios do YoNER.
2. Impacto de Dados Poucos (Few-Shot): Avaliação de como pequenos conjuntos de dados in-domain (200 sentenças) melhoram a transferência.
3. Comparação Monolíngue vs. Multilíngue: Comparação entre o modelo monolíngue OyoBERT e modelos multilíngues (como AfroXLMR, XLM-R, mBERT) em cenários de baixa recursos. Também foi feita uma comparação cruzada com datasets em inglês (CoNLL, OntoNotes).

3. Principais Contribuições

1. YoNER Dataset: A disponibilização pública do primeiro dataset multi-domínio anotado manualmente para NER em Yorùbá, cobrindo 5 domínios diversos.
2. OyoBERT: Introdução de um modelo de linguagem pré-treinado específico para Yorùbá, superando modelos multilíngues em tarefas in-domain.
3. Análise de Transferência: Um estudo abrangente sobre como modelos de NER se comportam ao transferir conhecimento entre domínios (notícias para blogs/filmes) e entre línguas (inglês para Yorùbá).

4. Resultados Chave

• Desempenho de Modelos Africanos vs. Gerais: Modelos centrados na África (como AfroXLMR) superaram consistentemente os modelos multilíngues gerais (como mBERT e XLM-R) para Yorùbá.
• Queda de Desempenho Cross-Domain: A transferência de dados de notícias para outros domínios resultou em uma queda substancial de desempenho, especialmente para Blogs e Filmes (onde o F1 caiu para ~50-59%), devido à escassez de entidades e linguagem informal.
• Domínios Relacionados: Domínios formais e relacionados, como Notícias e Wikipedia, transferiram-se entre si com maior eficácia.
• Eficácia de Dados In-Domain: Adicionar pequenas quantidades de dados in-domain (200 sentenças) melhorou significativamente a adaptação, mas a combinação de dados de notícias com dados in-domain de todos os domínios produziu os melhores resultados.
• Monolíngue vs. Multilíngue:
  • Em cenários de baixa quantidade de dados (few-shot), o modelo monolíngue OyoBERT superou os modelos multilíngues em domínios culturalmente específicos (Filmes, Rádio).
  • No entanto, em cenários de transferência cross-domain com dados abundantes, modelos multilíngues (como AfroXLMR-large-76L) tendem a performar melhor devido à exposição a mais dados variados durante o pré-treino.
• Transferência Cross-Lingual: A transferência dentro da mesma língua (Yorùbá para Yorùbá) foi mais eficaz do que a transferência de inglês para Yorùbá, mesmo quando o dataset de origem em inglês era maior.

5. Significado e Conclusão

O trabalho destaca a importância de criar recursos linguísticos diversificados para línguas de baixo recurso. O YoNER e o OyoBERT fornecem uma base sólida para pesquisas futuras em PLN africano.

• Implicações Práticas: Os resultados indicam que, para aplicações em domínios específicos (como análise de sentimentos em filmes ou transcrição de rádio), é crucial ter dados de treino específicos ou modelos monolíngues bem ajustados, pois modelos genéricos falham nesses contextos.
• Futuro: Os autores apontam que, embora o OyoBERT seja promissor, a falta de análise profunda das representações pré-treinadas e a limitação em tipos de entidades (como a ausência de datas) são áreas para trabalho futuro. O dataset e os modelos foram liberados publicamente para fomentar a comunidade de pesquisa em Yorùbá.

Em resumo, o artigo demonstra que, embora modelos multilíngues sejam úteis, a criação de modelos e dados específicos para a cultura e os domínios locais é essencial para atingir o estado da arte em NER para línguas africanas.