Malaysian English News Decoded: A Linguistic Resource for Named Entity and Relation Extraction

Resumo Técnico: Decodificando o Inglês Malaio (Malaysian English)

Definição do Problema
As tarefas de Processamento de Linguagem Natural (PLN), especificamente o Reconhecimento de Entidades Nomeadas (NER) e a Extração de Relações (RE), enfrentam desafios significativos quando aplicadas ao inglês malaio (ME). O ME é uma variante de língua crioula que incorpora adaptações morfossintáticas e semânticas do malaio, chinês e tâmil, juntamente com o inglês padrão. Os modelos e conjuntos de dados de estado da arte existentes são predominantemente treinados em inglês padrão (americano ou britânico), tornando-os inadequados para o ME. Os autores demonstram que as ferramentas de NER padrão (spaCy, Flair, Stanza e Malaya), quando aplicadas a artigos de notícias em ME, falham em detectar com precisão entidades que exibem variações morfossintáticas locais, alcançando F1-Scores de micro abaixo de 0,6. Além disso, não existia nenhum conjunto de dados anotado especificamente adaptado ao contexto do inglês malaio antes deste trabalho, o que prejudica o desenvolvimento de recursos robustos de PLN para esta língua de baixos recursos.

Metodologia
Para abordar essas lacunas, os autores construíram o conjunto de dados de Notícias em Inglês Malaio (MEN) e conduziram um experimento de ajuste fino (fine-tuning) utilizando o framework spaCy NER.

• Aquisição de Dados e Construção do Corpus: Os autores extraíram (scraped) 14.320 artigos de notícias de importantes portais de inglês malaio (New Straits Times, Malay Mail e Bernama English) abrangendo as categorias Nação, Negócios e Esportes. Deste corpus, 200 artigos foram selecionados para anotação manual, compreendendo 120 de Nação, 60 de Negócios e 20 de Esportes.
• Processo de Anotação: Quatro anotadores proficientes, treinados tanto em inglês malaio quanto em Bahasa Malaysia, realizaram a anotação ao longo de um período de oito semanas. O processo envolveu:
  • Anotação de Entidades: Os rótulos foram adaptados do OntoNotes 5.0, mas expandidos para incluir duas categorias específicas de ME: TITLE (ex: Datuk, Tan Sri) e ROLE (ex: Menteri Besar). Um total de 12 rótulos de entidade foi utilizado.
  • Anotação de Relações: Os rótulos de relação foram adaptados do DocRED e ACE-2005, com a introdução de um rótulo específico "NO_RELATION" para instâncias que careciam de uma relação adequada.
  • Controle de Qualidade: O Acordo entre Anotadores (IAA) foi calculado usando F1-Scores (em vez de Cohen's Kappa, devido à falta de casos negativos). As divergências foram resolvidas por um especialista no assunto atuando como adjudicador.
• Ajuste Fino do Modelo (Fine-Tuning): Os autores realizaram o ajuste fino do pipeline spaCy NER usando o conjunto de dados MEN. Eles avaliaram várias configurações: um modelo spaCy em branco treinado do zero e modelos pré-treinados (en_core_web_sm, en_core_web_lg, en_core_web_trf) ajustados com os dados do MEN. O conjunto de dados foi dividido em conjuntos de treinamento (75%), validação (15%) e teste (10%).

Principais Contribuições

1. O Conjunto de Dados MEN: A principal contribuição é o lançamento de um conjunto de dados anotado manualmente contendo 200 artigos de notícias, 6.061 menções de entidades e 3.268 instâncias de relação. Aproximadamente 60% das menções de entidades (especificamente PERSON, ORGANIZATION, ROLE, TITLE e FACILITY) exibem adaptações morfossintáticas únicas do contexto malaio.
2. Diretrizes de Anotação: O artigo fornece uma diretriz de anotação detalhada que define 12 rótulos de entidade e 101 rótulos de relação, incluindo adaptações específicas para o ME (ex: tratamento de palavras emprestadas e misturas compostas).
3. Validação Empírica do Ajuste Fino: O estudo demonstra que o ajuste fino de modelos NER em um conjunto de dados de domínio específico melhora significativamente o desempenho para variantes de línguas de baixos recursos em comparação com o uso de modelos de inglês padrão pré-treinados.

Resultos

• Desempenho de Linha de Base (Baseline): Experimentos iniciais com ferramentas NER prontas para uso em 30 sentenças de ME produziram resultados insatisfatórios, com o melhor modelo (spaCy) alcançando um F1-Score de apenas 0,58.
• Acordo entre Anotadores: A anotação de entidades alcançou um F1-Score macro de 0,818, enquanto a anotação de relações alcançou 0,51. Observou-se menor concordância para tipos de entidades raras (ex: WORK_OF_ART) e rótulos de relação complexos do ACE-2005.
• Desempenho do Ajuste Fino:
  • O modelo spacy-blank (treinado do zero no MEN) alcançou o maior Micro F1-Score geral de 0,94.
  • Modelos pré-treinados com ajuste fino (en_core_web_sm-FT, en_core_web_lg-FT, en_core_web_trf-FT) mostraram melhorias significativas em relação aos seus equivalentes não ajustados. Por exemplo, o en_core_web_sm-FT melhorou de uma linha de base de 0,211 para 0,832.
  • Em média, os modelos ajustados demonstraram uma melhoria de +230% no desempenho em comparação com os modelos pré-treinados.
  • Melhorias específicas foram observadas para entidades de ME como TITLE e ROLE, que os modelos pré-treinados falharam em detectar inteiramente (F1-Score de 0) sem o ajuste fino.

Significância
O artigo afirma que o conjunto de dados MEN é um recurso único que aborda a escassez de dados anotados para o inglês malaio. Ao fornecer um conjunto de dados que captura as adaptações morfossintáticas específicas do ME, os autores permitem que pesquisadores acelerem o progresso em NER e Extração de Relações para esta variante linguística. O estudo valida que, embora os modelos SOTA existentes tenham dificuldades com o ME, um conjunto de dados personalizado combinado com o ajuste fino pode reduzir a lacuna de desempenho, oferecendo um caminho para aplicações de PLN mais precisas para notícias em inglês malaio e contextos semelhantes de línguas criou. O conjunto de dados e as diretrizes foram disponibilizados publicamente para facilitar pesquisas futuras.