Universal NER v2: Towards a Massively Multilingual Named Entity Recognition Benchmark

Resumo Técnico: Universal NER v2

1. O Problema

Apesar do avanço dos Modelos de Linguagem Grandes (LLMs) multilíngues, a avaliação de alto padrão (padrão-ouro) em tarefas de Reconhecimento de Entidades Nomeadas (NER) permanece escassa para a maioria das línguas. A falta de benchmarks padronizados e paralelos dificulta a pesquisa sobre transferência cruzada de línguas e a criação de sistemas NER verdadeiramente multilíngues e robustos. Projetos anteriores muitas vezes careciam de consistência nas diretrizes de anotação ou cobriam um número limitado de famílias linguísticas.

2. Metodologia

O projeto Universal NER (UNER) expande sua versão inicial (v1) para criar um recurso colaborativo massivo e padronizado. A metodologia central envolve:

• Padronização de Esquema de Tags: Utilização de um conjunto de tags simples e transferível, consistindo em três categorias principais: Pessoa (per), Localização (loc) e Organização (org). Entidades que não se encaixam são marcadas como "oth" (Outro), mas não incluídas na versão final do dataset.
• Processo de Anotação:
  • Uso da plataforma TALEN (ferramenta web baseada em anotação de sequência de nível de palavra).
  • Recrutamento de anotadores voluntários da comunidade de PLN.
  • Garantia de qualidade através de acordo entre anotadores (IAA): pelo menos 5% dos documentos de cada novo dataset possuem sobreposição de anotação por múltiplos anotadores para cálculo de estatísticas de concordância.
  • Formato de dados: .conllu personalizado (.iob2), mantendo consistência com a versão v1.
• Expansão do Dataset (UNER v2):
  • Adição de 11 novos datasets cobrindo 10 variedades linguísticas (9 novas ao projeto).
  • Línguas incluídas: Grego Moderno, Hebraico, Norueguês (Nynorsk e Bokmål), Esloveno, Sueco, Tcheco, Indonésio, Japonês, Coreano e Romeno.
  • Inclusão de datasets paralelos (baseados no Parallel Universal Dependencies - PUD) para permitir avaliação de transferência cruzada.
  • Correções e revisões em datasets existentes (inglês EWT e PUD) e conversão de datasets de terceiros (como LegalNERo para o domínio jurídico romeno) para o padrão UNER.

3. Principais Contribuições

• Recurso Massivo e Diverso: O UNER v2 agora contém 30 datasets em 22 línguas, totalizando 3 milhões de tokens anotados e cerca de 59.000 entidades.
• Diversidade Tipológica e de Domínio: O conjunto cobre cinco famílias macro-linguísticas (Indo-europeia, Afroasiática, Austronésia, Coreana e Japônica) e quatro sistemas de escrita (Latino, Grego, Hebraico e CJK). Inclui domínios variados como notícias, ficção, transcrições faladas e, crucialmente, documentos jurídicos (em Romeno).
• Benchmarks Paralelos: A adição de quatro novos idiomas ao conjunto de dados paralelos PUD permite uma análise rigorosa da consistência de uso de entidades nomeadas entre línguas tipologicamente distintas.
• Avaliação de LLMs: O trabalho estabelece uma linha de base para o uso de LLMs (como Gemini, Claude e GPT) como anotadores automáticos, comparando seu desempenho contra anotações humanas.

4. Resultados e Análise Experimental

Os autores realizaram experimentos com duas abordagens principais:

• Modelos Baseados em Codificadores (XLM-R):

  • O modelo XLM-R Large foi ajustado (fine-tuned) nos dados de treino.
  • Desempenho Intra-linguístico: Geralmente atingiu as melhores pontuações (F1 micro).
  • Transferência Cruzada: Funcionou bem entre línguas europeias (F1 > 0.60), mas o desempenho caiu drasticamente para línguas tipologicamente distantes (ex: Japonês e Coreano), confirmando que a transferência para essas línguas ainda é um desafio.
  • Dificuldade por Tipo de Entidade: A precisão foi consistentemente menor para Organizações (org) e Localizações (loc) devido à ambiguidade (ex: uso metonímico), enquanto Pessoas (per) foram mais fáceis de identificar.

• Modelos de Linguagem Grandes (LLMs) como Anotadores:

  • Três modelos (Gemini 2.5 Flash Lite, Claude Sonnet 4, GPT-5 Mini) foram testados seguindo as mesmas diretrizes humanas.
  • Desempenho: O melhor modelo (Claude) atingiu uma média de F1 de 0.497, significativamente abaixo do acordo entre anotadores humanos (média de 0.741).
  • Padrões de Erro:
    • Em datasets paralelos (PUD), os LLMs tendem a superanotar (30-90% a mais que humanos), identificando referências genéricas como entidades.
    • Em línguas como Hebraico e Coreano, ocorreram subanotações (30-60% a menos).
    • Os modelos falharam em nuances específicas, como distinguir entidades geopolíticas (que devem ser "org") de localizações.

5. Significado e Impacto

O Universal NER v2 representa um passo crucial para o desenvolvimento de sistemas de PLN mais inclusivos e robustos. Ao fornecer um benchmark padronizado e massivo que abrange línguas de baixa e média recursos com diversidade morfológica e de escrita, o projeto permite:

1. Avaliação Justa: Comparação direta de técnicas de modelagem em um ambiente controlado e paralelo.
2. Identificação de Lacunas: Revela as limitações atuais dos modelos de estado da arte (tanto codificadores quanto LLMs) em línguas não europeias e em tarefas de distinção fina de entidades.
3. Futuro da Anotação: Embora os LLMs ainda não substituam humanos para anotação de padrão-ouro neste contexto, o trabalho sugere seu potencial para detectar erros em anotações humanas e refinar diretrizes, além de servir como geradores de dados sintéticos ou anotadores auxiliares.

O projeto continua a crescer, com planos de incorporar mais línguas e níveis de validação, alinhando-se a grandes esforços de anotação linguística como Universal Dependencies e UniMorph.