Learning Nested Named Entity Recognition from Flat Annotations

1. Problema e Motivação

O Reconhecimento de Entidades Nomeadas (NER) aninhado (Nested NER) visa identificar entidades que estão contidas dentro de outras (ex: "Reino Unido" dentro de "Ministério dos Negócios Estrangeiros do Reino Unido"). Embora crucial para tarefas downstream como extração de relações e construção de grafos de conhecimento, o NER aninhado exige anotações multi-nível caras e complexas.

Em contraste, corpora de NER "plano" (flat), onde apenas as entidades não sobrepostas são anotadas, são abundantes. O artigo investiga se é possível treinar modelos para reconhecer estruturas aninhadas utilizando apenas anotações planas, evitando o custo de anotação manual completa. O estudo foca no benchmark NEREL, um conjunto de dados russo complexo com 29 tipos de entidades, onde 21% das menções são aninhadas.

2. Metodologia

Os autores propõem e avaliam quatro abordagens complementares para recuperar a estrutura aninhada a partir de anotações planas, divididas em três categorias:

A. Aumento de Dados (Data Augmentation)

1. Inclusões (Inclusions):

   • Identifica sub-sequências de menções planas que correspondem a outras menções no conjunto de dados (correspondência de substring).
   • Para lidar com a rica morfologia russa, implementa uma versão lematizada: os tokens são reduzidos à sua forma de dicionário antes da correspondência, permitindo capturar variações de caso gramatical.
   • Essas correspondências são adicionadas como exemplos positivos de entidades aninhadas.

2. Corrupção de Entidades (Entity Corruption):

   • Cria dados de treinamento pseudo-aninhados corrompendo tokens dentro de entidades longas.
   • Estratégias de Posição: Testa corrupção no início, fim, meio, aleatória ou na raiz sintática. O estudo descobriu que a corrupção na posição final (substituir a última palavra) é a mais eficaz, pois preserva a palavra cabeça da entidade.
   • Símbolos de Corrupção: Testa substituição por dígitos, letras aleatórias, combinações mistas (diglets) ou pontuação. A substituição alfanumérica (ex: "klr" ou "798") mostrou-se superior à pontuação, pois não interfere na tokenização de subpalavras de forma agressiva.

B. Modificações no Treinamento

3. Neutralização Plana (Flat Neutralization):
   • Baseia-se na ideia de que spans dentro de uma entidade anotada não devem ser tratados estritamente como exemplos negativos durante o treinamento.
   • Introduz uma terceira categoria: neutra. Spans que correspondem a formas superficiais de entidades conhecidas (via correspondência de inclusão) são marcados como neutros e excluídos da função de perda, enquanto os que não correspondem permanecem negativos. Isso reduz o sinal de "falso negativo".

C. Abordagens com Grandes Modelos de Linguagem (LLMs)

4. Pipeline Híbrido (Fine-tuned + LLM):
   • Um modelo Binder (fine-tuned) detecta as entidades externas (outer).
   • Para cada entidade externa detectada, um LLM (DeepSeek-R1 ou RuAdapt-Qwen) é consultado para identificar entidades aninhadas dentro desse span específico.
   • O objetivo é combinar a precisão de limites do modelo fine-tuned com o raciocínio do LLM sobre a composição da entidade.

3. Resultados Principais

Os experimentos foram conduzidos no conjunto de dados NEREL (test set), utilizando o modelo Binder (baseado em RuRoBERTa-large) e LLMs locais de 32B parâmetros.

• Aprendizado a partir do Plano: O treinamento apenas com dados planos resultou em um F1 de 3,84% para entidades internas, demonstrando que modelos padrão não conseguem inferir aninhamento sem sinal explícito.
• Impacto das Inclusões: Adicionar inclusões (substrings) aumentou o F1 interno para 21,36%.
• Impacto da Corrupção: A estratégia de corrupção na posição final com letras aleatórias alcançou 25,92% de F1 interno.
• Método Combinado (O Melhor): A combinação de Inclusões Lematizadas + Corrupção + Neutralização alcançou 26,37% de F1 interno e 77,89% de F1 geral.
  • Isso fecha 40% da lacuna entre o treinamento plano e a supervisão completa (que atinge 65,48% de F1 interno).
• Desempenho dos LLMs:
  • LLM Puro: Desempenhou mal (42,39% F1 geral, 5,78% F1 interno), sofrendo com o grande inventário de 29 tipos e alucinações de limites.
  • Híbrido: Melhorou o F1 geral para 70,16%, mas falhou em superar os métodos de fine-tuning na detecção de entidades internas (18,84% vs 26,37%), indicando que os LLMs atuais ainda lutam com estruturas aninhadas finas e específicas de muitos tipos.

4. Contribuições Chave

1. Comparação Sistemática: Avaliação exhaustiva de métodos de aprendizado fraco (inclusões, corrupção, neutralização) em um benchmark russo desafiador de 29 tipos.
2. Descoberta sobre Corrupção: Evidência empírica de que a corrupção na posição final de entidades longas é consistentemente superior a outras posições para gerar sinal de treinamento pseudo-aninhado.
3. Análise de Limitações de LLMs: Demonstração de que, embora os LLMs sejam úteis para detecção de entidades externas, eles não conseguem compensar a falta de anotações aninhadas para a detecção interna fina em cenários complexos.
4. Método Híbrido: Proposta e avaliação de um pipeline que usa fine-tuning para limites externos e LLMs para aninhamento interno, mostrando que a decomposição da tarefa não resolve totalmente o problema de aninhamento fino.

5. Significado e Conclusão

O trabalho demonstra que é possível recuperar uma estrutura aninhada significativa sem anotações aninhadas completas, utilizando técnicas de aumento de dados e modificações de treinamento inteligentes. O método combinado proposto reduz drasticamente a lacuna de desempenho em relação à supervisão total.

No entanto, o estudo conclui que os métodos de supervisão fraca ainda não substituem totalmente a anotação manual para tarefas que exigem alta precisão em estruturas aninhadas complexas. Além disso, os LLMs, apesar de promissores, ainda não são suficientemente robustos para substituir a supervisão direta em cenários de NER com muitos tipos de entidades e morfologia rica. O trabalho abre caminho para futuras pesquisas em amostragem negativa mais principista e estratégias de prompting aprimoradas para estruturas hierárquicas.