💬 NLP

Assessment of Generative Named Entity Recognition in the Era of Large Language Models

Este artigo avalia sistematicamente modelos de linguagem de grande escala de código aberto para reconhecimento de entidades nomeadas generativo, demonstrando que, com ajuste fino de eficiência de parâmetros e formatos de saída estruturados, eles alcançam um desempenho competitivo com modelos tradicionais ao dependerem de capacidades de seguimento de instruções em vez de memorização, tudo sem comprometer as habilidades gerais do modelo.

Autores originais: Qi Zhan, Yile Wang, Hui Huang

Publicado 2026-06-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Qi Zhan, Yile Wang, Hui Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um bibliotecário gigante e superinteligente (um Modelo de Linguagem Grande, ou LLM) que leu quase todos os livros do mundo. Durante anos, se você quisesse encontrar nomes específicos em um texto — como pessoas, lugares ou organizações — você tinha que contratar um robô especializado e rígido (modelos tradicionais de NER) treinado apenas para esse trabalho.

Este artigo faz uma grande pergunta: Podemos simplesmente pedir ao nosso bibliotecário gigante para encontrar esses nomes para nós, e será que ele fará um trabalho melhor do que o robô especializado?

Aqui está o detalhamento de suas descobertas, usando analogias simples:

1. A Nova Forma de Trabalhar: "A Reescrita" vs. "O Marca-texto"

O Jeito Antigo (Modelos Tradicionais): Imagine uma caneta marca-texto que só sabe colorir palavras específicas. Ela percorre uma frase e cola um adesivo de "Pessoa" em "João" e um adesivo de "Lugar" em "Nova York". É rápida e precisa, mas é um pouco robótica.
O Novo Jeito (NER Generativo): Imagine pedir ao bibliotecário para reescrever a frase para você. Você diz: "Aqui está uma frase; por favor, reescreva-a, mas coloque os nomes dentro de colchetes como este: [João | Pessoa]".
O Resultado: O artigo descobriu que, se você der instruções claras e um formato específico (como usar colchetes ou tags XML), o bibliotecário pode reescrever a frase com tanta precisão quanto o robô marca-texto especializado. Na verdade, eles frequentemente superam as versões "zero-shot" mais antigas do bibliotecário (onde você apenas pede sem treinamento) e até rivalizam com os melhores robôs especializados.

2. A Forma da Resposta Importa

O artigo testou cinco maneiras diferentes de pedir ao bibliotecário para formatar a resposta.

Os Vencedores: Formatos que parecem frases naturais com tags incorporadas (como [Nome | Tipo] ou <Nome>Tipo</Nome>) funcionaram melhor. É como pedir ao bibliotecário para escrever uma história onde os nomes são destacados naturalmente.
Os Perdedores: Formatos que exigiam que o bibliotecário fizesse cálculos complexos, como contar exatamente em qual número de caractere uma palavra começa (por exemplo, "Comece no caractere 45, termine no 50"), foram um desastre. O bibliotecário ficou confuso com a matemática rígida e cometeu muitos erros.
A Lição: Se você quer que a IA funcione bem, peça para ela escrever de uma forma natural e estruturada, não em um formato de planilha.

3. O Bibliotecário Está Trapaceando? (Memorização vs. Aprendizado)

Como o bibliotecário leu tanto, talvez ele esteja apenas trapaceando ao memorizar as respostas de seus dados de treinamento?

O Teste: Os pesquisadores tentaram enganar o bibliotecário. Eles substituíram os nomes padrão (como "Pessoa" ou "Localização") por símbolos aleatórios (como "A" ou "B") e deram novas instruções.
O Resultado: O bibliotecário não travou. Ele ainda conseguiu realizar a tarefa. Isso prova que o bibliotecário não está apenas recitando uma lista memorizada de "João = Pessoa". Ele está realmente aprendendo o conceito do que é um nome e aplicando-o a novas situações, exatamente como um humano faria.

4. O "Efeito Colateral" do Treinamento

Geralmente, quando você treina um robô especializado para fazer uma coisa, ele esquece como fazer todas as outras. Se você ensinar uma calculadora a fazer matemática, ela pode esquecer como contar uma piada.

A Surpresa: Quando os pesquisadores ensinaram o gigante bibliotecário a encontrar nomes, ele não esqueceu como fazer outras coisas. Na verdade, em um teste de compreensão de leitura (onde você tem que encontrar respostas em um texto), o bibliotecário ficou até melhor.
Por quê? Porque encontrar nomes é uma parte enorme de entender uma história. Ao praticar a busca de nomes, o bibliotecário ficou mais aguçado na compreensão de todo o texto.

5. Onde o Bibliotecário Ainda Tem Dificuldades

O bibliotecário é incrível em tópicos gerais (como notícias ou história), mas ele tropeça um pouco em campos muito especializados, como biologia ou medicina.

A Lacuna: No conjunto de dados "Biomédico", o robô especializado (treinado especificamente em termos médicos) ainda venceu o bibliotecário. O bibliotecário conhece bem o conhecimento geral, mas carece do treinamento profundo e específico de uma "escola de medicina" que o robô especializado possui.

A Conclusão Final

Este artigo mostra que não precisamos necessariamente construir um novo robô especializado para cada tarefa de agora em diante. Podemos pegar uma IA poderosa e de propósito geral, dar a ela um conjunto claro de instruções e um bom formato, e ela poderá fazer o trabalho de encontrar nomes tão bem quanto os métodos antigos. Além disso, ela mantém sua capacidade de realizar outras tarefas inteligentes, tornando-se uma ferramenta muito amigável e flexível para todos.

Resumo Técnico: Avaliação de Reconhecimento de Entidades Nomeadas Generativo na Era dos Grandes Modelos de Linguagem

Declaração do Problema

O Reconhecimento de Entidades Nomeadas (NER) tem sido tradicionalmente enquadrado como uma tarefa de rotulagem de sequência, resolvida predominantemente por modelos pré-treinados de auto-codificação (ex: BERT) que atribuem etiquetas a tokens. Com o advento dos Grandes Modelos de Linguagem (LLMs), o NER está migrando para um paradigma generativo onde os modelos geram sequencialmente texto contendo tanto a frase original quanto as entidades identificadas. Embora estudos preliminares tenham explorado NER zero-shot ou few-shot usando modelos de código fechado (ex: ChatGPT), há uma falta de investigação sistemática sobre:

A lacuna de desempenho entre LLMs de código aberto ajustados (fine-tuned) e modelos tradicionais de estado da arte (SOTA) de NER em tarefas tanto planas quanto aninhadas (nested).
O impacto de diversos formatos de saída no desempenho do NER generativo.
Se os LLMs resolvem o NER através de um aprendizado genuíno de entidades ou meramente pela memorização de correlações entre entidade e rótulo dos dados de treinamento.
Se o ajuste de instrução (instruction tuning) para NER degrada as capacidades gerais dos LLMs.

Metodologia

Os autores conduziram uma avaliação sistemática através de oito LLMs de código aberto (famílias: LLaMA, Qwen, Granite, Gemma) com escalas de parâmetros variando de 3B a 9B. Os experimentos utilizaram quatro conjuntos de dados padrão:

NER Plano: CoNLL2003 e OntoNotes5.0.
NER Aninhado (Nested): ACE2005 e GENIA (domínio biomédico).

Design Experimental:

Estratégia de Ajuste (Fine-tuning): Todos os modelos foram ajustados utilizando Low-Rank Adaptation (LoRA) com um rank de 256, comparados contra ajuste total (full fine-tuning) e basais tradicionais (ex: BERT-Tagger, W2NER, BERT-MRC).
Formatos de Saída: Cinco formatos distintos foram avaliados para determinar sua influência no desempenho:
1. Colchetes Inline: [Entidade | Rótulo]
2. XML Inline: <Rótulo>Entidade</Rótulo>
3. JSON agrupado por categoria: Agrupado por chaves de rótulo.
4. JSON baseado em ocorrência: Inclui índices de ocorrência.
5. JSON baseado em offset: Requer posições precisas de início/fim de caracteres.
Análise de Memorização: Para distinguir entre aprendizado e memorização, os autores substituíram rótulos de texto padrão (ex: "PER", "LOC") por símbolos arbitrários (ex: "A", "B") no conjunto de dados CoNLL2003. Eles testaram os modelos sob duas condições: com explicações para os símbolos (CoNLL2003-SE) e sem (CoNLL2003-SO).
Preservação de Capacidade: Os autores avaliaram os modelos em benchmarks gerais (HellaSwag, DROP, GSM8K, MMLU, TruthfulQA) antes e depois do ajuste de instrução para NER para avaliar o esquecimento catastrófico ou transferência de capacidade.

Principais Resultados

1. Desempenho e Formatos de Saída

Sensibilidade ao Formato: O formato de saída tem um impacto decisivo. Os formatos Colchetes Inline e XML Inline alcançaram o melhor desempenho (F1 Médio: 91,91 e 91,71 no NER plano, respectivamente). Estes formatos, que incorporam entidades diretamente na estrutura da frase, alinham-se bem com a natureza generativa dos LLMs.
Limitações do JSON: Formatos baseados em JSON, particularmente aqueles que exigem offsets de caracteres precisos, resultaram em quedas significativas de desempenho (ex: JSON baseado em Offset teve média de 53,91 F1 no NER plano), indicando que os LLMs têm dificuldade com o alinhamento posicional fino durante a geração.
Comparação com Basais: Com ajuste de parâmetros eficiente e formatos ideais (Colchetes Inline/XML), LLMs de código aberto (ex: LLaMA3.1-8B, Gemma2-9B) alcançaram desempenho competitivo ou superior a modelos tradicionais baseados em encoder (ex: BERT-MRC, GNN-SL) em tarefas de NER plano. Eles também superaram modelos GPT-3 de código fechado usando aprendizagem em contexto (in-context learning).
Lacuna de Domínio: Enquanto os LLMs performam bem em domínios gerais, eles ficam atrás de modelos tradicionais especializados em domínios de baixos recursos como biomedicina (GENIA), onde o melhor resultado de LLM foi 4,02 pontos de F1 inferior ao melhor modelo especializado.

2. Memorização vs. Aprendizado

Few-shot vs. Fine-tuning: Sem ajuste, o prompting de 5-shot rendeu pontuações F1 moderadas significativamente menores que os modelos ajustados, sugerindo que a exposição do pré-treinamento isoladamente é insuficiente para alto desempenho em NER.
Substituição de Símbolos: Substituir rótulos de texto por símbolos arbitrários resultou em mudanças negligenciáveis no F1 (média de $\Delta$ F1 de -0,18 com explicações e +0,01 sem), indicando que os LLMs não dependem da memorização de pares específicos de entidade-rótulo, mas sim aprendem a tarefa subjacente de mapear spans de texto para conceitos de rótulo abstratos através do ajuste de instrução.

3. Análise de Erros

Modelos Tradicionais: Sofrem predominantemente de Omissão de Menções (45,5%), refletindo uma estratégia de predição conservadora.
LLMs Generativos: Exibem uma taxa de omissão menor, mas uma taxa mais alta de Tipos Errados (38,2%) e erros de Completamente-O (alucinar entidades que não estão no texto). Isso sugere que os LLMs são mais agressivos na extração, mas propensos a classificar incorretamente os tipos devido a conflitos entre seu conhecimento pré-treinado amplo e as diretrizes de anotação específicas do conjunto de dados (ex: classificar erroneamente "Permiano" como uma localização em vez de miscelânea).

4. Preservação de Capacidades Gerais

O ajuste de instrução para NER teve um impacto negativo mínimo nas capacidades gerais. O desempenho em benchmarks de raciocínio e conhecimento permaneceu estável ou flutuou levemente.
Notavelmente, o desempenho no benchmark DROP (compreensão de leitura que exige raciocínio discreto sobre parágrafos) melhorou significativamente em 25,50 a 45,32 pontos de F1. Os autores atribuem isso à capacidade aprimorada do modelo de detectar e extrair spans de entidades, que frequentemente são as respostas no DROP.

Significância e Alegações

O artigo alega que o NER generativo usando LLMs de código aberto é uma alternativa promissora e amigável ao usuário aos métodos tradicionais de rotulagem de sequência. As principais contribuições são:

Viabilidade: LLMs de código aberto, quando ajustados com métodos eficientes de parâmetros e formatos de saída estruturados, podem igualar ou exceder modelos SOTA tradicionais em domínios gerais.
Mecanismo: O sucesso do NER generativo provém das capacidades de seguir instruções e de geração dos modelos, e não da memorização de dados.
Segurança: O ajuste para NER não degrada a inteligência geral; em alguns casos (como no DROP), ele melhora o desempenho ao aprimorar a compreensão de entidades.
Praticidade: A interface de linguagem natural do NER generativo reduz a barreira para não especialistas, sugerindo uma mudança potencial na forma como os sistemas de NER são implantados e interagidos.

Os autores concluem que, embora existam desafios em domínios de baixos recursos e aninhados, o paradigma generativo representa uma evolução robusta na tecnologia de NER.