💬 NLP

Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition

Este artigo demonstra que o escalonamento do aprendizado em contexto para centenas de exemplos permite que grandes modelos de linguagem igualem ou superem o desempenho do BERT totalmente supervisionado em Reconhecimento de Entidades Nomeadas, servindo também como um framework de anotação de dados eficaz que melhora significativamente modelos de NER de baixos recursos.

Autores originais: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Ensinando um Robô a Ler Mostrando Exemplos a Ele

Imagine que você tem um robô muito inteligente (um Grande Modelo de Linguagem, ou LLM) que sabe ler, mas nunca foi ensinado especificamente a encontrar nomes de pessoas, lugares ou organizações em uma frase. Normalmente, para ensinar essa habilidade a um robô, você precisa contratar uma equipe de professores humanos para escrever milhares de exemplos, rotulá-los perfeitamente e depois passar semanas "treinando" o robô com esses exemplos. Isso é caro e lento.

Este artigo propõe uma maneira diferente: Mostre, Não Apenas Diga.

Em vez de retreinar o cérebro do robô, os pesquisadores simplesmente mostram ao robô centenas de exemplos logo antes de ele ler uma nova frase. Isso é chamado de Aprendizado em Contexto (In-Context Learning - ICL). O artigo pergunta: O que acontece se mostrarmos ao robô não apenas 5 exemplos, mas 100, 200 ou até 500 exemplos de uma só vez?

A Grande Descoberta: Mais Exemplos = Robô Mais Inteligente

Os pesquisadores descobriram uma tendência surpreendente: quanto mais exemplos mostravam ao robô, melhor ele ficava.

O Jeito Antigo (Few-Shot): Mostrar 5 exemplos ao robô era como dar a um aluno uma colinha rápida. Ajudava, mas o aluno ainda cometia erros.
O Jeito Novo (Many-Shot): Mostrar 100+ exemplos ao robô era como dar ao aluno um capítulo inteiro de um livro didático para estudar logo antes da prova. O robô não apenas "adivinhava" melhor; ele aprendeu os padrões tão bem que teve um desempenho tão bom quanto, ou até melhor que, robôs que foram treinados por semanas com milhares de exemplos rotulados por humanos.

A Analogia: Pense no robô como um novo funcionário.

Fine-Tuning (O Jeito Antigo): Você contrata um treinador para passar um mês ensinando ao funcionário cada regra do trabalho.
Many-Shot ICL (O Jeito Novo): Você senta o funcionário, entrega a ele uma pilha de 100 formulários preenchidos e diz: "Veja como estes foram feitos, e então preencha este novo". O funcionário entende tudo instantaneamente sem precisar de um mês de treinamento.

O Problema: O Robô é Lento e Caro de Usar

Embora o método "Many-Shot" tenha funcionado muito bem para obter respostas, ele tinha um porém. Cada vez que você quisesse que o robô lesse uma nova frase, você teria que fornecer aqueles 100+ exemplos novamente.

A Analogia: É como pedir a um bibliotecário para encontrar um livro. Se você tiver que entregar ao bibliotecário um livro de história de 100 páginas toda vez que pedir um livro, isso leva muito tempo e custa muito dinheiro. Você não pode fazer isso em tempo real para milhares de documentos.

A Solução: A "Fábrica de Anotação" (ICA)

Para resolver o problema de velocidade e custo, os pesquisadores construíram uma estrutura chamada Anotação em Contexto (In-Context Annotation - ICA).

Em vez de usar o robô para ler documentos em tempo real, eles o usaram como um trabalhador de fábrica offline.

A Configuração: Eles deram ao robô uma pequena "semente" de cerca de 100 exemplos rotulados por humanos (a "semente" é como o projeto/blueprint).
A Fábrica: O robô usou essas 100 sementes para ler através de milhares de documentos não rotulados e rotulá-los sozinho.
O Controle de Qualidade: Às vezes o robô comete erros. Os pesquisadores adicionaram uma etapa de "Controle de Qualidade" onde o robô verifica seu próprio trabalho, corrige erros e vota na melhor resposta (como um comitê de robôs revisando uns aos outros).
O Resultado: Eles agora têm uma pilha enorme de dados rotulados de alta qualidade.
A Implementação: Eles pegam esses novos dados e treinam um robô pequeno, rápido e barato (como o BERT) com eles.

A Analogia:

Passo 1: Você contrata um especialista altamente pago e lento (o grande LLM) para rotular 2.000 documentos. Você dá a ele alguns exemplos para começar.
Passo 2: O especialista faz o trabalho, revisa seus próprios erros e entrega a você um conjunto de dados perfeito.
Passo 3: Você demite o especialista caro. Você pega esse conjunto de dados perfeito e ensina a um estagiário rápido e barato (o modelo pequeno BERT) como fazer o trabalho.
Passo 4: Agora, quando você precisar ler um novo documento, você usa o estagiário rápido e barato. É instantâneo e custa quase nada.

Principais Descobertas em Linguagem Simples

Escalar Funciona: Quanto mais exemplos você mostra ao grande robô, mais inteligente ele fica. Cerca de 100 exemplos é o "ponto ideal" onde ele se torna incrivelmente preciso.
O Esforço Humano é Baixo: Você só precisa de cerca de 100 exemplos rotulados por humanos para colocar todo o sistema para funcionar. Isso é uma quantidade de trabalho minúscula comparada aos milhares geralmente exigidos.
Melhor que o Melhor: O pequeno robô treinado com os dados da "fábrica" teve um desempenho cerca de 10% melhor do que os melhores métodos atuais para tarefas de baixos recursos.
O Refinamento Importa: As etapas de "Controle de Qualidade" (onde o robô corrige seus próprios erros) foram cruciais. Especificamente, um método chamado "Refinamento Consciente de Erros" (onde o robô é ensinado a procurar tipos específicos de erros, como "nomes ausentes" ou "nomes errados") fez a maior diferença.

Resumo

O artigo mostra que não precisamos passar meses treinando robôs em conjuntos de dados massivos. Em vez disso, podemos usar um robô grande e inteligente como um professor temporário. Ao mostrar a ele centenas de exemplos, ele pode gerar dados de treinamento de alta qualidade para um robô pequeno e rápido. Este pequeno robô torna-se, então, aquele que realmente usamos no mundo real, proporcionando alto desempenho com muito pouco esforço humano e baixo custo.

Resumo Técnico: Escalando o Desempenho e a Anotação de Baixo Recurso com Aprendizado em Contexto de Muitas Amostras para Reconhecimento de Entidades Nomeadas

Declaração do Problema

O Reconhecimento de Entidades Nomeadas (NER) é uma tarefa fundamental de extração de informação que tradicionalmente depende de modelos totalmente supervisionados (por exemplo, BERT ajustado/fine-tuned) que exigem grandes volumes de dados rotulados por humanos. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma alternativa promissora via Aprendizado em Contexto (ICL) sem atualizações de parâmetros, pesquisas anteriores indicam que os LLMs em configurações padrão de poucos disparos (few-shot) frequentemente apresentam desempenho inferior em comparação aos modelos de base supervisionados. Além disso, estudos de ICL existentes para NER focaram primariamente em cenários de poucos disparos (tipicamente <100 exemplos), deixando o potencial de escalar para centenas de demonstrações ("ICL de muitas amostras" ou "many-shot ICL") amplamente inexplorado. Adicionalmente, o uso de LLMs para inferência em tempo real é frequentemente caro computacionalmente e lento, limitando sua implementação prática em ambientes com restrição de recursos.

Metodologia

1. Aprendizado em Contexto de Muitas Amostras (Many-Shot ICL) para NER

Os autores formulam o NER como um problema de geração condicional onde o modelo gera uma saída anotada no estilo XML (por exemplo, <entity type="Location">Canada</entity>). Este formato marca explicitamente os limites e os tipos de entidades, melhorando a sensibilidade aos limites.

Experimentos de Escala: O estudo avalia sete LLMs (incluindo Qwen-2.5, LLaMA-3.1, GPT-4o e DeepSeekV3) em quatro domínios (MIT-Restaurant, MIT-Movie, CoNLL2003, WNUT 2017).
Estratégias de Demonstração: Duas estratégias para seleção de exemplos em contexto são comparadas:
- Amostragem Aleatória (Random Sampling): Um conjunto fixo de $k$ exemplos é reutilizado para todas as entradas de teste.
- Baseada em Recuperação (Retrieval-Based): Exemplos similares top- $k$ são recuperados dinamicamente para cada entrada de teste usando BM25.
Observação: O desempenho melhora consistentemente à medida que o número de demonstrações aumenta de 0 para 500, com métodos baseados em recuperação atingindo o platô mais cedo (por volta de 100 exemplos) e a amostragem aleatória mostrando ganhos constantes até 500 exemplos.

2. O Framework de Anotação em Contexto (ICA)

Para abordar o custo de inferência dos LLMs, os autores propõem usar o ICL de muitas amostras não como um motor de inferência direta, mas como uma ferramenta de anotação de dados offline para treinar modelos pequenos e eficientes (por exemplo, BERT).

Fluxo de Trabalho:
1. Dados Semente (Seed Data): Um pequeno conjunto de exemplos rotulados por humanos (por exemplo, 100) é usado como demonstrações fixas em contexto.
2. Anotação: Um LLM anota um grande corpus de dados não rotulados (por exemplo, 2.000 sentenças) utilizando estas demonstrações.
3. Refinamento: Para aumentar a qualidade, três estratégias são aplicadas a amostras de baixa confiança:
  - Autoconsistência (Self-Consistency): Múltiplas previsões com ordens de demonstração variadas são agregadas via votação majoritária.
  - Autocorreção (Self-Correction): O LLM é instruído (prompted) a revisar e revisar sua própria saída.
  - Refinamento Consciente de Erros (Error-Aware Refinement - EAR): Uma abordagem modular usando três prompts distintos para corrigir sequencialmente tipos específicos de erros: entidades espúrias, entidades ausentes e tipos de entidades incorretos.
4. Treinamento de Downstream: Os dados refinados e de alta qualidade são usados para realizar o ajuste fino (fine-tuning) de um modelo NER baseado em BERT.
Configuração Experimental:
- Datasets: O framework ICA é avaliado no benchmark CrossNER (IA, Literatura, Música, Política, Ciência) sob configurações de baixos recursos (100–200 sementes rotuladas por humanos).
- Baselines: As comparações incluem aumento de dados tradicional (DAGA, NERDA), aumento de dados baseado em LLM (ProgGen) e métodos de NER de baixo recurso/cross-domain de última geração (por exemplo, DTrans-MPrompt, GLiNER).

Principais Resultados

Desempenho do ICL de Muitas Amostras

Efeito de Escala: O aumento do número de exemplos em contexto leva a ganhos de desempenho monotônicos. Com aproximadamente 100–500 exemplos, os LLMs alcançam desempenho comparável ou superior aos modelos BERT totalmente supervisionados treinados em milhares de exemplos.
Eficiência: A amostragem aleatória com centenas de exemplos produz resultados competitivos, aproximando-se do desempenho de métodos de recuperação mais caros, enquanto exige menos esforço de anotação.

Desempenho do Framework ICA

Superioridade sobre o SOTA: No benchmark CrossNER, o framework ICA (especificamente com EAR) atinge um aumento médio absoluto de F1 de aproximadamente 10 pontos sobre as abordagens anteriores de baixo recurso de última geração (SOTA).
Comparação com ICL Direto: Converter as previsões do LLM em dados de treinamento para o BERT supera a inferência direta de ICL de muitas amostras (ICL-MS) em mais de 5 pontos de F1, demonstrando o valor de destilar o conhecimento do LLM para modelos eficientes.
Impacto do Refinamento: A estratégia de Refinamento Consciente de Erros (EAR) supera consistentemente outras variantes, adicionando uma média de 1,79 pontos de F1 sobre o ICA padrão ao abordar explicitamente erros de anotação comuns.
Eficiência de Dados: O método alcança alto desempenho usando apenas ~100 exemplos semente rotulados por humanos para gerar ~2.000 amostras anotadas, reduzindo significativamente os custos de anotação humana.

Análise de Requisitos

Escala de Anotação: O desempenho satura após anotar aproximadamente 1.500–2.500 sentenças; dados adicionais trazem retornos decrescentes.
Tamanho da Semente: Aproximadamente 75–100 exemplos rotulados por humanos são suficientes para guiar um ICA eficaz; aumentar além disso traz ganhos marginais.
Escolha do Modelo: Modelos maiores (ex: GPT-4o, Qwen-72B) produzem anotações de maior qualidade do que modelos menores (ex: Qwen-7B), embora modelos de código aberto escalonados possam ser competitivos.

Significância e Contribuições

O artigo apresenta quatro contribuições principais:

Estudo Empírico: Fornece a primeira investigação sistemática de ICL de muitas amostras para NER, demonstrando ganhos consistentes de desempenho conforme o número de demonstrações aumenta em múltiplos datasets e modelos.
Proposta de Framework: Introduz o framework de Anotação em Contexto (ICA), que utiliza um número modesto de rótulos humanos para gerar dados de treinamento de alta qualidade para modelos de downstream eficientes, desacoplando o custo de inferência do LLM da implementação.
Validação Experimental: Experimentos mostram que o ICA supera significativamente os métodos de NER de baixo recurso atuais (por ~10 pontos de F1) e técnicas tradicionais de aumento de dados.
Análise de Escalabilidade: O estudo oferece insights práticos sobre os compromissos entre tamanho de dados semente, volume de anotação e seleção de modelo, estabelecendo que o ICL de muitas amostras é um paradigma viável e de custo-benefício para construir datasets de NER em domínios com restrição de recursos.

Os autores concluem que, embora existam limitações relativas à necessidade de rótulos semente e sobrecarga computacional durante a fase de anotação, o framework ICA oferece uma solução prática para reduzir os custos de anotação e melhorar a eficiência de dados em tarefas de NER.