CodeNER: Code Prompting for Named Entity Recognition

1. Problema Identificado

O artigo aborda as limitações atuais dos Grandes Modelos de Linguagem (LLMs) na tarefa de Reconhecimento de Entidades Nomeadas (NER) em configurações zero-shot (sem treinamento prévio com dados rotulados) e few-shot.

• A Lacuna de Formato: A NER tradicional é um problema de rotulagem sequencial (geralmente usando o esquema BIO: Begin, Inside, Outside), onde cada token deve ser classificado individualmente. No entanto, os LLMs operam nativamente em um esquema de "texto de entrada para texto de saída" (text-in-text-out).
• Falhas das Abordagens Atuais: Métodos de prompting baseados apenas em texto natural (Vanilla) frequentemente falham em capturar a estrutura sequencial necessária para delimitar corretamente os limites das entidades. Isso resulta em:
  • Dificuldade em identificar fronteiras de entidades precisas.
  • Rotulagem duplicada ou inconsistente de tokens.
  • Falha ao tratar sequências longas ou caracteres especiais como unidades únicas.
  • Dependência excessiva apenas no contexto de entrada, sem uma instrução estruturada sobre como processar a sequência token a token.

2. Metodologia: CodeNER

Os autores propõem o CodeNER, um método inovador que utiliza prompting baseado em código (especificamente Python e C++) para instruir os LLMs a realizar a NER.

• Estrutura do Prompt: Em vez de instruções em linguagem natural, o prompt é escrito como um script de código funcional.
  • O prompt define uma lista de sentenças (sentence) e um dicionário de rótulos (ner_tag_labels).
  • Inclui uma função (find_ner_tags) que utiliza um laço for explícito para iterar sobre cada token da sentença.
  • O código instrui o modelo a aplicar o esquema BIO sequencialmente, garantindo que cada token seja processado uma única vez e alinhado corretamente com os rótulos.
• Mecanismo de Ação: Ao embutir as instruções de NER dentro de uma estrutura de código, o método explora a capacidade inerente dos LLMs de compreender a sintaxe e a lógica de programação. O laço for força o modelo a adotar uma abordagem token-a-token, preenchendo a lacuna entre a natureza sequencial da NER e a geração de texto dos LLMs.
• Integração com CoT: O método também foi testado em combinação com Chain-of-Thought (CoT), adicionando a instrução "Let's think step by step" para melhorar ainda mais o raciocínio.

3. Principais Contribuições

1. Ponte entre NER e LLMs: O CodeNER resolve a incompatibilidade fundamental entre o esquema de saída sequencial da NER e a geração de texto dos LLMs, utilizando a estrutura lógica de programação como meio de instrução.
2. Superioridade em Zero-Shot: Demonstra que a estruturação explícita das instruções via código é mais eficaz do que instruções textuais vagas, especialmente quando não há exemplos de treinamento (zero-shot).
3. Análise de Robustez: O método foi validado em múltiplas línguas (Inglês, Árabe, Finlandês, Dinamarquês, Alemão) e em diferentes modelos (fechados como GPT-4 e abertos como Llama-3 e Phi-3).
4. Descoberta sobre Linguagens de Programação: O estudo comparou Python e C++, encontrando que, embora o C++ tenha mostrado melhorias em alguns casos específicos, o Python foi consistente, sugerindo que a estrutura do código é mais importante do que a linguagem específica, desde que o modelo tenha conhecimento prévio dela.

4. Resultados Experimentais

O desempenho do CodeNER foi avaliado em 10 benchmarks (incluindo CoNLL03, MIT Movie, MIT Restaurant, DaNE, SwissNER, entre outros).

• Desempenho Geral: O CodeNER superou consistentemente os métodos de prompting baseados em texto (Vanilla) na maioria dos conjuntos de dados.
  • No modelo GPT-4, houve uma melhoria média de 2,41 pontos no F1-score (4,82% de aumento).
  • No modelo GPT-4 Turbo, a melhoria média foi de 3,07 pontos (6,37% de aumento).
  • Em modelos abertos como Llama-3-8B, a melhoria foi ainda mais drástica, com ganhos significativos em datasets como FIN e Árabe.
• Melhoria Específica: O método mostrou-se particularmente eficaz para a categoria MISC (Miscelânea) e na identificação correta de limites de entidades, evitando erros comuns como a fragmentação de URLs ou a duplicação de rótulos.
• Limitações Identificadas: O CodeNER teve desempenho inferior em datasets com sentenças muito longas onde rótulos como "Plot" (Enredo) ou "Quote" (Citação) cobrem grandes porções de texto contendo palavras funcionais (artigos, preposições). Nesses casos, a abordagem baseada em texto (Vanilla), que considera a sentença como um todo, às vezes foi mais eficaz.

5. Significado e Conclusão

O artigo estabelece que a estruturação de instruções via código é uma estratégia poderosa para tarefas de NLP que exigem processamento sequencial rigoroso, como a NER.

• Impacto: O CodeNER oferece uma solução de baixo custo (sem necessidade de fine-tuning pesado) para melhorar a precisão de LLMs em tarefas estruturadas.
• Futuro: Os autores sugerem que, para lidar com as limitações em textos longos e palavras funcionais, futuros trabalhos podem envolver o pré-treinamento de modelos com tarefas auxiliares focadas em estruturas sintáticas ou a combinação de abordagens baseadas em código com outras técnicas de raciocínio.

Em resumo, o CodeNER demonstra que "pensar como um programador" (através de prompts de código) permite que os LLMs executem tarefas de rotulagem sequencial com muito mais precisão do que quando instruídos apenas em linguagem natural.