Named Entity Recognition of Historical Texts via Large Language Model

1. Declaração do Problema

Contexto: O Reconhecimento de Entidades Nomeadas (NER) é crucial para extrair informações estruturadas de textos históricos não estruturados (por exemplo, jornais, manuscritos) para auxiliar a pesquisa em humanidades digitais.
Desafios:

• Escassez de Dados: Conjuntos de dados anotados de alta qualidade para textos históricos são raros devido ao alto custo e à expertise exigidos para a rotulagem manual.
• Variabilidade Linguística: Textos históricos contêm vocabulário arcaico, ortografia inconsistente, pontuação limitada e ruído proveniente da digitalização por Reconhecimento Óptico de Caracteres (OCR).
• Limitações dos Métodos Tradicionais: Abordagens padrão de aprendizado de máquina supervisionado e aprendizado profundo exigem grandes quantidades de dados de treinamento anotados específicos de domínio, que frequentemente não estão disponíveis para corpora históricos.
  Objetivo: Investigar se Modelos de Linguagem de Grande Escala (LLMs), especificamente utilizando estratégias de prompting zero-shot e few-shot, podem realizar efetivamente NER em textos históricos sem a necessidade de ajuste fino específico da tarefa ou de extensos dados de treinamento anotados.

2. Metodologia

O estudo utiliza o conjunto de dados HIPE-2022, um corpus multilíngue (alemão, francês, inglês, sueco, finlandês) abrangendo os séculos XVIII ao XX, focando na tarefa de NER grosseira (identificação de Pessoa, Local, Obra, etc.).

Configuração Experimental:

• Modelo: O DeepSeek-V3-0324 foi selecionado por seu forte desempenho multilíngue e eficiência de custos.
• Temperatura: Definida como 0 para garantir determinismo, embora os experimentos tenham sido repetidos três vezes para contabilizar a estocasticidade do modelo.
• Abordagens Avaliadas:
  1. Linha de Base Zero-Shot: O LLM recebe instruções sobre as tags de entidades e o formato de saída, mas nenhum exemplo.
  2. Prompting Few-Shot: O LLM recebe $k$ exemplos anotados ($k \in \{1, 3, 5\}$) recuperados dos conjuntos de treinamento/dev.
     • Estratégias de Recuperação:
       • Seleção Aleatória: Linha de base para few-shot.
       • Sobreposição Lexical: Utiliza sobreposição de tokens ponderada por TF-IDF para encontrar documentos semelhantes em nível superficial.
       • Semelhança de Embedding: Utiliza distiluse-base-multilingual-cased-v2 para encontrar documentos semanticamente semelhantes via similaridade de cosseno.
  3. Pós-processamento: As saídas do LLM (listas Python de tuplas) são convertidas para o formato IOB exigido pelo HIPE-scorer.
  4. Método de Ensemble: Votação Majoritária é aplicada entre as três execuções experimentais para agregar previsões e reduzir a variância.

Métricas de Avaliação:

• HIPE-scorer: Ferramenta de avaliação oficial utilizada.
• Configurações: Pontuações F1 (Micro) tanto Estritas (correspondência exata de limites e rótulo) quanto Fuzzy (sobreposição com rótulo correto).
• Análise Estatística: Média e intervalos de confiança sobre três execuções; testes de Wilcoxon com correção de Bonferroni para significância.

3. Principais Contribuições

1. Avaliação Empírica: Uma avaliação abrangente de LLMs para NER histórica em cinco idiomas e múltiplos gêneros usando um paradigma zero/few-shot.
2. Comparação de Estratégias: Uma análise comparativa de prompting zero-shot versus few-shot, revelando que o prompting de exemplo único (1-shot) é frequentemente superior às abordagens de múltiplos exemplos (3-shot, 5-shot).
3. Análise de Recuperação: Investigação sobre métodos de seleção de exemplos (Aleatório vs. Lexical vs. Embedding), constatando que a presença de um exemplo importa mais do que o método de seleção.
4. Análise de Erros: Categorização detalhada de tipos de erros (por exemplo, entidades perdidas, substituição de tipo) para entender como o prompting mitiga modos de falha específicos.

4. Principais Resultados

• Ganho de Desempenho: O prompting few-shot supera significativamente a linha de base zero-shot em todos os conjuntos de dados. Mesmo um único exemplo aleatório melhora substancialmente o desempenho.
• O Fenômeno "Um Exemplo": Contrariando a intuição, fornecer mais exemplos (3 ou 5) frequentemente diminui o desempenho em comparação com o uso de apenas um. Os autores atribuem isso ao comprimento do prompt exceder a janela de contexto ótima do modelo ou à diluição da clareza da tarefa.
• Estratégia de Seleção: Não houve diferença estatisticamente significativa entre as estratégias de seleção Aleatória, Sobreposição Lexical e Semelhança de Embedding para prompts de exemplo único. O modelo generaliza bem independentemente de como o exemplo é escolhido.
• Votação Majoritária: Aplicar votação majoritária sobre três execuções produz melhorias modestas, particularmente em configurações Fuzzy, mas os ganhos são frequentemente estatisticamente insignificantes em configurações Estritas.
• Comparação com SOTA:
  • O prompting baseado em LLM geralmente desempenha pior do que modelos State-of-the-Art (SOTA) totalmente supervisionados (que usam ajuste fino em dados anotados) por uma margem significativa (por exemplo, -0,20 F1 em ajmc (de)).
  • Exceção: A abordagem baseada em LLM superou ligeiramente o SOTA anterior no conjunto de dados Sonar (de).
• Redução de Erros: O prompting few-shot é mais eficaz na redução de erros de "Entidade Perdida" (Tipo 2) e "Substituição de Tipo de Entidade" (Tipo 3), ajudando o modelo a alinhar-se com categorias corretas.

5. Significado e Implicações

• Alternativa Viável de Baixo Recurso: Embora não seja ainda um substituto para o ajuste fino supervisionado em cenários de alta precisão, o prompting de LLM oferece uma linha de base custo-efetiva, agnóstica a idiomas e sem treinamento para NER histórica onde dados anotados são inexistentes ou muito caros para produzir.
• Eficiência: A descoberta de que 1-shot é ótimo sugere que pesquisadores podem alcançar resultados fortes com mínimo esforço de engenharia de prompt e sobrecarga de recuperação, evitando a complexidade de grandes janelas de contexto.
• Impacto em Humanidades Digitais: Esta abordagem permite a análise de corpora históricos multilíngues e com poucos recursos, sem o gargalo da anotação manual, facilitando o acesso mais amplo a materiais de arquivo.
• Direções Futuras: O artigo sugere trabalhos futuros em otimização de prompt (compressão), recuperação avançada usando metadados históricos e expansão da avaliação para corpora mais amplos para melhorar a generalizabilidade.

Conclusão: O estudo demonstra que LLMs são uma ferramenta poderosa para NER histórica em cenários de baixos recursos. Embora ainda não alcancem a precisão de modelos supervisionados treinados em dados específicos, sua capacidade de desempenhar razoavelmente bem com zero ou um exemplo os torna uma solução prática e escalável para as humanidades digitais.