DELICATE: Diachronic Entity LInking using Classes And Temporal Evidence

Resumo Técnico: DELICATE – Vinculação Diacrônica de Entidades usando Classes e Evidências Temporais

Declaração do Problema
A Vinculação de Entidades (VE) no campo das Humanidades Digitais (HD) e no processamento de textos históricos enfrenta desafios significativos que os modelos de última geração (State-of-the-Art - SoTA) de propósito geral não conseguem abordar adequadamente. Esses desafios incluem variações linguísticas ao longo do tempo, a necessidade de um contexto cronológico preciso e a prevalência de entidades de "cauda longa" sub-representadas em Bases de Conhecimento (KBs). Métodos específicos de domínio existentes frequentemente dependem de regras rígidas e manualmente elaboradas para filtragem temporal e de tipo, as quais carecem de generalização. Além disso, há uma escassez de conjuntos de dados de referência em italiano para o treinamento de modelos históricos de VE, e as abordagens atuais que utilizam Grandes Modelos de Linguagem (LLMs) frequentemente sofrem com altos custos computacionais, riscos de alucinação e falta de interpretabilidade em relação aos seus processos de tomada de decisão.

Metodologia
O artigo apresenta o DELICATE, uma arquitetura supervisionada inovadora projetada para realizar Desambiguação de Entidades (DE) em textos históricos italianos. O sistema opera por meio de um pipeline de duas etapas:

1. Recuperação de Candidatos (Bi-Encoder): O sistema utiliza um bi-encoder baseado em BERT congelado (especificamente o modelo BLINKITA) para codificar contextos de menção e descrições de entidades da Wikipedia em um espaço latente compartilhado. Uma busca por k-Vizinhos Mais Próximos (k-NN) é realizada contra um índice vetorial denso (FAISS) contendo embeddings de aproximadamente 1,5 milhão de entidades da Wikipedia italiana para recuperar uma lista de top-k candidatos.
2. Reclassificação de Candidatos (Árvores de Gradiente Boosted): Diferentemente das abordagens padrão que dependem exclusivamente da similaridade de embeddings, o DELICATE emprega um classificador supervisionado de Árvores de Gradiente Boosted (GBTs) para reclassificar os candidatos recuperados. Este classificador ingere um conjunto de características de similaridade par a par derivadas tanto da etapa de recuperação quanto de KBs externas (Wikidata):
   • Similaridade Vetorial: Distâncias L2 entre embeddings de menção e entidade.
   • Similaridade de String: Distâncias de Levenshtein e Jaccard entre formas superficiais.
   • Similaridade de Tipo: Uma correspondência binária entre o tipo de entidade da menção (Pessoa, Local, Organização, Obra) e a classe Wikidata do candidato.
   • Intervalo Temporal: O delta de tempo entre a data de publicação do documento e a data mais antiga associada à entidade na Wikidata (por exemplo, data de nascimento, início).

O modelo GBTs é treinado para prever a probabilidade de uma correspondência correta, permitindo uma avaliação dinâmica da relevância contextual. O sistema também suporta uma variante, DELICATE +LLM, onde um LLM de código aberto ajustado por instruções (Mistral-Small-24B) é solicitado a selecionar o candidato final entre as top-10 entidades reclassificadas, substituindo efetivamente o limite fixo para previsão NIL (Sem Vinculação).

Principais Contribuições

1. A Arquitetura DELICATE: Uma abordagem híbrida que combina a eficiência da recuperação neural com a explicabilidade e a sensibilidade a características da aprendizagem supervisionada baseada em árvores. Ela incorpora explicitamente a plausibilidade temporal e a consistência do tipo de entidade da Wikidata como características aprendíveis, em vez de filtros rígidos.
2. O Corpus ENEIDE: Os autores introduzem o ENEIDE (Entidades Nomeadas Extraídas de Edições Digitais Italianas), um corpus de VE multi-domínio para o italiano histórico. Extraído semi-automaticamente de duas Edições Digitais Acadêmicas (Digital Zibaldone e Aldo Moro Digitale) abrangendo os séculos XIX e XX, inclui textos literários e políticos com anotações vinculadas à Wikidata.
3. Análise de Explicabilidade: O estudo demonstra que a abordagem baseada em GBTs produz pontuações de confiança com maior correlação com a correção em comparação com métodos puramente neurais ou generativos, oferecendo maior interpretabilidade para verificação com intervenção humana.

Resultados Experimentais
Os autores avaliaram o DELICATE no corpus ENEIDE e no conjunto de dados fora do domínio MHERCL-ITA (periódicos musicais históricos), comparando-o com baselines incluindo BLINKITA, mGENRE e ChatEL (uma abordagem baseada em LLM).

• Desempenho no ENEIDE: As variantes do DELICATE superaram todas as baselines tanto nas tarefas de Desambiguação de Entidades (DE) quanto de VE de ponta a ponta. Especificamente, o DELICATE +LLM alcançou a maior precisão micro-médiada (63,05% no Digital Zibaldone e 72,67% no Aldo Moro Digitale). O modelo mostrou força particular na desambiguação de entidades de pessoa ao aproveitar pistas temporais.
• Desempenho no MHERCL-ITA: Neste conjunto de dados com mudança de domínio e alta proporção de entidades NIL (28,67%), o DELICATE +LLM alcançou uma precisão micro-médiada de 70,44%, superando significativamente a variante apenas com GBT e as baselines genéricas. Isso sugere que o componente LLM lida efetivamente com cenários de alto NIL onde limites fixos falham.
• Explicabilidade: Testes de permutação revelaram que a similaridade vetorial e a similaridade de string foram as características mais importantes, mas os intervalos temporais permaneceram altamente relevantes (5ª mais importante). Testes de correlação ponto-biserial mostraram que o DELICATE (sem LLM) produziu pontuações de confiança fortemente correlacionadas com a correção (0,79 no Digital Zibaldone), enquanto métodos baseados em LLM mostraram correlação menor, indicando redução na interpretabilidade de suas medidas de confiança.

Significado e Alegações
O artigo alega que o DELICATE oferece uma alternativa computacionalmente eficiente e ambientalmente sustentável aos pesados sistemas de VE baseados em LLM, particularmente para instituições de Patrimônio Cultural com recursos limitados. Ao congelar o bi-encoder e treinar apenas um classificador GBT leve, o sistema alcança adaptação rápida com requisitos mínimos de dados.

Os autores afirmam que sua abordagem complementa, em vez de competir com, arquiteturas baseadas em LLM. A integração de informações estruturadas de KB (datas e classes) por meio de um reclassificador supervisionado fornece um mecanismo robusto para lidar com variações diacrônicas e entidades de cauda longa. Além disso, o lançamento do corpus ENEIDE aborda uma lacuna crítica na PLN histórica italiana, fornecendo um benchmark padronizado para pesquisas futuras. O estudo conclui que, embora os LLMs possam aprimorar a seleção de candidatos, especialmente para previsão NIL, combiná-los com reclassificação supervisionada e interpretável produz os resultados mais robustos e explicáveis para vinculação de entidades históricas.