A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

Resumo Técnico: Um Estudo de Estratégias de Fusão Temporal para Reconhecimento de Entidades Nomeadas em Textos Históricos

Definição do Problema
O Reconhecimento de Entidades Nomeadas (NER) em textos históricos enfrenta um desafio único: a variação temporal. As entidades em documentos históricos sofrem deriva em sua forma superficial, saliência e significado ao longo do tempo. Embora os grandes modelos de linguagem (LMs) tenham avançado em tarefas gerais de PLN, sua capacidade de raciocinar sobre a temporalidade, particularmente em contextos diacrônicos, permanece limitada. Estudos existentes indicam que mesmo modelos avançados exibem vieses de direcionalidade, calibração temporal deficiente e dificuldade em reter fatos ancorados temporalmente. Além disso, embora representações temporais (ex: vetores de tempo, grafos temporais) tenham sido exploradas para outras tarefas, elas permanecem amplamente desconectadas de tarefas ao nível de token como o NER. O NER histórico é ainda mais complicado pela deriva diacrônica, degradação de OCR e variação multilíngue, contudo, poucos estudos compararam sistematicamente estratégias arquiteturais para integrar metadados temporais em modelos de NER.

Metodologia
Os autores tratam o NER histórico como uma tarefa de classificação de tokens onde a entrada consiste em uma sequência de tokens $X$ e um ano de publicação do documento $year$. Eles empregam uma arquitetura baseada em Transformer e injetam sistematicamente informações temporais usando embeddings de ano explícitos ($y = \text{Emb}(year)$). O estudo compara dois modos de codificação temporal:

1. Modo Absoluto: O índice do embedding corresponde diretamente ao ano de publicação (ex: 1889).
2. Modo de Distância Temporal: O embedding representa o número de anos entre a publicação do documento e um ano de referência fixo (2025), atribuindo índices menores para documentos mais recentes.

A contribuição central reside na comparação de estratégias de fusão temporal, categorizadas em fusão precoce (early fusion - injetando o tempo antes ou durante a codificação) e fusão tardia (late fusion - aplicando o tempo ao output do codificador):

• Baseline: Sem fusão temporal.
• Fusão Precoce (Early Fusion):
  • Fusão por Atenção Cruzada (Cross-Attention Fusion): Injeta informação temporal via atenção cruzada entre os embeddings de tokens e o embedding do ano antes da codificação.
• Fusão Tardia (Late Fusion):
  • Fusão por Adaptador (Adapter Fusion): Um MLP leve processa o embedding do ano e adiciona o resultado a cada representação de token.
  • Fusão por Concatenação (Concatenation Fusion): O embedding do ano é concatenado ao vetor de cada token e projetado de volta para a dimensionalidade original.
  • Fusão Temporal Relativa (Relative Temporal Fusion): Um codificador não linear transforma o embedding do ano em uma representação relativa usada em um mecanismo de modulação linear por característica (FiLM).
  • Fusão por Atenção Cruzada (Late Cross-Attention): Funde a informação temporal com o output do codificador usando atenção cruzada após a codificação.

Configuração Experimental
Os modelos foram avaliados no dataset HIPE-2020, especificamente nos subconjuntos francês e alemão, que contêm metadados de ano de publicação. Os datasets cobrem uma ampla gama temporal (Francês: 1798–2018; Alemão: 1798–1950) e incluem ruído significativo de OCR (aprox. 33% para o francês, 43% para o alemão). Os autores utilizaram uma variante multilíngue histórica do BERT como modelo base, realizando o ajuste fino (fine-tuning) com pontuações F1 micro-médias como métrica primária.

Principais Resultados

1. Ganhos de Desempenho: Estratégias de fusão tardia produziram consistentemente um desempenho mais robusto e generalizável temporalmente em comparação com a fusão precoce e o baseline. Isso foi particularmente evidente em períodos iniciais e ruidosos (1800–1850) e para menções de entidades estruturalmente complexas e longas.
2. Modos Temporais: O impacto do modo de codificação (absoluto vs. distância temporal) dependeu do idioma. No alemão, a codificação de distância temporal proporcionou ganhos notáveis (até +3 F1) para estratégias como concatenação e adaptadores. No francês, os resultados foram menos consistentes, com algumas estratégias performando melhor com a codificação absoluta.
3. Sensibilidade da Entidade: Estratégias de fusão tardia mostraram um ganho estável ou positivo para entidades longas (20+ caracteres), sugerindo que injetar sinais temporais em estágios posteriores ajuda a preservar distinções de superfície críticas para entidades complexas.
4. Internalização do Tempo: Experimentos de sondagem linear (linear probing), onde o ano real do documento foi substituído por um ano aleatório durante a inferência, confirmaram que os modelos de fusão tardia realmente internalizam sinais temporais em seu espaço latente. As estratégias de atenção cruzada tardia, adaptador e concatenação alcançaram a maior precisão de sondagem, enquanto os modelos de fusão precoce e o baseline mostraram mínima codificação temporal.
5. Significância Estatística: Embora a fusão temporal tenha geralmente melhorado o desempenho, os ganhos foram frequentemente sutis. Testes t pareados revelaram que a maioria das estratégias não apresentou melhorias estatisticamente significativas no limiar de $p < 0,05$, com exceção da estratégia de atenção cruzada tardia sob o modo temporal absoluto ($p = 0,041$).

Significância e Alegações
O artigo afirma que a injeção estrutural de tempo em arquiteturas Transformer via estratégias de fusão modulares gera ganhos modestos, porém consistentes, para o NER histórico através de diferentes idiomas e décadas. Os autores enfatizam que a fusão tardia é a abordagem mais robusta, particularmente para lidar com dados de períodos iniciais ruidosos e reconhecer tipos de entidades temporalmente variáveis, como localizações.

O estudo conclui que, embora a abordagem não seja inovadora em termos de capacidades generativas, ela oferece um aprimoramento prático e leve para corpora históricos. Isso é significativo porque corpora históricos do mundo real frequentemente enfrentam restrições (ex: privacidade, políticas restritivas) que impedem o uso de LLMs generativos massivos. Nesses contextos, métodos estruturados que utilizam metadados como datas de publicação permanecem uma fonte vital de informação para modelos interpretáveis. Os autores recomendam adotar a fusão tardia, testar ambos os modos de codificação temporal com base no idioma e configuração específicos, e utilizar a fusão temporal como um aprimoramento direcionado para dados históricos ruidosos.

Limitações
Os autores reconhecem diversas limitações: o estudo é restrito à granularidade de nível de ano (carecendo de resolução temporal mais fina); os resultados limitam-se aos subconjuntos francês e alemão do HIPE-2020; a análise de sondagem foca apenas em decodificabilidade linear; e as avaliações foram conduzidas sob condições controladas com uma única arquitetura de backbone, o que significa que aplicações no mundo real com metadados ausentes podem apresentar resultados diferentes.