A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

Resumen Técnico: Un estudio de estrategias de fusión temporal para el Reconocimiento de Entidades Nombradas en textos históricos

Planteamiento del problema
El Reconocimiento de Entidades Nombradas (NER) en textos históricos enfrenta un desafío único: la variación temporal. Las entidades en los documentos históricos derivan en su forma superficial, saliencia y significado a través del tiempo. Aunque los modelos de lenguaje (LM) han avanzado en tareas generales de PLN, su capacidad para razonar sobre la temporalidad, particularmente en contextos diacrónicos, sigue siendo limitada. Estudios existentes indican que incluso los modelos avanzados exhiben sesgos de direccionalidad, una pobre calibración temporal y dificultad para retener hechos anclados temporalmente. Además, aunque las representaciones temporales (por ejemplo, vectores temporales, grafos temporales) se han explorado para otras tareas, permanecen mayormente desconectadas de las tareas a nivel de token como el NER. El NER histórico se complica aún más por la deriva diacrónica, la degradación por OCR y la variación multilingüe, sin embargo, pocos estudios han comparado sistemáticamente las estrategias arquitectónicas para integrar metadatos temporales en modelos de NER.

Metodología
Los autores tratan el NER histórico como una tarea de clasificación de tokens donde la entrada consiste en una secuencia de tokens $X$ y un año de publicación del documento $year$. Emplean una arquitectura basada en Transformers e inyectan información temporal de manera sistemática mediante embeddings de año explícitos ($y = \text{Emb}(year)$). El estudio compara dos modos de codificación temporal:

1. Modo Absoluto: El índice del embedding corresponde directamente al año de publicación (por ejemplo, 1889).
2. Modo de Distancia Temporal: El embedding representa los años transcurridos entre la publicación del documento y un año de referencia fijo (2025), asignando índices más bajos a los documentos más recientes.

La contribución central radica en la comparación de las estrategias de fusión temporal, categorizadas en fusión temprana (inyectar el tiempo antes o durante la codificación) y fusión tardía (aplicar el tiempo al resultado del codificador):

• Línea base (Baseline): Sin fusión temporal.
• Fusión Temprana:
  • Fusión por Atención Cruzada (Cross-Attention Fusion): Inyecta información temporal mediante atención cruzada entre los embeddings de los tokens y el embedding del año antes de la codificación.
• Fusión Tardía:
  • Fusión por Adaptador (Adapter Fusion): Un MLP ligero procesa el embedding del año y añade el resultado a cada representación de token.
  • Fusión por Concatenación (Concatenation Fusion): El embedding del año se concatena a cada vector de token y se proyecta de nuevo a la dimensionalidad original.
  • Fusión Temporal Relativa: Un codificador no lineal transforma el embedding del año en una representación relativa utilizada en un mecanismo de modulación lineal de características por tipo (FiLM).
  • Fusión por Atención Cruzada (Tardía): Fusiona la información temporal con la salida del codificador mediante atención cruzada después de la codificación.

Configuración Experimental
Los modelos fueron evaluados en el conjunto de datos HIPE-2020, específicamente en los subconjuntos francés y alemán, que contienen metadatos del año de publicación. Los conjuntos de datos cubren un amplio rango temporal (Francés: 1798–2018; Alemán: 1798–1950) e incluyen un ruido de OCR significativo (aprox. 33% para el francés, 43% para el alemán). Los autores utilizaron una variante multilingüe histórica de BERT como modelo base, realizando un ajuste fino (fine-tuning) con puntuaciones F1 micro-promediadas como métrica principal.

Resultados Clave

1. Ganancias de Rendimiento: Las estrategias de fusión tardía arrojaron consistentemente un rendimiento más robusto y temporalmente generalizable en comparación con la fusión temprana y la línea base. Esto fue particularmente evidente en periodos tempranos y ruidosos (1800–1850) y para menciones de entidades estructuralmente complejas y largas.
2. Modos Temporales: El impacto del modo de codificación (absoluto vs. distancia temporal) dependió del idioma. En alemán, la codificación de distancia temporal proporcionó ganancias notables (hasta +3 F1) para estrategias como la concatenación y los adaptadores. En francés, los resultados fueron menos consistentes, con algunas estrategias funcionando mejor con la codificación absoluta.
3. Sensibilidad de la Entidad: Las estrategias de fusión tardía mostraron una ganancia estable o positiva para entidades largas (más de 20 caracteres), lo que sugiere que inyectar señales temporales en etapas posteriores ayuda a preservar las distinciones de superficie críticas para entidades complejas.
4. Internalización del Tiempo: Experimentos de sondeo lineal (linear probing), donde el año real del documento se reemplazó por un año aleatorio durante la inferencia, confirmaron que los modelos de fusión tardía internalizan genuinamente las señales temporales en su espacio latente. Las estrategias de atención cruzada tardía, de adaptador y de concatenación lograron la mayor precisión de sondeo, mientras que la fusión temprana y la línea base mostraron una codificación temporal mínima.
5. Significancia Estadística: Aunque la fusión temporal generalmente mejoró el rendimiento, las ganancias fueron a menudo sutiles. Las pruebas t de muestras pareadas revelaron que la mayoría de las estrategias no produjeron mejoras estadísticamente significativas bajo el umbral $p < 0.05$, con la excepción de la estrategia de atención cruzada tardía bajo el modo temporal absoluto ($p = 0.041$).

Significancia y Reivindicaciones
El artículo sostiene que la inyección estructural del tiempo en arquitecturas Transformer mediante estrategias de fusión modulares produce ganancias modestas pero consistentes para el NER histórico a través de diversos idiomas y décadas. Los autores enfatizan que la fusión tardía es el enfoque más robusto, particularmente para manejar datos de periodos tempranos ruidosos y reconocer tipos de entidades temporalmente variables como las ubicaciones.

El estudio concluye que, si bien el enfoque no es novedoso en términos de capacidades generativas, ofrece una mejora práctica y ligera para corpus diacrónicos. Esto es significativo porque los corpus históricos del mundo real suelen enfrentar restricciones (por ejemplo, privacidad, políticas restrictivas) que impiden el uso de LLM generativos masivos. En tales contextos, los métodos estructurados que aprovechan metadatos como las fechas de publicación siguen siendo una fuente vital de información para modelos interpretables. Los autores recomiendan adoptar la fusión tardía, probar ambos modos de codificación temporal según el idioma y la configuración específicos, y utilizar la fusión temporal como una mejora dirigida para datos históricos ruidosos.

Limitaciones
Los autores reconocen varias limitaciones: el estudio está restringido a la granularidad de nivel de año (carece de una resolución temporal más fina); los resultados se limitan a los subconjuntos francés y alemán de HIPE-2020; el análisis de sondeo se centra únicamente en la decodificabilidad lineal; y las evaluaciones se realizaron bajo condiciones controladas con una única arquitectura de base, lo que significa que las aplicaciones en el mundo real con metadatos faltantes podrían arrojar resultados diferentes.