A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

Résumé Technique : Une étude des stratégies de fusion temporelle pour la reconnaissance d'entités nommées dans les textes historiques

Énoncé du problème
La reconnaissance d'entités nommées (NER) dans les textes historiques fait face à un défi unique : la variation temporelle. Les entités dans les documents historiques dérivent dans leur forme de surface, leur saillance et leur signification à travers le temps. Bien que les grands modèles de langage (LLM) aient fait progresser les tâches de NLP général, leur capacité à raisonner sur la temporalité, particulièrement dans des contextes diachroniques, reste limitée. Des études existantes indiquent que même les modèles avancés présentent des biais de directionnalité, un faible calibrage temporel et une difficulté à conserver des faits ancrés temporellement. De plus, bien que les représentations temporelles (par exemple, les vecteurs de temps, les graphes temporels) aient été explorées pour d'autres tâches, elles restent largement déconnectées des tâches au niveau du jeton (token) comme la NER. La NER historique est en outre compliquée par la dérive diachronique, la dégradation de l'OCR et la variation multilingue, pourtant peu d'études ont comparé systématiquement les stratégies architecturales pour intégrer les métadonnées temporelles dans les modèles de NER.

Méthodologie
Les auteurs traitent la NER historique comme une tâche de classification de jetons où l'entrée consiste en une séquence de jetons $X$ et une année de publication du document $year$. Ils emploient une architecture basée sur les Transformers et injectent systématiquement l'information temporelle via des plongements d'années explicites ($y = \text{Emb}(year)$). L'étude compare deux modes d'encodage temporel :

1. Mode Absolu : L'indice du plongement correspond directement à l'année de publication (par exemple, 1889).
2. Mode Distance Temporelle : Le plongement représente le nombre d'années entre la publication du document et une année de référence fixe (2025), attribuant des indices plus bas aux documents plus récents.

La contribution centrale réside dans la comparaison des stratégies de fusion temporelle, classées en fusion précoce (injection du temps avant ou pendant l'encodage) et fusion tardive (application du temps à la sortie de l'encodeur) :

• Baseline (Référence) : Aucune fusion temporelle.
• Fusion Précoce (Early Fusion) :
  • Fusion par Attention Croisée (Cross-Attention Fusion) : Injecte l'information temporelle via une attention croisée entre les plongements de jetons et le plongement de l'année avant l'encodage.
• Fusion Tardive (Late Fusion) :
  • Fusion par Adaptateur (Adapter Fusion) : Un MLP léger traite le plongement de l'année et ajoute le résultat à chaque représentation de jeton.
  • Fusion par Concatenation (Concatenation Fusion) : Le plongement de l'année est concaténé à chaque vecteur de jeton et projeté vers la dimensionnalité d'origine.
  • Fusion Temporelle Relative : Un encodeur non linéaire transforme le plongement de l'année en une représentation relative utilisée dans un mécanisme de modulation linéaire par caractéristique (FiLM).
  • Fusion par Attention Croisée (Late Cross-Attention) : Fusionne l'information temporelle avec la sortie de l'encodeur en utilisant l'attention croisée après l'encodage.

Configuration Expérimentale
Les modèles ont été évalués sur le jeu de données HIPE-2020, spécifiquement les sous-ensembles français et allemand, qui contiennent des métadonnées d'année de publication. Les jeux de données couvrent une large plage temporelle (Français : 1798–2018 ; Allemand : 1798–1950) et incluent un bruit d'OCR significatif (environ 33 % pour le français, 43 % pour l'allemand). Les auteurs ont utilisé une variante multilingue historique de BERT comme modèle de base, en effectuant un ajustement fin (fine-tuning) avec les scores F1 micro-moyennés comme métrique principale.

Résultats Clés

1. Gains de Performance : Les stratégies de fusion tardive ont systématiquement produit des performances plus robustes et plus généralisables temporellement par rapport à la fusion précoce et à la baseline. Cela était particulièrement évident pour les périodes précoces et bruitées (1800–1850) et pour les mentions d'entités longues et structurellement complexes.
2. Modes Temporels : L'impact du mode d'encodage (absolu vs distance temporelle) dépendait de la langue. En allemand, l'encodage de distance temporelle a apporté des gains notables (jusqu'à +3 F1) pour des stratégies comme la concaténation et les adaptateurs. En français, les résultats étaient moins cohérents, certaines stratégies performant mieux avec l'encodage absolu.
3. Sensibilité des Entités : Les stratégies de fusion tardive ont montré un gain stable ou positif pour les entités longues (20+ caractères), suggérant que l'injection de signaux temporels à des étapes ultérieures aide à préserver les distinctions de surface critiques pour les entités complexes.
4. Internalisation du Temps : Des expériences de sondage linéaire (linear probing), où l'année réelle du document était remplacée par une année aléatoire lors de l'inférence, ont confirmé que les modèles de fusion tardive internalisent réellement les signaux temporels dans leur espace latent. Les stratégies d'attention croisée tardive, d'adaptateur et de concaténation ont atteint la plus haute précision de sondage, tandis que la fusion précoce et la baseline montraient une faible encodage temporel.
5. Signification Statistique : Bien que la fusion temporelle améliore généralement les performances, les gains étaient souvent subtils. Des tests t appariés ont révélé que la plupart des stratégies ne produisaient pas d'améliorations statistiquement significatives au seuil $p < 0,05$, à l'exception de la stratégie d'attention croisée tardive sous le mode temporel absolu ($p = 0,041$).

Signification et Revendications
L'article affirme que l'injection structurelle du temps dans les architectures Transformer via des stratégies de fusion modulaires produit des gains modestes mais constants pour la NER historique à travers les langues et les décennies. Les auteurs soulignent que la fusion tardive est l'approche la plus robuste, particulièrement pour gérer les données des périodes précoces et bruitées, ainsi que pour reconnaître des types d'entités temporellement variables comme les lieux.

L'étude conclut que, bien que l'approche ne soit pas novatrice en termes de capacités génératives, elle offre une amélioration pratique et légère pour les corpus diachroniques. Cela est significatif car les corpus historiques réels font souvent face à des contraintes (par exemple, la confidentialité, les politiques restrictives) qui empêchent l'utilisation de LLM génératifs massifs. Dans de tels contextes, les méthodes structurées exploitant des métadonnées comme les dates de publication restent une source d'information vitale pour des modèles interprétables. Les auteurs recommandent d'adopter la fusion tardive, de tester les deux modes d'encodage temporel selon la langue et la configuration spécifiques, et d'utiliser la fusion temporelle comme une amélioration ciblée pour les données historiques bruitées.

Limites
Les auteurs reconnaissent plusieurs limites : l'étude est restreinte à une granularité au niveau de l'année (manquant de résolution temporelle plus fine) ; les résultats sont limités aux sous-ensembles français et allemand de HIPE-2020 ; l'analyse de sondage se concentre uniquement sur la décodabilité linéaire ; et les évaluations ont été menées dans des conditions contrôlées avec une architecture de base unique, ce qui signifie que les applications réelles avec des métadonnées manquantes pourraient donner des résultats différents.