A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

Technische Samenvatting: Een studie naar temporele fusiestrategieën voor Named Entity Recognition in historische teksten

Probleemstelling
Named Entity Recognition (NER) in historische teksten staat voor een unieke uitdaging: temporele variatie. Entiteiten in historische documenten veranderen in oppervlakkige vorm, salientie en betekenis door de tijd heen. Hoewel grote taalmodellen (LM's) geavanceerde algemene NLP-taken hebben vooruitgestreden, blijft hun vermogen om over temporaliteit te redeneren, met name in diachrone contexten, beperkt. Bestaande studies geven aan dat zelfs geavanceerde modellen richting-biases vertonen, een gebrekkige temporele kalibratie hebben en moeite hebben met het behouden van temporeel verankerde feiten. Bovendien zijn temporele representaties (bijv. tijdvectoren, temporele grafen) weliswa door anderen verkend voor andere taken, maar blijven ze grotendeels losgekoppeld van token-niveau taken zoals NER. Historische NER wordt verder bemoeilijkt door diachrone drift, OCR-degradatie en meertalige variatie, terwijl weinig studies systematisch de architecturale strategieën voor het integreren van temporele metadata in NER-modellen hebben vergeleken.

Methodologie
De auteurs behandelen historische NER als een token classificatietaak waarbij de input bestaat uit een tokensequentie $X$ en een publicatiejaar van het document $year$. Ze maken gebruik van een Transformer-gebaseerde architectuur en injecteren systematisch temporele informatie via expliciete jaar-embeddings ($y = \text{Emb}(year)$). De studie vergelijkt twee modi van temporele codering:

1. Absolute Modus: De embedding-index komt direct overeen met het publicatiejaar (bijv. 1889).
2. Tijd-Afstand Modus: De embedding vertegenwoordigt het aantal jaren tussen de publicatie van het document en een vast referentiejaar (2025), waarbij lagere indices worden toegewezen aan recentere documenten.

De kernbijdrage ligt in de vergelijking van temporele fusiestrategieën, gecategoriseerd in vroege fusie (het injecteren van tijd vóór of tijdens de codering) en late fusie (het toepassen van tijd op de encoder-output):

• Baseline: Geen temporele fusie.
• Vroege Fusie:
  • Cross-Attention Fusie: Injecteert temporele informatie via cross-attention tussen token-embeddings en de jaar-embedding vóór de codering.
• Late Fusie:
  • Adapter Fusie: Een lichtgewicht MLP verwerkt de jaar-embedding en voegt het resultaat toe aan elke token-representatie.
  • Concatenatie Fusie: De jaar-embedding wordt geconcateneerd met elke token-vector en geprojecteerd terug naar de oorspronkelijke dimensionaliteit.
  • Relatieve Temporele Fusie: Een niet-lineaire encoder transformeert de jaar-embedding in een relatieve representatie die wordt gebruikt in een feature-wise linear modulation (FiLM) mechanisme.
  • Cross-Attention Fusie (Late): Fuseert temporele informatie met de encoder-output met behulp van cross-attention na de codering.

Experimentele Opzet
De modellen werden geëvalueerd op de HIPE-2020 dataset, specifief de Franse en Duitse subsets, die metadata bevatten over het publicatiejaar. De datasets dekken een breed temporeel bereik (Frans: 1798–2018; Duits: 1798–1950) en bevatten aanzienlijke OCR-ruis (ongeveer 33% voor Frans, 43% voor Duits). De auteurs gebruikten een meertalige historische variant van BERT als basismodel, fijn afgestemd met micro-gemiddelde F1-scores als primaire metriek.

Belangrijkste Resultaten

1. Prestatiewinst: Late fusie-strategieën leverden consequent robuustere en temporeel meer generaliseerbare prestaties op vergeleken met vroege fusie en de baseline. Dit was bijzonder zichtbaar in vroege, ruisgevoelige perioden (1800–1850) en voor langere, structureel complexe entiteitsvermeldingen.
2. Temporele Modi: De impact van de coderingsmodus (absoluut versus tijd-afstand) was taalspecifiek. In het Duits zorgde de tijd-afstand codering voor opmerkelijke winst (tot +3 F1) voor strategieën zoals concatenatie en adapters. In het Frans waren de resultaten minder consistent, waarbij sommige strategieën beter presteerden met absolute codering.
3. Entiteitsgevoeligheid: Late fusie-strategieën vertoonden een stabiele of positieve winst voor langere entiteiten (20+ tekens), wat suggereert dat het injecteren van temporele signalen in latere stadia helpt bij het behouden van de oppervlakkige distincties die cruciaal zijn voor complexe entiteiten.
4. Internalisering van Tijd: Linear probing experimenten, waarbij het werkelijke documentjaar tijdens inferentie werd vervangen door een willekeurig jaar, bevestigden dat late fusie-modellen temporele signalen daadwerkelijk internaliseren in hun latente ruimte. Late cross-attention, adapter en concatenatie strategieën behaalden de hoogste probing-nauwkeurigheid, terwijl vroege fusie en baseline-modellen minimale temporele codering vertoonden.
5. Statistische Significantie: Hoewel temporele fusie over het algemeen de prestaties verbeterde, waren de winsten vaak subtiel. Gepaarde t-testen toonden aan dat de meeste strategieën geen statistisch significante verbeteringen opleverden op de $p < 0,05$ drempelwaarde, met uitzondering van de late-cross-attention strategie onder de absolute temporele modus ($p = 0,041$).

Betekenis en Claims
Het artikel beweert dat het structureel injecteren van tijd in Transformer-architecturen via modulaire fusiestrategieën bescheiden maar consistente winsten oplevert voor historische NER over verschillende talen en decennia. De auteurs benadrukken dat late fusie de meest robuuste aanpak is, vooral voor het afhandelen van ruisgevoelige, vroege perioden en het herkennen van temporeel variabele entiteitstypen zoals locaties.

De studie concludeert dat hoewel de aanpak niet nieuw is in termen van generatieve capaciteiten, het een praktische, lichtgewicht verbetering biedt voor diachrone corpora. Dit is significant omdat echte historische corpora vaak te maken hebben met beperkingen (bijv. privacy, restrictieve beleidsregels) die het gebruik van massale generatieve LLM's verhinderen. In dergelijke contexten blijven gestructureerde methoden die gebruikmaken van metadata zoals publicatiedatums een vitale bron van informatie voor interpreteerbare modellen. De auteurs bevelen het gebruik van late fusie aan, het testen van beide temporele coderingsmodi op basis van de specifieke taal en setup, en het gebruik van temporele fusie als een gerichte verbetering voor ruisgevoelige historische data.

Beperkingen
De auteurs erkennen verschillende beperkingen: de studie is beperkt tot jaar-niveau granulariteit (zonder fijnere temporele resolutie); de resultaten zijn beperkt tot de Franse en Duitse subsets van HIPE-2020; de probing-analyse richt zich alleen op lineaire decodeerbaarheid; en de evaluaties werden uitgevoerd onder gecontroleerde omstandigheden met een enkele backbone-architectuur, wat betekent dat real-world toepassingen met ontbrekende metadata andere uitkomsten kunnen geven.