A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

Technische Zusammenfassung: Eine Studie über temporale Fusionsstrategien für die Benennung von Entitäten in historischen Texten

Problemstellung
Die Benennung von Entitäten (Named Entity Recognition, NER) in historischen Texten steht vor einer einzigartigen Herausforderung: der temporalen Variation. Entitäten in historischen Dokumenten verändern über die Zeit ihre Oberflächenform, Salienz und Bedeutung. Während große Sprachmodelle (LMs) die allgemeine NLP-Aufgaben vorangebracht haben, bleibt ihre Fähigkeit, über Temporalität zu schlussfolgern – insbesondere in diachronen Kontexten – begrenzt. Bestehende Studien deuten darauf hin, dass selbst fortgeschrittene Modelle Richtungs-Biases aufweisen, eine mangelhafte temporale Kalibrierung besitzen und Schwierigkeiten haben, temporal verankerte Fakten zu behalten. Zudem wurden temporale Repräsentationen (z. B. Zeitvektoren, temporale Graphen) zwar für andere Aufgaben untersucht, bleiben jedoch weitgehend von Token-basierten Aufgaben wie NER entkoppelt. Historische NER wird zusätzlich durch diachrone Drift, OCR-Degradierung und multilinguale Variation erschwert, dennoch gibt es nur wenige Studien, die architektonische Strategien zur Integration temporaler Metadaten in NER-Modelle systematisch verglichen haben.

Methodik
Die Autoren behandeln historische NER als eine Token-Klassifikationsaufgabe, bei der die Eingabe aus einer Token-Sequenz $X$ und einem Publikationsjahr des Dokuments $year$ besteht. Sie verwenden eine Transformer-basierte Architektur und injizieren systematisch temporale Informationen mittels expliziter Jahres-Embeddings ($y = \text{Emb}(year)$). Die Studie vergleicht zwei Modi der temporalen Kodierung:

1. Absoluter Modus: Der Embedding-Index entspricht direkt dem Publikationsjahr (z. B. 1889).
2. Zeitdistanz-Modus: Das Embedding repräsentiert die Anzahl der Jahre zwischen der Publikation des Dokuments und einem festen Referenzjahr (2025), wobei jüngeren Dokumenten niedrigere Indizes zugewiesen werden.

Der Kernbeitrag liegt im Vergleich von temporalen Fusionsstrategien, die in Early Fusion (Injektion der Zeit vor oder während der Kodierung) und Late Fusion (Anwendung der Zeit auf den Encoder-Output) unterteilt sind:

• Baseline: Keine temporale Fusion.
• Early Fusion:
  • Cross-Attention Fusion: Injektion temporaler Informationen via Cross-Attention zwischen Token-Embeddings und dem Jahres-Embedding vor der Kodierung.
• Late Fusion:
  • Adapter Fusion: Ein leichtgewichtiges MLP verarbeitet das Jahres-Embedding und addiert das Ergebnis zu jeder Token-Repräsentation.
  • Konkatenations-Fusion: Das Jahres-Embedding wird mit jedem Token-Vektor konkateniert und auf die ursprüngliche Dimensionalität zurückprojiziert.
  • Relative Temporale Fusion: Ein nichtlinearer Encoder transformiert das Jahres-Embedding in eine relative Repräsentation, die in einem Feature-wise Linear Modulation (FiLM)-Mechanismus verwendet wird.
  • Cross-Attention Fusion (Late): Fusioniert temporale Informationen mit dem Encoder-Output mittels Cross-Attention nach der Kodierung.

Experimentelles Setup
Die Modelle wurden auf dem HIPE-2020 Datensatz evaluiert, spezifisch auf den französischen und deutschen Teilmengen, die Metadaten zum Publikationsjahr enthalten. Die Datensätze decken einen breiten temporalen Bereich ab (Französisch: 1798–2018; Deutsch: 1798–1950) und weisen signifikante OCR-Fehler auf (ca. 33 % für Französisch, 43 % für Deutsch). Die Autoren verwendeten eine mehrsprachige historische Variante von BERT als Basismodell und führten das Fine-Tuning mit mikro-gemittelten F1-Scores als primärer Metrik durch.

Wesentliche Ergebnisse

1. Leistungssteigerungen: Late-Fusion-Strategien lieferten konsistent robustere und temporal generalisierbare Ergebnisse im Vergleich zu Early Fusion und der Baseline. Dies war besonders deutlich in frühen, verrauschten Perioden (1800–1850) und bei längeren, strukturell komplexen Entitätsnennungen.
2. Temporale Modi: Der Einfluss des Kodierungsmodus (absolut vs. Zeitdistanz) war sprachabhängig. Im Deutschen lieferte die Zeitdistanz-Kodierung bemerkenswerte Gewinne (bis zu +3 F1) für Strategien wie Konkatenation und Adapter. In der französischen Sprache waren die Ergebnisse weniger konsistent, wobei einige Strategien besser mit der absoluten Kodierung abschnitten.
3. Entitätssensitivität: Late-Fusion-Strategien zeigten einen stabilen oder positiven Gewinn für längere Entitäten (20+ Zeichen), was darauf hindeutet, dass die Injektion temporaler Signale in späteren Stadien hilft, oberflächenbasierte Unterscheidungen zu bewahren, die für komplexe Entitäten entscheidend sind.
4. Internalisierung der Zeit: Experimente mittels Linear Probing, bei denen das wahre Dokumentenjahr während der Inferenz durch ein zufälliges Jahr ersetzt wurde, bestätigten, dass Late-Fusion-Modelle temporale Signale tatsächlich in ihrem latenten Raum internalisieren. Die Strategien Late-Cross-Attention, Adapter und Konkatenation erreichten die höchste Probing-Genauigkeit, während Early-Fusion- und Baseline-Modelle eine minimale temporale Kodierung zeigten.
5. Statistische Signifikanz: Obwohl die temporale Fusion generell die Leistung verbesserte, waren die Gewinne oft subtil. Paarweise t-Tests zeigten, dass die meisten Strategien keine statistisch signifikanten Verbesserungen auf dem Schwellenwert von $p < 0,05$ lieferten, mit Ausnahme der Late-Cross-Attention-Strategie unter dem absoluten temporalen Modus ($p = 0,041$).

Bedeutung und Ansprüche
Das Paper behauptet, dass die strukturelle Injektion von Zeit in Transformer-Architekturen via modularer Fusionsstrategien modeste, aber konsistente Gewinne für die historische NER über verschiedene Sprachen und Jahrzehnte hinweg erzielt. Die Autoren betonen, dass Late Fusion der robusteste Ansatz ist, insbesondere für die Handhabung verrauschter, früher Perioden und die Erkennung temporal variabler Entitätstypen wie Orte.

Die Studie kommt zu dem Schluss, dass der Ansatz zwar nicht neuartig in Bezug auf generative Fähigkeiten ist, aber eine praktische, leichtgewichtige Erweiterung für diachrone Korpora darstellt. Dies ist signifikant, da reale historische Korpora oft mit Einschränkungen (z. B. Datenschutz, restriktive Richtlinien) konfrontiert sind, die die Nutzung massiver generativer LLMs verhindern. In solchen Kontexten bleiben strukturierte Methoden, die Metadaten wie Publikationsdaten nutzen, eine lebenswichtige Informationsquelle für interpretierbare Modelle. Die Autoren empfehlen die Anwendung von Late Fusion, das Testen beider temporalen Kodierungsmodi basierend auf der spezifischen Sprache und dem Setup sowie die Nutzung der temporalen Fusion als gezielte Erweiterung für verrauschte historische Daten.

Limitierungen
Die Autoren räumen mehrere Limitationen ein: Die Studie beschränkt sich auf die Granularität auf Jahrebene (ohne feinere temporale Auflösung); die Ergebnisse beziehen sich ausschließlich auf die französischen und deutschen Teilmengen von HIPE-2020; die Probing-Analyse konzentriert sich nur auf die lineare Dekodierbarkeit; und die Evaluationen wurden unter kontrollierten Bedingungen mit einer einzigen Backbone-Architektur durchgeführt, was bedeutet, dass reale Anwendungen mit fehlenden Metadaten andere Ergebnisse liefern könnten.