A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

Sintesi Tecnica: Uno studio sulle strategie di fusione temporale per il Named Entity Recognition in testi storici

Definizione del problema
Il Named Entity Recognition (NER) nei testi storici affronta una sfida unica: la variazione temporale. Le entità nei documenti storici mutano nella loro forma superficiale, salienza e significato attraverso il tempo. Sebbene i grandi modelli linguistici (LM) abbiano fatto progressi nei compiti di NLP generale, la loro capacità di ragionare sulla temporalità, in particolare in contesti diacronici, rimane limitata. Studi esistenti indicano che anche i modelli avanzati mostrano bias di direzionalità, scarsa calibrazione temporale e difficoltà nel trattenere fatti temporalmente ancorati. Inoltre, sebbene le rappresentazioni temporali (ad esempio, vettori temporali, grafi temporali) siano state esplorate per altri compiti, esse rimangono ampiamente disconnesse da compiti a livello di token come il NER. Il NER storico è ulteriormente complicato dal drift diacronico, dalla degradazione dell'OCR e dalla variazione multilingue, eppure pochi studi hanno confrontato sistematicamente le strategie architettoniche per integrare i metadati temporali nei modelli NER.

Metodologia
Gli autori trattano il NER storico come un compito di classificazione di token in cui l'input consiste in una sequenza di token $X$ e un anno di pubblicazione del documento $year$. Utilizzano un'architettura basata su Transformer e iniettano sistematicamente l'informazione temporale tramite embedding di anno espliciti ($y = \text{Emb}(year)$). Lo studio confronta due modalità di codifica temporale:

1. Modalità Assoluta: l'indice dell'embedding corrisponde direttamente all'anno di pubblicazione (ad esempio, 1889).
2. Modalità Distanza Temporale: l'embedding rappresenta il numero di anni tra la pubblicazione del documento e un anno di riferimento fisso (2025), assegnando indici più bassi ai documenti più recenti.

Il contributo principale risiede nel confronto delle strategie di fusione temporale, categorizzate in early fusion (iniezione del tempo prima o durante la codifica) e late fusion (applicazione del tempo all'output dell'encoder):

• Baseline: Nessuna fusione temporale.
• Early Fusion:
  • Cross-Attention Fusion: Inietta l'informazione temporale tramite cross-attention tra gli embedding dei token e l'embedding dell'anno prima della codifica.
• Late Fusion:
  • Adapter Fusion: Un MLP leggero elabora l'embedding dell'anno e aggiunge il risultato alla rappresentazione di ogni token.
  • Concatenation Fusion: L'embedding dell'anno è concatenato al vettore di ogni token e proiettato nuovamente alla dimensionalità originale.
  • Relative Temporal Fusion: Un encoder non lineare trasforma l'embedding dell'anno in una rappresentazione relativa utilizzata in un meccanismo di modulazione lineare per caratteristiche (FiLM).
  • Cross-Attention Fusion (Late): Fonde l'informazione temporale con l'output dell'encoder usando la cross-attention dopo la codifica.

Configurazione Sperimentale
I modelli sono stati valutati sul dataset HIPE-2020, specificamente sui subset francese e tedesco, che contengono metadati sull'anno di pubblicazione. I dataset coprono un ampio intervallo temporale (Francese: 1798–2018; Tedesco: 1798–1950) e includono un significativo rumore OCR (circa il 33% per il francese, 43% per il tedesco). Gli autori hanno utilizzato una variante multilingue storica di BERT come modello base, effettuando il fine-tuning con punteggi F1 micro-mediati come metrica primaria.

Risultati Chiave

1. Guadagni di Performance: Le strategie di late fusion hanno prodotto costantemente performance più robuste e temporalmente generalizzabili rispetto alla early fusion e alla baseline. Ciò è stato particolarmente evidente nei periodi iniziali e rumorosi (1800–1850) e per le menzioni di entità più lunghe e strutturalmente complesse.
2. Modalità Temporali: L'impatto della modalità di codifica (assoluta vs. distanza temporale) dipendeva dalla lingua. Nel tedesco, la codifica della distanza temporale ha fornito guadagni notevoli (fino a +3 F1) per strategie come la concatenazione e gli adapter. Nel francese, i risultati sono stati meno coerenti, con alcune strategie che performavano meglio con la codifica assoluta.
3. Sensibilità delle Entità: Le strategie di late fusion hanno mostrato un guadagno stabile o positivo per le entità più lunghe (20+ caratteri), suggerendo che iniettare segnali temporali nelle fasi successive aiuta a preservare le distinzioni superficiali critiche per le entità complesse.
4. Internalizzazione del Tempo: Esperimenti di linear probing, in cui l'anno reale del documento veniva sostituito con un anno casuale durante l'inferenza, hanno confermato che i modelli di late fusion internalizzano realmente i segnali temporali nel loro spazio latente. Le strategie di late cross-attention, adapter e concatenazione hanno raggiunto la massima accuratezza di probing, mentre i modelli di early fusion e la baseline hanno mostrato una minima codifica temporale.
5. Significatività Statistica: Sebbene la fusione temporale abbia generalmente migliorato le prestazioni, i guadagni sono stati spesso sottili. I t-test accoppiati hanno rivelato che la maggior parte delle strategie non ha prodotto miglioramenti statisticamente significativi alla soglia $p < 0.05$, con l'eccezione della strategia di late-cross-attention sotto la modalità temporale assoluta ($p = 0.041$).

Significato e Rivendicazioni
L'articolo sostiene che l'iniezione strutturale del tempo nelle architetture Transformer tramite strategie di fusione modulari produce guadagni modesti ma costanti per il NER storico attraverso diverse lingue e decenni. Gli autori sottolineano che la late fusion è l'approccio più robusto, particolarmente per gestire dati di periodi iniziali rumorosi e riconoscere tipi di entità temporalmente variabili come le località.

Lo studio conclude che, sebbene l'approccio non sia nuovo in termini di capacità generative, offre un potenziamento pratico e leggero per i corpora diacronici. Questo è significativo perché i corpora storici reali spesso affrontano vincoli (ad esempio, privacy, politiche restrittive) che impediscono l'uso di massicci LLM generativi. In tali contesti, i metodi strutturati che sfruttano metadati come le date di pubblicazione rimangono una fonte vitale di informazione per modelli interpretabili. Gli autori raccomandano di adottare la late fusion, testare entrambe le modalità di codifica temporale in base alla lingua e alla configurazione specifica, e utilizzare la fusione temporale come un potenziamento mirato per i dati storici rumorosi.

Limitazioni
Gli autori riconoscono diverse limitazioni: lo studio è limitato alla granularità a livello di anno (mancando di una risoluzione temporale più fine); i risultati sono confinati ai subset francese e tedesco di HIPE-2020; l'analisi di probing si concentra solo sulla decodificabilità lineare; e le valutazioni sono state condotte in condizioni controllate con un singolo backbone architettonico, il che significa che le applicazioni nel mondo reale con metadati mancanti potrebbero produrre risultati differenti.