DELICATE: Diachronic Entity LInking using Classes And Temporal Evidence

Riepilogo Tecnico: DELICATE – Diachronic Entity LInking using Classes And Temporal Evidence

Enunciato del Problema
Il Linking delle Entità (EL) nel campo delle Digital Humanities (DH) e dell'elaborazione di testi storici affronta sfide significative che i modelli generici all'avanguardia (State-of-the-Art, SoTA) non riescono ad affrontare adeguatamente. Queste sfide includono le variazioni linguistiche nel tempo, la necessità di un contesto cronologico accurato e la prevalenza di entità "long-tail" sottorappresentate nelle Basi di Conoscenza (KB). I metodi specifici per il dominio esistenti spesso si basano su regole rigide e manualmente elaborate per il filtraggio temporale e di tipo, che mancano di generalizzabilità. Inoltre, vi è una scarsità di dataset di benchmark in italiano per l'addestramento di modelli EL storici, e gli approcci attuali che utilizzano Modelli Linguistici di Grande Dimensione (LLM) soffrono spesso di elevati costi computazionali, rischi di allucinazione e una mancanza di interpretabilità riguardo ai loro processi decisionali.

Metodologia
Il paper introduce DELICATE, una nuova architettura supervisionata progettata per eseguire la Disambiguazione delle Entità (ED) su testi storici italiani. Il sistema opera attraverso una pipeline a due stadi:

1. Recupero dei Candidati (Bi-Encoder): Il sistema utilizza un bi-encoder basato su BERT congelato (nello specifico il modello BLINKITA) per codificare i contesti delle menzioni e le descrizioni delle entità di Wikipedia in uno spazio latente condiviso. Viene eseguito una ricerca k-Nearest Neighbors (k-NN) contro un indice vettoriale denso (FAISS) contenente embedding di circa 1,5 milioni di entità di Wikipedia italiane per recuperare una lista di top-k candidati.
2. Riordinamento dei Candidati (Gradient Boosted Trees): A differenza degli approcci standard che si basano esclusivamente sulla similarità degli embedding, DELICATE impiega un classificatore supervisionato basato su Gradient Boosted Trees (GBTs) per riordinare i candidati recuperati. Questo classificatore elabora un insieme di caratteristiche di similarità pairwise derivate sia dallo stadio di recupero che da KB esterne (Wikidata):
   • Similarità Vettoriale: Distanze L2 tra gli embedding delle menzioni e delle entità.
   • Similarità Stringa: Distanze di Levenshtein e Jaccard tra le forme superficiali.
   • Similarità di Tipo: Una corrispondenza binaria tra il tipo di entità della menzione (Persona, Luogo, Organizzazione, Opera) e la classe Wikidata del candidato.
   • Intervallo Temporale: Il delta temporale tra la data di pubblicazione del documento e la data più antica associata all'entità in Wikidata (ad esempio, data di nascita, fondazione).

Il modello GBTs è addestrato per prevedere la probabilità di una corrispondenza corretta, consentendo una valutazione dinamica della rilevanza contestuale. Il sistema supporta anche una variante, DELICATE +LLM, in cui un LLM open-source istruito (Mistral-Small-24B) viene sollecitato a selezionare il candidato finale tra le prime 10 entità riordinate, sostituendo efficacemente la soglia fissa per la previsione NIL (No In Link).

Contributi Chiave

1. L'Architettura DELICATE: Un approccio ibrido che combina l'efficienza del recupero neurale con l'interpretabilità e la sensibilità alle caratteristiche dell'apprendimento supervisionato basato su alberi. Incorpora esplicitamente la plausibilità temporale e la coerenza del tipo di entità da Wikidata come caratteristiche apprendibili piuttosto che come filtri rigidi.
2. Il Corpus ENEIDE: Gli autori introducono ENEIDE (Entità Nominate Estratte dalle Edizioni Digitali Italiane), un corpus EL multi-dominio per l'italiano storico. Estratto semi-automaticamente da due Edizioni Digitali Accademiche (Digital Zibaldone e Aldo Moro Digitale) che coprono i secoli XIX e XX, include testi letterari e politici con annotazioni collegate a Wikidata.
3. Analisi dell'Interpretabilità: Lo studio dimostra che l'approccio basato su GBT produce punteggi di confidenza con una correlazione più alta alla correttezza rispetto ai metodi puramente neurali o generativi, offrendo una maggiore interpretabilità per la verifica umana nel ciclo (human-in-the-loop).

Risultati Sperimentali
Gli autori hanno valutato DELICATE sul corpus ENEIDE e sul dataset fuori dominio MHERCL-ITA (periodici musicali storici), confrontandolo con baseline tra cui BLINKITA, mGENRE e ChatEL (un approccio basato su LLM).

• Prestazioni su ENEIDE: Le varianti di DELICATE hanno superato tutte le baseline sia nel task di Disambiguazione delle Entità (ED) che nel task EL end-to-end. Nello specifico, DELICATE +LLM ha raggiunto la massima accuratezza micro-averaged (63,05% su Digital Zibaldone e 72,67% su Aldo Moro Digitale). Il modello ha mostrato una forza particolare nella disambiguazione delle entità persona sfruttando indizi temporali.
• Prestazioni su MHERCL-ITA: Su questo dataset con shift di dominio e un'alta proporzione di entità NIL (28,67%), DELICATE +LLM ha raggiunto un'accuratezza micro-averaged del 70,44%, superando significativamente la variante solo GBT e le baseline generiche. Ciò suggerisce che il componente LLM gestisce efficacemente scenari ad alto NIL dove le soglie fisse falliscono.
• Interpretabilità: I test di permutazione hanno rivelato che la similarità vettoriale e la similarità stringa erano le caratteristiche più importanti, ma gli intervalli temporali rimanevano altamente rilevanti (5ª più importante). I test di correlazione punto-biseriale hanno mostrato che DELICATE (senza LLM) produceva punteggi di confidenza fortemente correlati alla correttezza (0,79 su Digital Zibaldone), mentre i metodi basati su LLM mostravano una correlazione inferiore, indicando una ridotta interpretabilità delle loro misure di confidenza.

Significato e Affermazioni
Il paper afferma che DELICATE offre un'alternativa computazionalmente efficiente e sostenibile dal punto di vista ambientale ai pesanti sistemi EL basati su LLM, in particolare per le istituzioni del Patrimonio Culturale con risorse limitate. Congelando il bi-encoder e addestrando solo un classificatore GBT leggero, il sistema raggiunge un adattamento rapido con requisiti minimi di dati.

Gli autori affermano che il loro approccio completa piuttosto che competere con le architetture basate su LLM. L'integrazione di informazioni strutturate delle KB (date e classi) tramite un riordinatore supervisionato fornisce un meccanismo robusto per gestire le variazioni diacroniche e le entità long-tail. Inoltre, il rilascio del corpus ENEIDE affronta una lacuna critica nell'NLP storico italiano, fornendo un benchmark standardizzato per la ricerca futura. Lo studio conclude che, sebbene gli LLM possano migliorare la selezione dei candidati, specialmente per la previsione NIL, combinarli con un riordinamento supervisionato e interpretabile produce i risultati più robusti e spiegabili per il linking di entità storiche.