DELICATE: Diachronic Entity LInking using Classes And Temporal Evidence

Technische Samenvatting: DELICATE – Diachronische Entiteitenkoppeling met behulp van Klassen en Tijdsbewijs

Probleemstelling
Entiteitenkoppeling (EK) op het gebied van Digital Humanities (DH) en historische tekstverwerking staat voor aanzienlijke uitdagingingen die algemene State-of-the-Art (SoTA)-modellen niet adequaat aanpakken. Deze uitdagingen omvatten taalkundige variaties in de loop van de tijd, de noodzaak van nauwkeurige chronologische context, en de prevalentie van "long-tail"-entiteiten die ondervertegenwoordigd zijn in Kennisbanken (KB's). Bestaande domeinspecifieke methoden vertrouwen vaak op rigide, handmatig samengestelde regels voor tijds- en typefiltering, die weinig generaliseerbaar zijn. Bovendien is er een tekort aan benchmarkdatasets in het Italiaans voor het trainen van historische EK-modellen, en lopen huidige benaderingen die gebruikmaken van Large Language Models (LLM's) vaak vast in hoge rekenkosten, risico's op hallucinaties en een gebrek aan interpreteerbaarheid met betrekking tot hun besluitvormingsprocessen.

Methodologie
Het artikel introduceert DELICATE, een nieuw toezichtgevend architectuur ontworpen om Entiteitenontmaskering (ED) uit te voeren op historische Italiaanse teksten. Het systeem werkt via een tweestapsproces:

1. Retrieval van Kandidaten (Bi-Encoder): Het systeem maakt gebruik van een bevroren op BERT gebaseerde bi-encoder (specifiek het BLINKITA-model) om contexten van vermeldingen en Wikipedia-entiteitsbeschrijvingen te coderen in een gedeelde latente ruimte. Er wordt een k-Nearest Neighbors (k-NN)-zoekopdracht uitgevoerd tegen een dichte vectorindex (FAISS) met embedding van ongeveer 1,5 miljoen Italiaanse Wikipedia-entiteiten om een top-k-lijst van kandidaten op te halen.
2. Herrangschikking van Kandidaten (Gradient Boosted Trees): In tegenstelling tot standaardbenaderingen die uitsluitend vertrouwen op embedding-ähnelijkheid, maakt DELICATE gebruik van een toezichtgevend Gradient Boosted Trees (GBT)-classificator om de opgehaalde kandidaten te herrangschikken. Deze classificator verwerkt een reeks paarwijze similariteitskenmerken die zijn afgeleid van zowel de retrieval-stap als externe KB's (Wikidata):
   • Vector Similariteit: L2-afstanden tussen embedding van vermeldingen en entiteiten.
   • Tekenreeks Similariteit: Levenshtein- en Jaccard-afstanden tussen oppervlaktevormen.
   • Type Similariteit: Een binaire overeenkomst tussen het entiteitstype van de vermelding (Persoon, Locatie, Organisatie, Werk) en de Wikidata-klasse van de kandidaat.
   • Tijdsinterval: Het tijdsverschil tussen de publicatiedatum van het document en de vroegst gekoppelde datum van de entiteit in Wikidata (bijvoorbeeld geboortedatum, oprichting).

Het GBT-model is getraind om de waarschijnlijkheid van een juiste match te voorspellen, wat een dynamische beoordeling van contextuele relevantie mogelijk maakt. Het systeem ondersteunt ook een variant, DELICATE +LLM, waarbij een instructie-geoptimaliseerd open-source LLM (Mistral-Small-24B) wordt geprompt om de uiteindelijke kandidaat te selecteren uit de top-10 herrangschikte entiteiten, waardoor de vaste drempel voor NIL (No In Link)-voorspelling effectief wordt vervangen.

Belangrijkste Bijdragen

1. De DELICATE Architectuur: Een hybride aanpak die de efficiëntie van neurale retrieval combineert met de verklaarbaarheid en gevoeligheid voor kenmerken van boomgebaseerd toezichtgevend leren. Het integreert expliciet tijdsplausibiliteit en consistentie van entiteitstypen uit Wikidata als leerbare kenmerken in plaats van harde filters.
2. Het ENEIDE Corpus: De auteurs introduceren ENEIDE (Extracted Named Entities from Italian Digital Editions), een multi-domein EK-corpus voor historisch Italiaans. Semi-automatisch geëxtraheerd uit twee Wetenschappelijke Digitale Edities (Digital Zibaldone en Aldo Moro Digitale) uit de 19e en 20e eeuw, omvat het literaire en politieke teksten met annotaties die zijn gekoppeld aan Wikidata.
3. Analyse van Verklaarbaarheid: De studie toont aan dat de op GBT gebaseerde aanpak betrouwbaarheidsscores oplevert met een hogere correlatie met correctheid in vergelijking met puur neurale of generatieve methoden, waardoor meer interpreteerbaarheid wordt geboden voor mens-in-de-lus verificatie.

Experimentele Resultaten
De auteurs hebben DELICATE geëvalueerd op het ENEIDE-corpus en het domein-overstijgende MHERCL-ITA-dataset (historische muziekperiodieken), waarbij ze het vergeleken met baselines waaronder BLINKITA, mGENRE en ChatEL (een op LLM gebaseerde aanpak).

• Prestaties op ENEIDE: DELICATE-varianten presteerden beter dan alle baselines bij zowel Entiteitenontmaskering (ED) als end-to-end EK-taken. Specifiek behaalde DELICATE +LLM de hoogste micro-gemiddelde nauwkeurigheid (63,05% op Digital Zibaldone en 72,67% op Aldo Moro Digitale). Het model toonde een bijzondere sterkte in het ontmaskeren van persoonsentiteiten door gebruik te maken van tijdsgerelateerde aanwijzingen.
• Prestaties op MHERCL-ITA: Op dit domein-verschoven dataset met een hoog aandeel NIL-entiteiten (28,67%) behaalde DELICATE +LLM een micro-gemiddelde nauwkeurigheid van 70,44%, wat aanzienlijk beter was dan de GBT-only variant en generieke baselines. Dit suggereert dat het LLM-component effectief omgaat met scenario's met een hoog NIL-aandeel waar vaste drempels falen.
• Verklaarbaarheid: Permutatietests toonden aan dat vector-similariteit en tekenreeks-similariteit de belangrijkste kenmerken waren, maar tijdsintervallen bleven zeer relevant (5e meest belangrijke). Point-bisariaal correlatietests lieten zien dat DELICATE (zonder LLM) betrouwbaarheidsscores produceerde die sterk gecorreleerd waren met correctheid (0,79 op Digital Zibaldone), terwijl op LLM gebaseerde methoden een lagere correlatie vertoonden, wat wijst op een verminderde interpreteerbaarheid van hun betrouwbaarheidsmetingen.

Betekenis en Aanspraken
Het artikel beweert dat DELICATE een rekenkundig efficiënt en milieuvriendelijk alternatief biedt voor zware op LLM gebaseerde EK-systemen, met name voor Cultureel Erfgoed-instellingen met beperkte middelen. Door de bi-encoder te bevriezen en alleen een lichtgewicht GBT-classificator te trainen, bereikt het systeem snelle aanpassing met minimale data-eisen.

De auteurs stellen dat hun aanpak LLM-gebaseerde architecturen aanvult in plaats van met hen concurreert. De integratie van gestructureerde KB-informatie (data en klassen) via een toezichtgevend herrangschikking biedt een robuust mechanisme voor het omgaan met diachronische variaties en long-tail-entiteiten. Bovendien vult de release van het ENEIDE-corpus een kritieke lacune in de Italiaanse historische NLP in, en biedt het een gestandaardiseerde benchmark voor toekomstig onderzoek. De studie concludeert dat hoewel LLM's de selectie van kandidaten kunnen verbeteren, vooral voor NIL-voorspelling, het combineren ervan met toezichtgevend, interpreteerbaar herrangschikken de meest robuuste en verklaarbare resultaten oplevert voor historische entiteitenkoppeling.