Named Entity Recognition of Historical Texts via Large Language Model

1. Probleemstelling

Context: Named Entity Recognition (NER) is cruciaal voor het extraheren van gestructureerde informatie uit ongestructureerde historische teksten (bijvoorbeeld kranten, manuscripten) om onderzoek in de digitale geesteswetenschappen te ondersteunen.
Uitdagingen:

• Data-schaarste: Hoogwaardige geannoteerde datasets voor historische teksten zijn zeldzaam vanwege de hoge kosten en de expertise die vereist zijn voor handmatige labeling.
• Taalkundige variabiliteit: Historische teksten bevatten archaïsche woordenschat, inconsistente spelling, beperkte leestekens en ruis afkomstig van de digitalisering via Optical Character Recognition (OCR).
• Beperkingen van traditionele methoden: Standaard toezichthoudende machine learning- en deep learning-benaderingen vereisen grote hoeveelheden domeinspecifieke geannoteerde trainingsdata, die vaak niet beschikbaar is voor historische corpora.
  Doel: Onderzoeken of Large Language Models (LLM's), specifiek met behulp van zero-shot en few-shot prompting-strategieën, NER op historische teksten effectief kunnen uitvoeren zonder dat taakspecifieke fine-tuning of uitgebreide geannoteerde trainingsdata nodig is.

2. Methodologie

De studie maakt gebruik van het HIPE-2022-dataset, een meertalig corpus (Duits, Frans, Engels, Zweeds, Fins) dat de 18e tot en met de 20e eeuw bestrijkt, met de focus op de grove NER-taak (het identificeren van Persoon, Locatie, Werk, enzovoort).

Experimentele opzet:

• Model: DeepSeek-V3-0324 werd geselecteerd vanwege zijn sterke meertalige prestaties en kostenefficiëntie.
• Temperatuur: Gesteld op 0 om determinisme te garanderen, hoewel experimenten drie keer werden herhaald om rekening te houden met modelstochasticiteit.
• Geëvalueerde benaderingen:
  1. Zero-Shot Baseline: De LLM ontvangt instructies over entiteitstags en uitvoerformaat, maar geen voorbeelden.
  2. Few-Shot Prompting: De LLM ontvangt $k$ geannoteerde voorbeelden ($k \in \{1, 3, 5\}$) opgehaald uit de trainings-/dev-sets.
     • Retrieval-strategieën:
       • Willekeurige selectie: Baseline voor few-shot.
       • Lexicale overlap: Gebruikt TF-IDF-gewogen token-overlap om oppervlakkig vergelijkbare documenten te vinden.
       • Embedding-similariteit: Gebruikt distiluse-base-multilingual-cased-v2 om semantisch vergelijkbare documenten te vinden via cosinussimilariteit.
  3. Post-processing: LLM-uitvoer (Python-lijsten van tuples) wordt geconverteerd naar het IOB-formaat dat vereist is door de HIPE-scorer.
  4. Ensemble-methode: Meerderheidsstemming wordt toegepast over de drie experimentele runs om voorspellingen te aggregeren en variantie te verminderen.

Evaluatiemetrics:

• HIPE-scorer: Officieel evaluatiehulpmiddel gebruikt.
• Instellingen: Zowel Strict (exacte grens- en labelovereenkomst) als Fuzzy (overlap met correct label) F1-scores (Micro).
• Statistische analyse: Gemiddelde en betrouwbaarheidsintervallen over drie runs; Wilcoxon-tests met Bonferroni-correctie voor significantie.

3. Belangrijkste bijdragen

1. Empirische evaluatie: Een uitgebreide beoordeling van LLM's voor historische NER over vijf talen en meerdere genres met behulp van een zero/few-shot paradigma.
2. Strategie-vergelijking: Een vergelijkende analyse van zero-shot versus few-shot prompting, die aantoont dat single-example (1-shot) prompting vaak superieur is aan multi-example (3-shot, 5-shot) benaderingen.
3. Retrieval-analyse: Onderzoek naar methoden voor voorbeeldselectie (Willekeurig versus Lexicaal versus Embedding), waarbij wordt geconstateerd dat de aanwezigheid van een voorbeeld belangrijker is dan de methode van selectie.
4. Foutanalyse: Gedetailleerde categorisering van fouttypen (bijvoorbeeld gemiste entiteiten, type-substitutie) om te begrijpen hoe prompting specifieke faalmodi mitigeert.

4. Belangrijkste resultaten

• Prestatiewinst: Few-shot prompting presteert aanzienlijk beter dan de zero-shot baseline over alle datasets. Zelfs één willekeurig voorbeeld verbetert de prestaties aanzienlijk.
• Het "één-voorbeeld"-fenomeen: In tegenstelling tot intuïtie leidt het verstrekken van meer voorbeelden (3 of 5) vaak tot een daling van de prestaties in vergelijking met het gebruik van slechts één. De auteurs schrijven dit toe aan de promptlengte die de optimale contextvenster van het model overschrijdt of de taakduidelijkheid verwaterd.
• Selectiestrategie: Er was geen statistisch significant verschil tussen de strategieën voor willekeurige, lexicaal overlappende en embedding-gebaseerde selectie voor prompts met één voorbeeld. Het model generaliseert goed, ongeacht hoe het voorbeeld is gekozen.
• Meerderheidsstemming: Het toepassen van meerderheidsstemming over drie runs levert bescheiden verbeteringen op, vooral in Fuzzy-instellingen, maar winsten zijn vaak statistisch niet significant in Strict-instellingen.
• Vergelijking met SOTA:
  • LLM-gebaseerde prompting presteert over het algemeen onder volledig toezichthoudende State-of-the-Art (SOTA)-modellen (die fine-tuning op geannoteerde data gebruiken) met een aanzienlijke marge (bijvoorbeeld -0,20 F1 op ajmc (de)).
  • Uitzondering: De LLM-benadering presteerde licht beter dan eerdere SOTA op het Sonar (de)-dataset.
• Foutreductie: Few-shot prompting is het meest effectief bij het verminderen van "Gemiste Entiteit"-fouten (Type 2) en "Entiteitstype-substitutie"-fouten (Type 3), waardoor het model beter aansluit bij de juiste categorieën.

5. Betekenis en implicaties

• Levensvatbaar alternatief met weinig resources: Hoewel het nog geen vervanging is voor toezichthoudende fine-tuning in scenario's met hoge nauwkeurigheid, biedt LLM-prompting een kosteneffectieve, taalagnostische en trainingsvrije baseline voor historische NER waar geannoteerde data niet bestaat of te duur is om te produceren.
• Efficiëntie: De bevinding dat 1-shot optimaal is, suggereert dat onderzoekers sterke resultaten kunnen bereiken met minimale prompt-engineering en retrieval-overhead, waardoor de complexiteit van grote contextvensters wordt vermeden.
• Impact op digitale geesteswetenschappen: Deze benadering maakt de analyse van meertalige, onderbelaste historische corpora mogelijk zonder de knelpunt van handmatige annotatie, waardoor bredere toegang tot archiefmateriaal wordt vergemakkelijkt.
• Toekomstige richtingen: Het artikel suggereert toekomstig werk in prompt-optimalisatie (compressie), geavanceerde retrieval met behulp van historische metadata, en het uitbreiden van de evaluatie naar bredere corpora om generaliseerbaarheid te verbeteren.

Conclusie: De studie toont aan dat LLM's een krachtig hulpmiddel zijn voor historische NER in scenario's met weinig resources. Hoewel ze nog niet de precisie bereiken van toezichthoudende modellen die zijn getraind op specifieke data, maakt hun vermogen om redelijk goed te presteren met nul of één voorbeeld ze een praktische en schaalbare oplossing voor de digitale geesteswetenschappen.