StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

Technische Samenvatting: StrokeID-NER

Probleemstelling
Beroerte (stroke) is de belangrijkste oorzaak van sterfte en invaliditeit in Indonesië, maar klinische Natural Language Processing (NLP) tools voor triage bij beroerte worden belemmerd door een gebrek aan domeinspecifieke geannoteerde bronnen voor door patiënten gegenereerde tekst. Hoewel digitale gezondheidsplatforms zoals Alodokter.com enorme archieven bevatten van informele Indonesische gezondheidsvragen, presenteren deze teksten unieke NLP-uitdagingen: extreme orthografische variatie, het gebruik van regionale dialecten (bijv. Javaans), volkse metaforen, codewisseling en cultureel specifieke temporele verwijzingen (bijv. gebeurtenissen uit de Islamitische kalender). Bestaande Indonesische medische NER-datasets richten zich ofwel op formele klinische verslagen, gezondheidsnieuws, of gemengde patiënt-arts-dialogen, en schieten tekort in het adresseren van de specifieke linguïstische en klinische complexiteit van informele, uitsluitend door patiënten gegenereerde beroertevragen.

Methodologie
De studie introduceert StrokeID-NER, een gespecialiseerde Named Entity Recognition (NER) dataset en benchmarking-framework die via vier fasen is geconstrueerd:

1. Data-constructie: De dataset bestaat uit 1.742 patiëntenvragen gefilterd uit de "Indonesia-medical-qna" dataset (afkomstig van Alodokter.com), die zich uitsluitend richt op onderwerpen gerelateerd aan beroerte en hemorragische beroerte. Artsrespons werd uitgesloten om de realistische triagecondities te simuleren waarbij uitsluitend op patiëntinput wordt vertrouwd.
2. Annotatieschema: Vragen werden geannoteerd met behulp van het BIO (Begin-Inside-Outside) schema met negen tags over vier klinisch gefundeerde entiteitstypen:
   • Symptoom (SYM): Fysieke/neurologische manifestaties (bijv. lemas, drodog).
   • Diagnose (DGN): Beroertypes en condities (bijv. stroke ringan, pendarahan otak).
   • Temporeel (TMP): Onset, duur en timing (bijv. tiba-tiba, saat hari ke-20 puasa).
   • Risicofactor (RF): Bestaande aandoeningen en demografie (bijv. hipertensi, usia 65 tahun).
   • Inter-annotator overeenstemming werd beoordeeld op een gestratificeerde steekproef, wat een Cohen's Kappa opleverde van $\kappa = 0,857$.
3. Dataset Statistieken: Het corpus bevat 6.765 entiteitsspannen. Een kenmerkend aspect is de hoge hapax-rate (unieke expressies die slechts één keer voorkomen), variërend van 72,0% voor Diagnose tot 86,9% voor Risicofactoren, wat de informele en diverse aard van de tekst weerspiegelt.
4. Benchmarking: Vijf NER-systemen werden geëvalueerd op een gestratificeerde train/validatie/test-split (1.211/256/275 queries):
   • M1: IndoBERT-base + Lineaire kop.
   • M2: IndoBERT-base + CRF-laag.
   • M3: XLM-RoBERTa-large (meertalig) + Lineaire kop.
   • M4: IndoBERT-large + Lineaire kop.
   • Baseline: GPT-5.4 geëvalueerd in een zero-shot setting.
   • Evaluatiemetriek: Span-level macro-gemiddelde F1-score met behulp van seqeval.

Belangrijkste Resultaten

• Modelprestaties: Het gefinetunede XLM-RoBERTa-large (M3) behaalde de beste prestaties met een macro F1 van 0,7823. Het presteerde beter dan de monolinguale IndoBERT-large (M4, F1=0,7614) en de zero-shot GPT-5.4 baseline (F1=0,6682) met respectievelijk 2,1 en 11,4 punten.
• Entiteitsspecifieke inzichten:
  • Diagnose (DGN) was de makkelijkste entiteit om te herkennen (F1 0,86–0,89) vanwege de hoge frequentie van de term "stroke" en varianten daarvan.
  • Symptoom (SYM) en Risicofactor (RF) waren het moeilijkst, wat correleert met hun hoge hapax-rates.
  • De zero-shot LLM presteerde vergelijkbaar op DGN, maar liep aanzienlijk achter op SYM en RF, waarbij het faalde in het vatten van informele expressies en regionale terminologie.
• Foutanalyse:
  • Hapax-beperking: Er bestaat een sterke negatieve correlatie tussen de hapax-rate en de F1-score. 68,3% van de false negative spans werd gemist door alle vier de gefinetunede modellen, wat wijst op een prestatieplafond dat wordt gedreven door lexicale dekking in plaats van modelarchitectuur.
  • Fine-tuning vs. Zero-shot: Het gefinetunede model identificeerde correct 204 spans die het zero-shot model miste, vergeleken met slechts 57 in de omgekeerde richting (ratio 3,6:1). Dit voordeel was het meest uitgesproken voor SYM (4,6:1) en RF (7,0:1).
  • Binair vs. Joint Training: Het trainen van binaire classifiers voor specifieke entiteiten verbeterde de prestaties voor DGN en TMP, maar verslechterde de prestaties voor RF met 0,08 F1-punten, wat suggereert dat cross-entiteit context cruciaal is voor het identificeren van risicofactoren.

Betekenis en Claims
Het artikel claimt vier primaire bijdragen:

1. Eerste Publieke Corpus: Het brengt het eerste publiekelijk beschikbare, klinisch gefundeerde corpus voor beroerte-NER in het Indonesisch uit, specifiek gericht op informele, door patiënten gegenereerde tekst.
2. Benchmarking Inzichten: Het demonstreert dat voor informele klinische NER in talen met beperkte middelen (low-resource languages), meertalige pretraining (XLM-RoBERTa) grotere prestatiewinsten oplevert dan het vergroten van de schaal van monolinguale modellen (IndoBERT-large), met name voor entiteiten met een hoge lexicale diversiteit.
3. Linguïstische Analyse: Het documenteert de unieke linguïstische fenomenen van Indonesische beroertevragen, inclusioneel orthografische variatie, Javaanse colloquialismen en cultureel specifieke temporele expressies, die standaard NLP-bronnen niet kunnen vatten.
4. Noodzaak van Fine-tuning: Het valideert empirisch dat domeinspecifieke fine-tuning aanzienlijk beter presteert dan zero-shot prompting van grote taalmodellen voor deze taak, vooral bij het omgaan met informele taal en klinische context.

De auteurs concluderen dat toekomstige verbeteringen in prestaties worden beperkt door lexicale dekking in plaats van modelarchitectuur. Zij stellen dat het uitbreiden van de trainingswoordenschat door middel van aanvullende annotatie of data-augmentatie de meest effectieve weg voorwaarts is, in plaats van architecturale wijzigingen. De dataset, richtlijnen en modellen zijn publiekelijk vrijgegeven om verder onderzoek in de Indonesische klinische NLP te ondersteunen.