StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

Technische Zusammenfassung: StrokeID-NER

Problemstellung
Schlaganfall ist die führende Ursache für Tod und Behinderung in Indonesien, doch klinische NLP-Tools für das Schlaganfall-Triage werden durch einen Mangel an domänenspezifischen annotierten Ressourcen für patientengenerierte Texte behindert. Während digitale Gesundheitsplattformen wie Alodokter.com riesige Archive informeller indonesischer Gesundheitsanfragen beherbergen, stellen diese Texte einzigartige NLP-Herausforderungen dar: extreme orthografische Variation, die Verwendung regionaler Dialekte (z. B. Javanisch), metaphorische Alltagssprache, Code-Mixing und kulturspezifische temporale Referenzen (z. B. Ereignisse des islamischen Kalenders). Bestehende indonesische medizinische NER-Datensätze konzentrieren sich entweder auf formale klinische Berichte, Gesundheitsnachrichten oder gemischte Patient-Arzt-Dialoge und versäumen es, die spezifischen linguistischen und klinischen Komplexitäten informeller, rein patientenseitiger Schlaganfall-Anfragen zu adressieren.

Methodik
Die Studie stellt StrokeID-NER vor, einen spezialisierten Named Entity Recognition (NER) Datensatz und ein Benchmarking-Framework, das in vier Phasen konstruiert wurde:

1. Datenerstellung: Der Datensatz umfasst 1.742 Patientenanfragen, die aus dem „Indonesia-medical-qna“-Datensatz (stammend von Alodokter.com) gefiltert wurden, wobei der Fokus ausschließlich auf Schlaganfall- und hämorrhagischen Schlaganfall-Themen liegt. Ärztliche Antworten wurden ausgeschlossen, um reale Triage-Bedingungen zu simulieren, die sich allein auf Patienteneingaben stützen.
2. Annotationsschema: Die Anfragen wurden unter Verwendung des BIO-Schemas (Begin-Inside-Outside) mit neun Tags über vier klinisch fundierte Entitätstypen hinweg annotiert:
   • Symptom (SYM): Physische/neurologische Manifestationen (z. B. lemas, drodog).
   • Diagnose (DGN): Schlaganfall-Subtypen und Zustände (z. B. stroke ringan, pendarahan otak).
   • Temporal (TMP): Onset, Dauer und Zeitpunkt (z. B. tiba-tiba, saat hari ke-20 puasa).
   • Risikofaktor (RF): Vorbestehende Bedingungen und Demografie (z. B. hipertensi, usia 65 tahun).
   • Die Inter-Annotator-Übereinstimmung wurde anhand einer geschichteten Stichprobe bewertet und ergab ein Cohen's Kappa von $\kappa = 0,857$.
3. Datensatz-Statistiken: Der Korpus enthält 6.765 Entitätsspannen. Ein definierendes Merkmal ist die hohe Hapax-Rate (einzigartige Ausdrücke, die nur einmal vorkommen), die zwischen 72,0 % für Diagnosen und 8ks 86,9 % für Risikofaktoren liegt, was die informelle und diverse Natur des Textes widerspiegelt.
4. Benchmarking: Fünf NER-Systeme wurden auf einem geschichteten Train/Validierungs/Test-Split (1.211/256/275 Anfragen) evaluiert:
   • M1: IndoBERT-base + Linear Head.
   • M2: IndoBERT-base + CRF-Layer.
   • M3: XLM-RoBERTa-large (multilingual) + Linear Head.
   • M4: IndoBERT-large + Linear Head.
   • Baseline: GPT-5.4, evaluiert in einem Zero-Shot-Setting.
   • Evaluationsmetrik: Span-level makro-gemittelter F1-Score unter Verwendung von seqeval.

Wichtigste Ergebnisse

• Modellleistung: Das fein abgestimmte XLM-RoBERTa-large (M3) erzielte mit einem Makro-F1 von 0,7823 die beste Leistung. Es übertraf den monolingualen IndoBERT-large (M4, F1=0,7614) und die Zero-Shot GPT-5.4 Baseline (F1=0,6682) um 2,1 bzw. 11,4 Punkte.
• Entitätsspezifische Erkenntnisse:
  • Diagnose (DGN) war die am einfachsten zu erkennende Entität (F1 0,86–0,89) aufgrund der hohen Frequenz des Begriffs „stroke“ und seiner Varianten.
  • Symptom (SYM) und Risikofaktor (RF) waren am schwierigsten, was mit ihren hohen Hapax-Raten korreliert.
  • Das Zero-Shot-LLM performte vergleichbar bei DGN, hinkte jedoch bei SYM und RF signifikant hinterher, da es informelle Ausdrücke und regionale Terminologie nicht erfassen konnte.
• Fehleranalyse:
  • Hapax-Beschränkung: Es besteht eine starke negative Korrelation zwischen der Hapax-Rate und dem F1-Score. 68,3 % der False-Negative-Spannen wurden von allen vier fein abgestimmten Modellen verpasst, was auf eine Leistungsdeckelung hindeutet, die durch die lexikalische Abdeckung und nicht durch die Modellarchitektur bedingt ist.
  • Fine-tuning vs. Zero-shot: Das fein abgestimmte Modell identifizierte korrekt 204 Spannen, die das Zero-Shot-Modell übersah, im Vergleich zu nur 57 in der umgekehrten Richtung (Verhältnis 3,6:1). Dieser Vorteil war bei SYM (4,6:1) und RF (7,0:1) am ausgeprägtesten.
  • Binäres vs. Joint Training: Das Training binärer Klassifikatoren für spezifische Entitäten verbesserte die Leistung für DGN und TMP, verschlechterte jedoch die Leistung für RF um 0,08 F1-Punkte, was darauf hindeutet, dass der Kontext zwischen den Entitäten entscheidend für die Identifizierung von Risikofaktoren ist.

Bedeutung und Ansprüche
Das Paper beansprucht vier primäre Beiträge:

1. Erster öffentlicher Korpus: Es veröffentlicht den ersten öffentlich verfügbaren, klinisch fundierten Korpus für Schlaganfall-NER in indonesischer Sprache, der gezielt auf informelle, patientengenerierte Texte ausgerichtet ist.
2. Benchmarking-Erkenntnisse: Es zeigt auf, dass für die informelle klinische NER in ressourcenarmen Sprachen das multilinguale Pretraining (XLM-RoBERTa) größere Leistungssteigerungen bietet als die Erhöhung der Skalierung monolingualer Modelle (IndoBERT-large), insbesondere bei Entitäten mit hoher lexikalischer Diversität.
3. Linguistische Analyse: Es dokumentiert die einzigartigen linguistischen Phänomene der indonesischen Schlaganfall-Anfragen, einschließlich orthografischer Variationen, javanischer Umgangssprache und kulturspezifischer temporaler Ausdrücke, die Standard-NLP-Ressourcen nicht erfassen können.
4. Notwendigkeit des Fine-tunings: Es validiert empirisch, dass domänenspezifisches Fine-tuning das Zero-Shot-Prompting von Large Language Models für diese Aufgabe erheblich übertrifft, insbesondere beim Umgang mit informeller Sprache und klinischem Kontext.

Die Autoren kommen zu dem Schluss, dass zukünftige Leistungsverbesserungen eher durch die lexikalische Abdeckung als durch die Modellarchitektur begrenzt sind. Sie postulieren, dass die Erweiterung des Trainingsvokabulars durch zusätzliche Annotation oder Datenerweiterung der effektivste Weg nach vorne ist, anstatt durch architektonische Modifikationen. Der Datensatz, die Richtlinien und die Modelle werden zur Unterstützung weiterer Forschung in der indonesischen klinischen NLP veröffentlicht.