StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

Sintesi Tecnica: StrokeID-NER

Problematica
L'ictus è la principale causa di morte e disabilità in Indonesia, eppure gli strumenti di elaborazione del linguaggio naturale (NLP) clinico per il triage dell'ictus sono ostacolati dalla mancanza di risorse annotate specifiche per il dominio relative ai testi generati dai pazienti. Sebbene le piattaforme di salute digitale come Alodokter.com ospitino vasti archivi di query sanitarie informali in indonesiano, questi testi presentano sfide NLP uniche: estrema variazione ortografica, uso di dialetti regionali (es. giavanese), metafore popolari, code-mixing e riferimenti temporali culturalmente specifici (es. eventi del calendario islamico). Gli esistenti dataset di NER medico in indonesiano si concentrano invece su cartelle cliniche formali, notizie sulla salute o dialoghi misti paziente-medico, non riuscendo ad affrontare le complessità linguistiche e cliniche specifiche delle query sull'ictus informali e prodotte esclusivamente dai pazienti.

Metodologia
Lo studio introduce StrokeID-NER, un dataset specializzato per il Named Entity Recognition (NER) e un framework di benchmarking costruito attraverso quattro fasi:

1. Costruzione dei dati: Il dataset comprende 1.742 query di pazienti filtrate dal dataset "Indonesia-medical-qna" (proveniente da Alodokter.com), focalizzandosi esclusivamente su temi relativi all'ictus e all'ictus emorragico. Le risposte dei medici sono state escluse per simulare le condizioni di triage del mondo reale basate unicamente sull'input del paziente.
2. Schema di annotazione: Le query sono state annotate utilizzando lo schema BIO (Begin-Inside-Outside) con nove tag distribuiti su quattro tipologie di entità clinicamente fondate:
   • Sintomo (SYM): Manifestazioni fisiche/neurologiche (es. lemas, drodog).
   • Diagnosi (DGN): Sottotipi di ictus e condizioni (es. stroke ringan, pendarahan otak).
   • Temporale (TMP): Esordio, durata e tempistica (es. tiba-tiba, saat hari ke-20 puasa).
   • Fattore di rischio (RF): Condizioni preesistenti e dati demografici (es. hipertensi, usia 65 tahun).
   • L'accordo tra annotatori è stato valutato su un campione stratificato, producendo un coefficiente Kappa di Cohen $\kappa = 0,857$.
3. Statistiche del dataset: Il corpus contiene 6.765 span di entità. Una caratteristica distintiva è l'alto tasso di hapax (espressioni uniche che appaiono una sola volta), che varia dal 72,0% per la Diagnosi all'86,9% per i Fattori di rischio, riflettendo la natura informale e diversificata del testo.
4. Benchmarking: Cinque sistemi NER sono stati valutati su una suddivisione stratificata train/validation/test (1.211/256/275 query):
   • M1: IndoBERT-base + Linear head.
   • M2: IndoBERT-base + CRF layer.
   • M3: XLM-RoBERTa-large (multilingue) + Linear head.
   • M4: IndoBERT-large + Linear head.
   • Baseline: GPT-5.4 valutato in un contesto zero-shot.
   • Metrica di valutazione: F1-score macro-mediato a livello di span utilizzando seqeval.

Risultati Chiave

• Performance dei modelli: Il modello fine-tuned XLM-RoBERTa-large (M3) ha ottenuto la migliore performance con un macro F1 di 0,7823. Ha superato l'IndoBERT-large monolingue (M4, F1=0,7614) e la baseline zero-shot GPT-5.4 (F1=0,6682) rispettivamente di 2,1 e 11,4 punti.
• Approfondimenti sulle entità:
  • La Diagnosi (DGN) è stata l'entità più facile da riconoscere (F1 0,86–0,89) a causa dell'alta frequenza del termine "stroke" e delle sue varianti.
  • Sintomo (SYM) e Fattore di rischio (RF) sono stati i più difficili, in correlazione con i loro elevati tassi di hapax.
  • L'LLM zero-shot ha performato in modo comparabile su DGN, ma è rimasto significativamente indietro su SYM e RF, fallendo nel catturare espressioni informali e terminologia regionale.
• Analisi degli errori:
  • Vincolo Hapax: Esiste una forte correlazione negativa tra tasso di hapax e punteggio F1. Il 68,3% degli span falsi negativi è stato mancato da tutti e quattro i modelli fine-tuned, indicando un limite di performance guidato dalla copertura lessicale piuttosto che dall'architettura del modello.
  • Fine-tuning vs. Zero-shot: Il modello fine-tuned ha identificato correttamente 204 span che il modello zero-shot ha mancato, rispetto a soli 57 nella direzione opposta (rapporto 3,6:1). Questo vantaggio è stato più pronunciato per SYM (4,6:1) e RF (7,0:1).
  • Classificazione Binaria vs. Join Training: L'addestramento di classificatori binari per entità specifiche ha migliorato le performance per DGN e TMP, ma ha degradato le performance per RF di 0,08 punti F1, suggerendo che il contesto cross-entità è cruciale per l'identificazione dei fattori di rischio.

Significatività e Contributi
Il documento rivendica quattro contributi primari:

1. Primo Corpus Pubblico: Rilascia il primo corpus disponibile pubblicamente, clinicamente fondato, per l'NER dell'ictus in indonesiano, mirato specificamente al testo informale generato dai pazienti.
2. Insight di Benchmarking: Dimostra che per l'informal clinical NER in lingue a basse risorse, il pre-addestramento multilingue (XLM-RoBERTa) fornisce maggiori guadagni di performance rispetto all'aumento della scala del modello monolingue (IndoBERT-large), specialmente per entità con alta diversità lessicale.
3. Analisi Linguistica: Documenta i fenomeni linguistici unici delle query sull'ictus in indonesiano, inclusi la variazione ortografica, i colloquialismi giavanesi e le espressioni temporali culturalmente specifiche, che le risorse NLP standard non riescono a catturare.
4. Necessità del Fine-tuning: Valida empiricamente che il fine-tuning specifico per il dominio supera sostanzialmente il prompting zero-shot dei grandi modelli linguistici per questo compito, specialmente quando si tratta di linguaggio informale e contesto clinico.

Gli autori concludono che i futuri miglioramenti delle performance sono limitati dalla copertura lessicale piuttosto che dall'architettura del modello. Essi postulano che l'espansione del vocabolario di addestramento attraverso l'annotazione aggiuntiva o l'augmentation dei dati sia la via più efficace, piuttosto che le modifiche architettoniche. Il dataset, le linee guida e i modelli sono rilasciati pubblicamente per supportare ulteriori ricerche nel campo del clinical NLP in indonesiano.