StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

तकनीकी सारांश: StrokeID-NER

समस्या विवरण
स्ट्रोक इंडोनेशिया में मृत्यु और विकलांगता का प्रमुख कारण है, फिर भी स्ट्रोक ट्राइएज (triage) के लिए नैदानिक नेचुरल लैंग्वेज प्रोसेसिंग (NLP) उपकरण रोगी-जनित पाठ (patient-generated text) के लिए डोमेन-विशिष्ट एनोटेटेड संसाधनों की कमी के कारण बाधित हैं। जबकि Alodokter.com जैसे डिजिटल स्वास्थ्य प्लेटफॉर्म अनौपचारिक इंडोनेशियाई स्वास्थ्य प्रश्नों के विशाल संग्रह को होस्ट करते हैं, ये टेक्स्ट अद्वितीय NLP चुनौतियाँ प्रस्तुत करते हैं: अत्यधिक ऑर्थोग्राफिक भिन्नता, क्षेत्रीय बोलियों (जैसे जावानीस) का उपयोग, सामान्य रूपक (lay metaphors), कोड-मिक्सिंग, और सांस्कृतिक रूप से विशिष्ट टेम्पोरल संदर्भ (जैसे इस्लामी कैलेंडर की घटनाएँ)। मौजूदा इंडोनेशियाई मेडिकल NER डेटासेट या तो औपचारिक नैदानिक रिकॉर्ड, स्वास्थ्य समाचार, या मिश्रित रोगी-चिकित्सक संवादों पर ध्यान केंद्रित करते हैं, जो अनौपचारिक, केवल रोगी-आधारित स्ट्रोक प्रश्नों की विशिष्ट भाषाई और नैदानिक जटिलताओं को संबोधित करने में विफल रहते हैं।

कार्यप्रणाली
यह अध्ययन StrokeID-NER पेश करता है, जो एक विशेष नेमड एंटिटी रिकग्निशन (NER) डेटासेट और बेंचमार्किंग फ्रेमवर्क है जिसे चार चरणों के माध्यम से निर्मित किया गया है:

1. डेटा निर्माण: डेटासेट में "Indonesia-medical-qna" डेटासेट (Alodokter.com से प्राप्त) से फ़िल्टर किए गए 1,742 रोगी प्रश्न शामिल हैं, जो विशेष रूप से स्ट्रोक और हेमोरेजिक स्ट्रोक विषयों पर केंद्रित हैं। वास्तविक दुनिया की ट्राइएज स्थितियों का अनुकरण करने के लिए, जो पूरी तरह से रोगी इनपुट पर निर्भर करती हैं, चिकित्सक की प्रतिक्रियाओं को बाहर रखा गया था।
2. एनोटेशन स्कीम: प्रश्नों को चार नैदानिक रूप से आधारित एंटिटी प्रकारों के तहत नौ टैग के साथ BIO (Begin-Inside-Outside) स्कीम का उपयोग करके एनोटेट किया गया था:
   • लक्षण (Symptom - SYM): शारीरिक/तंत्रिका संबंधी अभिव्यक्तियाँ (जैसे lemas, drodog)।
   • निदान (Diagnosis - DGN): स्ट्रोक के उपप्रकार और स्थितियाँ (जैसे stroke ringan, pendarahan otak)।
   • टेम्पोरल (Temporal - TMP): शुरुआत, अवधि और समय (जैसे tiba-tiba, saat hari ke-20 puasa)।
   • जोखिम कारक (Risk Factor - RF): पूर्व-मौजूद स्थितियाँ और जनसांख्यिकी (जैसे hipertensi, usia 65 tahun)।
   • इंटर-एनोटेटर सहमति का आकलन एक स्तरीकृत नमूने पर किया गया, जिससे कोहेन का कप्पा $\kappa = 0.857$ प्राप्त हुआ।
3. डेटासेट सांख्यिकी: कॉर्पस में 6,765 एंटिटी स्पैन (entity spans) हैं। एक परिभाषित विशेषता उच्च हापैक्स दर (hapax rate - वे अद्वितीय अभिव्यक्ति जो केवल एक बार दिखाई देती हैं) है, जो डायग्नोसिस के लिए 72.0% से लेकर रिस्क फैक्टर्स के लिए 86.9% तक है, जो टेक्स्ट की अनौपचारिक और विविध प्रकृति को दर्शाती है।
4. बेंचमार्किंग: पाँच NER सिस्टम का एक स्तरीकृत ट्रेन/वैलिडेशन/टेस्ट स्प्लिट (1,211/256/275 प्रश्न) पर मूल्यांकन किया गया:
   • M1: IndoBERT-base + Linear head।
   • M2: IndoBERT-base + CRF layer।
   • M3: XLM-RoBERTa-large (बहुभाषी) + Linear head।
   • M4: IndoBERT-large + Linear head।
   • बेसलाइन: ज़ीरो-शॉट सेटिंग में मूल्यांकित GPT-5.4।
   • मूल्यांकन मीट्रिक: seqeval का उपयोग करके स्पैन-लेवल मैक्रो-एवरेज F1-स्कोर।

मुख्य परिणाम

• मॉडल प्रदर्शन: फाइन-ट्यून्ड XLM-RoBERTa-large (M3) ने 0.7823 के मैक्रो F1 के साथ सर्वश्रेष्ठ प्रदर्शन किया। इसने मोनोलिंगुअल IndoBERT-large (M4, F1=0.7614) और ज़ीरो-शॉट GPT-5.4 बेसलाइन (F1=0.6682) को क्रमशः 2.1 और 11.4 अंकों से पीछे छोड़ दिया।
• एंटिटी-विशिष्ट अंतर्दृष्टि:
  • निदान (DGN) सबसे आसानी से पहचाने जाने वाली एंटिटी थी (F1 0.86–0.89), जिसका कारण "stroke" शब्द और उसके वेरिएंट की उच्च आवृत्ति है।
  • लक्षण (SYM) और जोखिम कारक (RF) सबसे कठिन थे, जो उनकी उच्च हापैक्स दर के साथ सह-संबंधित हैं।
  • ज़ीरो-शॉट LLM ने DGN पर तुलनीय प्रदर्शन किया लेकिन SYM और RF पर काफी पिछड़ गया, क्योंकि वह अनौपचारिक अभिव्यक्तियों और क्षेत्रीय शब्दावली को पकड़ने में विफल रहा।
• त्रुटि विश्लेषण:
  • हापैक्स बाधा (Hapax Constraint): हापैक्स दर और F1 स्कोर के बीच एक मजबूत नकारात्मक सहसंबंध मौजूद है। 68.3% फॉल्स नेगेटिव स्पैन सभी चार फाइन-ट्यून्ड मॉडलों द्वारा मिस किए गए, जो यह दर्शाता है कि प्रदर्शन की सीमा मॉडल आर्किटेक्चर के बजाय लेक्सिकल कवरेज (lexical coverage) द्वारा संचालित है।
  • फाइन-ट्यूनिंग बनाम ज़ीरो-शॉट: फाइन-ट्यून्ड मॉडल ने उन 204 स्पैनों को सही ढंग से पहचाना जिन्हें ज़ीरो-शॉट मॉडल ने मिस कर दिया था, जबकि इसके विपरीत केवल 57 स्पैन थे (3.6:1 का अनुपात)। यह लाभ SYM (4.6:1) और RF (7.0:1) के लिए सबसे अधिक स्पष्ट था।
  • बाइनरी बनाम जॉइंट ट्रेनिंग: विशिष्ट एंटिटीज के लिए बाइनरी क्लासिफायर के प्रशिक्षण ने DGN और TMP के लिए प्रदर्शन में सुधार किया लेकिन RF के लिए प्रदर्शन को 0.08 F1 अंक कम कर दिया, जो सुझाव देता है कि जोखिम कारकों की पहचान के लिए क्रॉस-एंटिटी संदर्भ (cross-entity context) महत्वपूर्ण है।

महत्व और दावे
पेपर चार प्राथमिक योगदानों का दावा करता है:

1. प्रथम सार्वजनिक कॉर्पस: यह इंडोनेशियाई में स्ट्रोक NER के लिए पहला सार्वजनिक रूप से उपलब्ध, नैदानिक रूप से आधारित कॉर्पस जारी करता है, जो विशेष रूप से अनौपचारिक रोगी-जनित पाठ को लक्षित करता है।
2. बेंचमार्किंग अंतर्दृष्टि: यह प्रदर्शित करता है कि कम-संसाधन वाली भाषाओं में अनौपचारिक नैदानिक NER के लिए, बहुभाषी प्रीट्रेनिंग (XLM-RoBERTa) मोनोलिंगुअल मॉडल के स्केल (IndoBERT-large) को बढ़ाने की तुलना में अधिक प्रदर्शन लाभ प्रदान करती है, विशेष रूप से उच्च लेक्सिकल विविधता वाली एंटिटीज के लिए।
3. भाषाई विश्लेषण: यह इंडोनेशियाई स्ट्रोक प्रश्नों की अनूठी भाषाई घटनाओं का दस्तावेजीकरण करता है, जिसमें ऑर्थोग्राफिक भिन्नता, जावानीस बोलियाँ और सांस्कृतिक रूप से विशिष्ट टेम्पोरल अभिव्यक्तियाँ शामिल हैं, जिन्हें मानक NLP संसाधन कैप्चर करने में विफल रहते हैं।
4. फाइन-ट्यूनिंग की आवश्यकता: यह अनुभवजन्य रूप से मान्य करता है कि डोमेन-विशिष्ट फाइन-ट्यूनिंग इस कार्य के लिए बड़े भाषा मॉडल (LLM) की ज़ीरो-शॉट प्रॉम्प्टिंग की तुलना में काफी बेहतर प्रदर्शन करती है, विशेष रूप से अनौपचारिक भाषा और नैदानिक संदर्भ के मामले में।

लेखक निष्कर्ष निकालते हैं कि प्रदर्शन में भविष्य के सुधार लेक्सिकल कवरेज द्वारा सीमित हैं, न कि मॉडल आर्किटेक्चर द्वारा। उनका मानना है कि अतिरिक्त एनोटेशन या डेटा ऑग्मेंटेशन के माध्यम से प्रशिक्षण शब्दावली का विस्तार करना सबसे प्रभावी मार्ग है, न कि आर्किटेक्चरल संशोधन। डेटासेट, दिशानिर्देश और मॉडल को आगे के अनुसंधान का समर्थन करने के लिए सार्वजनिक रूप से जारी किया गया है।