StrokeID-NER : A Stroke Named Entity Recognition Dataset for Indonesian Patient- Generated Health Queries

ملخص تقني: StrokeID-NER

بيان المشكلة
تعد السكتة الدماغية السبب الرئيسي للوفاة والإعاقة في إندونيسيا، ومع ذلك، تعاني أدوات معالجة اللغات الطبيعية (NLP) السريرية المخصصة لفرز حالات السكتة الدماغية من نقص الموارد الموسومة ذات النطاق المحدد للنصوص التي يولدها المرضى. وبينما تستضيف منصات الصحة الرقمية مثل Alodokter.com أرشيفات ضخمة من الاستفسارات الصحية غير الرسمية باللغة الإندونيسية، فإن هذه النصوص تفرض تحديات فريدة في معالجة اللغات الطبيعية: تباين إملائي شديد، استخدام اللهجات الإقليمية (مثل الجاوية)، الاستعارات العامية، خلط اللغات (code-mixing)، والإشارات الزمنية ذات الخصوصية الثقافية (مثل أحداث التقويم الإسلامي). تفشل مجموعات بيانات التعرف على الكيانات المسماة (NER) الطبية الإندونيسية الحالية، التي تركز إما على السجلات السريرية الرسمية، أو الأخبار الصحية، أو الحوارات المختلطة بين المريض والطبيب، في معالجة التعقيدات اللغوية والسريرية المحددة للاستفسارات غير الرسمية الخاصة بالمرضى حول السكتة الدماغية فقط.

المنهجية
تقدم هذه الدراسة StrokeID-NER، وهو عبارة عن مجموعة بيانات متخصصة للتعرف على الكيانات المسماة (NER) وإطار عمل للمقارنة المرجعية، تم بناؤه عبر أربع مراحل:

1. بناء البيانات: تتكون مجموعة البيانات من 1,742 استفساراً من المرضى تم تصفيتها من مجموعة بيانات "Indonesia-medical-qna" (المستمدة من Alodokter.com)، مع التركيز حصرياً على مواضيع السكتة الدماغية والسكتة الدماغية النزفية. تم استبعاد ردود الأطباء لمحاكاة ظروف الفرز في العالم الحقيقي التي تعتمد فقط على مدخلات المريض.
2. مخطط التوسيم: تم توسيم الاستفسارات باستخدام مخطط BIO (البداية-الداخل-الخارج) مع تسعة وسوم عبر أربعة أنواع من الكيانات ذات الأساس السريري:
   • العرض (SYM): المظاهر الجسدية/العصبية (مثل lemas، drodog).
   • التشخيص (DGN): أنواع السكتة الدماغية والحالات (مثل stroke ringan، pendarahan otak).
   • الزمن (TMP): وقت الظهور، المدة، والتوقيت (مثل tiba-tiba، saat hari ke-20 puasa).
   • عامل الخطر (RF): الحالات الموجودة مسبقاً والديموغرافيا (مثل hipertensi، usia 65 tahun).
   • تم تقييم الاتفاق بين الملحظين على عينة طبقية، مما أسفر عن معامل كوهين كابا $\kappa = 0.857$.
3. إحصائيات مجموعة البيانات: تحتوي المجموعة على 6,765 نطاق كيان. وتعد السمة المميزة هي معدل الـ hapax العالي (التعبيرات الفريدة التي تظهر مرة واحدة فقط)، والذي يتراوح بين 72.0% للتشخيص و86.9% لعوامل الخطر، مما يعكس الطبيعة غير الرسمية والمتنوعة للنص.
4. المقارنة المرجعية: تم تقييم خمسة أنظمة NER على تقسيم طبقي للتدريب/التحقق/الاختبار (1,211/256/275 استفساراً):
   • M1: نموذج IndoBERT-base + رأس خطي (Linear head).
   • M2: نموذج IndoBERT-base + طبقة CRF.
   • M3: نموذج XLM-RoBERTa-large (متعدد اللغات) + رأس خطي.
   • M4: نموذج IndoBERT-large + رأس خطي.
   • الأساس (Baseline): نموذج GPT-5.4 الذي تم تقييمه في وضع التعلم الصفري (zero-shot).
   • مقياس التقييم: مقياس F1 المتوسط الكلي على مستوى النطاق (span-level macro-averaged F1-score) باستخدام seqeval.

النتائج الرئيسية

• أداء النماذج: حقق نموذج XLM-RoBERTA-large (M3) المضبط بدقة أفضل أداء مع F1 كلي بلغ 0.7823. وقد تفوق على نموذج IndoBERT-large أحادي اللغة (M4, F1=0.7614) ونموذج GPT-5.4 الأساسي في وضع التعلم الصفري (F1=0.6682) بمقدار 2.1 و11.4 نقطة على التوالي.
• رؤى خاصة بالكيانات:
  • كان التشخيص (DGN) أسهل كيان يمكن التعرف عليه (F1 0.86–0.89) بسبب التكرار العالي لمصطلح "stroke" ومتغيراته.
  • كانت الأعراض (SYM) وعوامل الخطر (RF) هي الأكثر صعوبة، وهو ما يرتبط بمعدلات الـ hapax العالية الخاصة بها.
  • أدى النموذج اللغوي الكبير (LLM) في وضع التعلم الصفري أداءً مقارباً في التشخيص (DGN)، لكنه تأخر بشكل كبير في الأعراض (SYM) وعوامل الخطر (RF)، وفشل في التقاط التعبيرات غير الرسمية والمصطلحات الإقليمية.
• تحليل الأخطاء:
  • قيد الـ Hapax: يوجد ارتباط سلبي قوي بين معدل الـ hapax ودرجة F1. حيث تم فقدان 68.3% من نطاقات السلب الكاذب (false negative) من قبل جميع النماذج الأربعة المضبطة، مما يشير إلى سقف أداء مدفوع بالتغطية المعجمية بدلاً من بنية النموذج.
  • الضبط الدقيق مقابل التعلم الصفري: حدد النموذج المضبط بدقة 204 نطاقاً بشكل صحيح بينما فاتتها النماذج في وضع التعلم الصفري، مقارنة بـ 57 حالة فقط في الاتجاه المعاكس (نسبة 3.6:1). كانت هذه الميزة أكثر وضوحاً في الأعراض (4.6:1) وعوامل الخطر (7.0:1).
  • التدريب الثنائي مقابل التدريب المشترك: أدى تدريب المصنفات الثنائية لكيانات محددة إلى تحسين الأداء للتشخيص (DGN) والزمن (TMP) ولكنه أدى إلى تراجع الأداء لعوامل الخطر (RF) بمقدار 0.08 نقطة F1، مما يشير إلى أن السياق المشترك بين الكيانات أمر بالغ الأهمية لتحديد عوامل الخطر.

الأهمية والادعاءات
يدعي البحث أربعة مساهمات رئيسية:

1. أول مجموعة بيانات عامة: إصدار أول مجموعة بيانات متاحة للجمهور ومبنية سريرياً للتعرف على كيانات السكتة الدماغية في اللغة الإندونيسية، والتي تستهدف تحديداً النصوص غير الرسمية التي يولدها المرضى.
2. رؤى المقارنة المرجعية: يوضح أن التعلم المسبق متعدد اللغات (XLM-RoBERTa) يوفر مكاسب أداء أكبر من زيادة حجم النماذج أحادية اللغة (IndoBERT-large) بالنسبة لمهام التعرف على الكيانات غير الرسمية في اللغات ذات الموارد المنخفضة، لا سيما للكيانات ذات التنوع المعجمي العالي.
3. التحليل اللغوي: توثيق الظواهر اللغوية الفريدة لاستفسارات السكتة الدماغية الإندونيسية، بما في ذلك التباين الإملائي، واللهجات الجاوية العامية، والتعبيرات الزمنية ذات الخصوصية الثقافية، والتي تفشل موارد معالجة اللغات الطبيعية القياسية في التقاطها.
4. ضرورة الضبط الدقيق: إثبات تجريبي بأن الضبط الدقيق المتخصص يتفوق بشكل كبير على التلقين الصفري (zero-shot prompting) للنماذج اللغوية الكبيرة لهذه المهمة، خاصة عند التعامل مع اللغة غير الرسمية والسياق السريري.

يخلص المؤلفون إلى أن التحسينات المستقبلية في الأداء مقيدة بـ التغطية المعجمية وليس ببنية النموذج. ويرون أن توسيع المفردات التدريبية من خلال المزيد من التوسيم أو تعزيز البيانات هو المسار الأكثر فعالية، بدلاً من التعديلات الهيكلية. تم إصدار مجموعة البيانات، والمبادئ التوجيهية، والنماذج علناً لدعم المزيد من الأبحاث في مجال معالجة اللغات الطبيعية السريرية الإندونيسية.