GS-BrainText: A Multi-Site Brain Imaging Report Dataset from Generation Scotland for Clinical Natural Language Processing Development and Validation
تقدم الورقة البحثية GS-BrainText، وهو عبارة عن مجموعة بيانات منسقة متعددة المواقع تضم 8,511 تقريراً طبياً مشروحاً لصور الأشعة الدماغية من مجموعة "جيل سكوتلندا" (Generation Scotland)، والتي صُممت لمعالجة الفجوات في موارد النصوص السريرية في المملكة المتحدة ودعم تطوير والتحقق من صحة أدوات معالجة اللغات الطبيعية السريرية القابلة للتعميم.
المؤلفون الأصليون:Beatrice Alex, Claire Grover, Arlene Casey, Richard Tobin, Heather Whalley, William Whiteley
تخيل أنك تحاول تعليم روبوت كيفية قراءة ملاحظات الأطباء. تقدم له مجموعة من تقارير فحوصات الدماغ، آملًا أن يتعلم كيفية رصد أمراض مثل السكتات الدماغية أو الأورام بمجرد قراءة النص. ولكن تكمن المشكلة هنا: الأطباء في المستشفيات المختلفة، وحتى في المدن المختلفة، يكتبون ملاحظاتهم بطرق مختلفة قليلاً. قد يكتب أحدهم "سكتة قديمة"، بينما يكتب آخر "حدث نقص تروية سابق". إذا قمت بتدريب الروبوت الخاص بك فقط على ملاحظات من مستشفى واحد محدد، فقد يصاب بالارتباك عندما يرى ملاحظات من مستشفى مجاور.
تقدم هذه الورقة البحثية GS-BrainText، وهو "كتاب مدرسي" ضخم وعالي الجودة مصمم لمساعدة الحواسيب على تعلم كيفية قراءة تقارير فحوصات الدماغ بدقة، بغض النظر عن مصدرها.
إليك قصة الورقة البحثية، مقسمة إلى أجزاء بسيطة:
1. المشكلة: معضلة "اللهجة"
فكر في الملاحظات السريرية مثل اللهجات الإقليمية. قد يكتب طبيب في غلاسكو تقريراً بشكل مختلف عما يكتبه طبيب في إدنبرة، رغم أنهما يتحدثان عن الشيء نفسه.
الفجوة: معظم مجموعات البيانات الموجودة لتدريب الذكاء الاصطناعي هي من الولايات المتحدة. إنها تشبه تعليم طالب بريطاني التحدث بالإنجليزية الأمريكية؛ سيعمل الأمر بشكل جيد نوعاً ما، لكن المصطلحات والقواعد تختلف.
الحاجة: كنا بحاجة إلى مجموعة بيانات تلتقط "اللهجة الاسكتلندية" للكتابة الطبية عبر العديد من المستشفيات المختلفة، وليس مستشفى واحداً فقط.
2. الحل: مكتبة ضخمة من تقارير الدماغ
قام الباحثون ببناء GS-BrainText.
المجموعة: جمعوا 8,511 تقريراً لفحوصات الدماغ (الأشعة المقطعية والرنين المغناطيسي) من مشروع "Generation Scotland". هذه مجموعة ضخمة من أشخاص حقيقيين تطوعوا بدراسة بياناتهم الصحية.
التغطية: تأتي هذه التقارير من خمس مناطق صحية مختلفة في جميع أنحاء اسكتلندا. هذا يشبه جمع وصفات من خمس جدات مختلفتات في نفس البلد لتعليم طاهٍ كيفية صنع طبق تقليدي، مما يضمن أن يتعلم الطاهي التنوع الحقيقي، وليس مجرد نسخة عائلة واحدة.
المعيار الذهبي: من بين تلك التقارير البالغ عددها 8,511، قاموا باختيار 2,431 تقريراً بعناية فائقة، وجعلوا فريقاً من الخبراء (أطباء وعلماء) يقرؤونها سطراً بسطر. لقد حددوا بدقة أين ذُكرت الأمراض، وما نوعها، وأين تقع في الدماغ. هذا هو "مفتاح الإجابة" للذكاء الاصطناعي.
3. "الفئات الـ 24" (القائمة)
لم يكتفِ الخبراء بالبحث عن "مشاكل الدماغ" فحسب، بل أنشأوا قائمة محددة من 24 حالة مختلفة للبحث عنها، مثل:
السكتات الدماغية: التمييز بين السكتات "الحديثة" و"القديمة"، وما إذا كانت عميقة في الدماغ أو على السطح.
الأورام: تحديد أنواع معينة مثل الأورام السحائية أو النقائل السرطانية.
مشكلات أخرى: أشياء مثل انكماش الدماغ (الضمور) أو النزيف الصغير (النزيف المجهري).
4. الاختبار: هل يستطيع الروبوت القراءة؟
لمعرفة مدى فائدة هذه المجموعة الجديدة من البيانات، اختبر الباحثون أداة ذكاء اصطناعي موجودة تسمى EdIE-R (تخيلها كروبوت ذكي جداً يتبع القواعد بدقة).
النتيجة: حقق الروبوت أداءً رائعاً بشكل عام (دقة حوالي 89%).
المنعطف: لم يكن الروبوت مثالياً في كل مكان.
كان بطلاً خارقاً في رصد الأشياء الشائعة مثل "مرض الأوعية الصغيرة" (دقة 95%).
عانى مع الأشياء النادرة، مثل أنواع معينة من تمدد الأوعية الدموية (دقة 22% فقط)، ويرجع ذلك أساساً إلى عدم رؤيته لعدد كافٍ من الأمثلة عليها.
اختبار "اللهجة": حقق الروبوت أفضل أداء في المنطقة التي تم تدريبه فيها أصلاً (لوثيان) وأداءً جيداً بشكل مفاجئ في فايف، لكن أداءه انخفض في مناطق أخرى مثل تسايد. وهذا يثبت أنه حتى الروبوت الذكي يصاب بالارتباك بسبب أساليب الكتابة المحلية إذا لم يتم تدريبه عليها.
5. لماذا يهم هذا (الصورة الكبيرة)
هذه الورقة البحثية تغير قواعد اللعبة لسببين رئيسيين:
إنها "اختبار واقع" للذكاء الاصطناعي: فهي توضح لنا أنه لا يمكنك مجرد بناء ذكاء اصطناعي في مختبر واحد وتوقع أن يعمل بشكل مثالي في كل مكان. تماماً كما يحتاج الشخص لتعلم لهجات مختلفة للسفر، يحتاج الذكاء الاصطناعي للتدريب على بيانات متنوعة ليعمل في مستشفيات مختلفة.
إنها هدية للباحثين: من خلال إتاحة مجموعة البيانات هذه (مع قواعد خصوصية صارمة)، يقدم المؤلفون للعلماء الآخرين "ملعب المعيار الذهبي". الآن، يمكن لأي شخص بناء أدوات ذكاء اصطناعي جديدة واختبارها مقابل هذه البيانات الاسكتلندية عالية الجودة ليرى ما إذا كانت جاهزة حقاً للعالم الحقيقي.
الخلا-صة
GS-BrainText يشبه قاموساً ضخماً متعدد المناطق ودليلاً للقواعد اللغوية لتقارير فحوصات الدماغ. إنه يساعدنا على فهم أن اللغة الطبية تتفاوت، ويوفر أرضية التدريب التي نحتاجها لبناء أدوات ذكاء اصطناعي قوية، عادلة، وجاهزة لمساعدة الأطباء في أي مستشفى، وليس فقط المستشفى الذي ابتُكرت فيه.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "GS-BrainText: مجموعة بيانات تقارير تصوير الدماغ من عدة مواقع من Generation Scotland لتطوير والتحقق من معالجة اللغات الطبيعية السريرية."
1. بيان المشكلة
تمتلك معالجة اللغات الطبيعية (NLP) السريرية إمكانات كبيرة لاستخراج البيانات المهيكلة من السجلات الصحية الإلكترونية (EHRs) غير المهيكلة لدعم البحث واتخاذ القرار السريري. ومع ذلك، فإن نقل أدوات معالجة اللغات الطبيعية من مرحلة البحث إلى الممارسة السريرية يعوقه ثلاثة قيود حرجة:
نقص القدرة على التعميم: معظم مجموعات بيانات النصوص السريرية المتاحة تنشأ من أنظمة الرعاية الصحية في الولايات المتحدة، والتي تختلف في المصطلحات، وممارسات التوثيق، والعمليات الرعائية عن هيئة الخدمات الصحية الوطنية (NHS) في المملكة المتحدة.
النطاق المحدود: تمثل مجموعات البيانات الموجودة غالبًا مؤسسات واحدة أو فئات سكانية ضيقة، مما يفشل في استيعاب التنوع اللغوي والديموغرافي المطلوب لتطوير أنظمة قوية.
ندرة البيانات: هناك نقص كبير في مجموعات بيانات تقارير تصوير الدماغ المتاحة للجمهور والمصنفة من قبل خبراء، لا سيما في بيئات المملكة المتحدة. وبينما توجد مجموعات بيانات واسعة النطاق (مثل MIMIC-CXR)، إلا أنها تركز على تصوير الصدر أو تفتقر إلى التصنيفات "المعيارية الذهبية" التي أعدها البشر للأنماط الظاهرية العصبية المحددة.
2. المنهجية
جمع وتنسيق البيانات
المصدر: مشتقة مجموعة البيانات من كوهورت (Cohort) Generation Scotland، وهي دراسة سكانية تشمل حوالي 24,000 مشارك.
النطاق: تتضمن 8,511 تقريرًا إشعاعيًا للدماغ (الأشعة المقطعية والرنين المغناطيسي) تغطي خمس مجالس صحية تابعة لـ NHS في اسكتلندا (Fife، وLothian، وGreater Glasgow and Clyde [GGC]، وGrampian، وTayside) من عام 1994 إلى 2021.
المعالجة المسبقة: تم تحويل تقارير CSV الخام إلى XML. تم تحديد الأقسام الهيكلية (مثل التاريخ السريري مقابل نتائج أخصائي الأشعة). تم استبعاد أقسام التاريخ السريري من عملية التصنيف.
مجموعة التصنيف الفرعية: تم تصنيف مجموعة فرعية مكونة من 2,431 تقريرًا يدويًا. تتضمن هذه المجموعة نطاقًا عمريًا واسعًا (متوسط العمر 58، والوسيط 53) وتوزيعًا جنسيًا (59% إناث، 41% ذكور).
مخطط التصنيف (Annotation Schema)
استخدم الفريق مخططًا شاملاً تم تطويره في الأصل لنظام EdIE-R، ويغطي:
24 نمطًا ظاهريًا لأمراض الدماغ: مصنفة إلى (مرتبطة بالسكتة الدماغية (11)، مرتبطة بالأورام (4)، وأمراض عصبية أخرى (9)).
على مستوى النص: الكيانات المسماة (النتائج)، معدلات الموقع (عميق، قشري، فصي)، المعدلات الزمنية (حديث، قديم)، سمات النفي، والعلاقات.
على مستوى المستند: تسميات ثنائية تشير إلى وجود أو غياب كل نمط من الأنماط الـ 24 في التقرير بأكمله.
العملية: تم إجراء التصنيفات من قبل فريق متعدد التخصصات (أطباء أعصاب، أطباء، علماء، طلاب) باستخدام أداة BRAT. ولضمان الكفاءة، قام المصنفون بإجراء تصحيحات منهجية لمخرجات نظام EdIE-R الموجودة مسبقًا بدلاً من التصنيف من الصفر.
تم التصنيف المزدوج لـ 100% من بيانات Lothian وFife.
تم التصنيف المزدوج لنسبة تتراوح بين 10-100% من بيانات المجالس الأخرى.
تراوحت درجات F1 لاتفاق المصنفين (IAA) بين 83.74 و95.65.
القياس المرجعي (Benchmarking)
قيم المؤلفون نظام معالجة اللغات الطبيعية القائم على القواعد، EdIE-R، على كامل مجموعة البيانات المصنفة لتحديد خط الأساس.
المقاييس: تم حساب الدقة (Precision)، والاستدعاء (Recall)، ودرجات F1 على مستويات النمط الظاهري، والمجلس الصحي، والفئة العمرية.
المتوسط: تم تسجيل كل من المتوسطات الدقيقة (micro-averaged - الموزونة حسب التكرار) والمتوسطات الكلية (macro-averaged - غير الموزونة) لمراعاة عدم توازن الفئات.
3. المساهمات الرئيسية
مجموعة بيانات GS-BrainText: إنشاء أول مجموعة بيانات لتصوير الدماغ إشعاعيًا، متعددة المواقع، ومصنفة من قبل خبراء للمملكة المتحدة (NHS)، مما يعالج الفجوة في موارد معالجة اللغات الطبيعية السريرية غير الأمريكية.
تصنيف شامل للأنماط الظاهرية: مخطط تفصيلي يغطي 24 نمطًا ظاهريًا وعائيًا عصبيًا وعصبيًا ذا أهمية سريرية مع معدلات دقيقة (الموقع، التوقيت).
أدلة القياس المرجعي: تقييم صارم يوضح أن أداء معالجة اللغات الطبيعية يختلف بشكل كبير بناءً على الجغرافيا (المجلس الصحي)، وتكرار النمط الظاهري، وعمر المريض، مما يسلط الضوء على تحديات النشر "الجاهز للاستخدام".
التحليل اللغوي: تحديد الاختلافات اللغوية، مثل زيادة استخدام لغة "التحوط" (التعبير عن عدم اليقين) في التقارير الخاصة بالمرضى الأصغر سنًا (أقل من 50 عامًا).
الأنماط الظاهرية عالية الأداء: تم اكتشاف الحالات الشائعة مثل أمراض الأوعية الصغيرة (F1: 95.60) والضمور (F1: 95.69) بدقة عالية.
الأنماط الظاهرية منخفضة الأداء: أظهرت الحالات النادرة أو المعقدة أداءً أقل.
نزف تحت العنكبوتية، تمدد الأوعية الدموية: F1 = 22.22 (بسبب انخفاض الاستدعاء البالغ 14.29).
سكتة إقفارية، غير محددة بدقة: F1 = 60.00 (بسبب انخفاض الدقة).
النزيف الدقيق: حقق درجات كاملة (F1=100) ولكن بناءً على حالات قليلة جدًا (n=2 و n=7)، مما يحد من الموثوقية الإحصائية.
الأداء حسب المجلس الصحي
لوحظ تباين كبير عبر المجالس الخمسة لـ NHS، حيث تراوحت درجات F1 من 86.13 (Tayside) إلى 98.13 (Fife).
ومن الملاحظ أن الأداء في Fife (98.13) كان أعلى من Tayside (86.13)، رغم أن بيانات Tayside قد استُخدمت سابقًا لتحسين النظام. وهذا يشير إلى أن اتفاقيات التقارير المحلية وتغاير البيانات تؤثر بقوة على أداء الأنظمة القائمة على القواعد.
الأداء حسب الفئة العمرية
تحسن الأداء مع تقدم العمر:
أقل من 50 عامًا: F1 = 77.60
50–69 عامًا: F1 = 86.62
70+ عامًا: F1 = 91.70
يرتبط هذا بزيادة انتشار أنماط ظاهرية معينة في الفئات العمرية الأكبر واستخدام لغة أكثر حسمًا في التقارير الخاصة بكبار السن.
5. الأهمية والآثار المترتبة
تحدي القدرة على التعميم: تؤكد النتائج أن أنظمة معالجة اللغات الطبيبية المدربة على بيانات من مؤسسة واحدة غالبًا ما تفشل في التعميم حتى داخل نفس النظام الصحي الوطني (المملكة المتحدة). يعد التحقق المحلي أمرًا بالغ الأهمية قبل النشر السريري.
مورد للبحث: توفر GS-BrainText موردًا "معياريًا ذهبيًا" لتطوير واختبار أدوات معالجة اللغات الطبيعية من الجيل التالي (بما في ذلك النماذج اللغوية الكبيرة - LLMs) التي يجب أن تتعامل مع التباين اللغوي، والتنوع الديموغرافي، وتغاير المواقع المتعددة.
الأثر السريري: تمكن مجموعة البيانات من إجراء دراسات وبائية واسعة النطاق وتحديد المجموعات (cohort identification) التي كانت غير ممكنة سابقًا بسبب الجهد اليدوي المطلوب لمراجعة تقارير الأشعة غير المهيكلة.
الاتجاهات المستقبلية: يوصي المؤلفون بأن يركز العمل المستقبلي على التحقق المتقاطع (k-fold cross-validation) (بسبب عدم توازن الفئات) وتطوير نماذج يمكنها التكيف مع اتفاقيات التقارير المحلية دون الحاجة إلى إعادة تدريب مكثفة.
الوصول: تتوفر مجموعة البيانات عبر عملية وصول خاضعة للرقابة من خلال Generation Scotland لضمان خصوصية المريض والامتثال الأخلاقي.