MS-MLB: An Open Machine Learning Benchmark for Blood-Based MS Classification

تخيل جسم الإنسان كمدينة صاخبة. داخل هذه المدينة، هناك قوة أمنية تسمى الجهاز المناعي، ومهمتها هي دوريات في الشوارع والحفاظ على الأمان. ومع ذلك، في بعض الأحيان، يصاب فريق الأمن هذا بالارتباك ويبدأ في مهاجمة مباني المدينة نفسها - وفي هذه الحالة، الجهاز العصبي المركزي. هذا الخلط يسمى التصلب المتعدد (MS). ولتحديد ما إذا كان شخص ما يعاني من التصلب المتعدد، عادة ما يعمل الأطباء مثل المحققين: يفحصون أعراض المريض، ويمسحون دماغه بمغناطيس عملاق (MRI)، ويتأكدون من عدم وجود أسباب أخرى للمشكلة. ولكن ماذا لو كانت هناك رسالة سرية مخبأة في الدم؟ الدم يشبه نهراً يتدفق عبر المدينة، يحمل رسلًا صغيرين (RNA) يخبرون قصصًا عما يفعله الجهاز المناعي. لقد تساءل العلماء عما إذا كان بإمكاننا قراءة هذه القصص لرصد التصلب المتعدد مبكرًا، لكن الأمر صعب. "النهر" مليء بالضجيج، والقصص مكتوبة بلغة تحتوي على آلاف الكلمات، مما يجعل من الصعب العثور على الكلمات الصحيحة دون الوقوع في الارتباك.

هنا يأتي دور مشروع جديد يسمى MS-MLB. فكر فيه ليس ككرة بلورية سحرية تشخص المرضى فورًا، بل كملعب ضخم وشفاف لعلماء الكمبيوتر. لقد بنى الباحثون "لعبة" عادلة ومفتوحة حيث يمكن لبرامج كمبيوتر مختلفة (الخوارزميات) أن تحاول تخمين من لديه التصلب المتعدد ومن هو سليم، بناءً على تلك القصص الموجودة في الدم. لم يكن الهدف إنشاء أداة طبية نهائية يستخدمها الأطباء غدًا، بل بناء كتاب قواعد صارم وغير قابل للتغيير بحيث يلعب الجميع وفقًا لنفس القواعد. بهذه الطريقة، يمكننا أخيرًا معرفة أي برنامج كمبيوتر هو الأفضل حقًا في رصد الإشارة وسط الضجيج، دون أن يختلس أحد النظر إلى الإجابات قبل بدء اللعبة.

اللعبة الكبرى: MS-MLB

يقدم البحث MS-MLB (معيار التعلم الآلي للتصلب المتعدد - Multiple Sclerosis – Machine Learning Benchmark)، وهو معيار مفتوح وقابل لإعادة الإنتاج مصمم لاختبار مدى قدرة الحواسيب على تصنيف التصلب المتعدد باستخدام بيانات الـ RNA من الدم الكامل. أخذ الباحثون مجموعة بيانات عامة تسمى GSE17048، والتي تحتوي على عينات دم من 144 فردًا: 99 شخصًا مصابين بالتصلب المتعدد و 45 شخصًا سليمًا. لقد حولوا هذا إلى لعبة تخمين بسيطة: "تصلب متعدد مقابل سليم".

التحدي الأكبر في هذه اللعبة هو أن "القصة" (البيانات) تحتوي على آلاف الكلمات (الجينات)، ولكن يوجد عدد قليل فقط من اللاعبين (العينات). إذا لم تكن حذرًا، فقد يقوم الكمبيوتر بحفظ الإجابات بدلاً من تعلم النمط. ولمنع ذلك، يعمل إطار عمل MS-MLB كحكم صارم؛ فهو يجبر كل برنامج كمبيوتر على اتباع مسار محدد:

1. تنظيف البيانات باستخدام مجموعة التدريب فقط.
2. اختيار أفضل الكلمات (الميزات) من مجموعة التدريب فقط.
3. تدريب النموذج على مجموعة التدريب.
4. اختبار النموذج فقط على المجموعة "التي لم تُمس" والتي لم يراها من قبل.

هذا يمنع "التسرب"، حيث تتسلل المعلومات من مجموعة الاختبار بالخطأ إلى مرحلة التدريب، مما يجعل الكمبيوتر يبدو أذكى مما هو عليه في الواقع.

النتائج: من فاز باللعبة؟

قام الباحثون بتشغيل اللعبة مع عدة أنواع مختلفة من "أدمغة الكمبيوتر"، بما في ذلك الانحدار اللوجستي (Logistic Regression)، وآلات ناقلات الدعم (Support Vector Machines)، والغابات العشوائية (Random Forests)، وتعزيز التدرج (Gradient Boosting). واستخدموا نظام تسجيل خاصًا يسمى درجة أبحاث التصلب المتعدد (MS Research Score) لتصنيفهم. هذه الدرجة لا تتعلق فقط بكون النموذج صحيحًا؛ بل تزن مدى قدرة النموذج على التمييز بين المجموعتين (AUC-ROC)، وعدد المصابين الذين يكتشفهم (الحساسية/Sensitivity)، وعدد الأصحاء الذين يتركهم بسلام بشكل صحيح (النوعية/Specificity)، ومدى ثقته في تخميناته (المعايرة/Calibration).

إليك ما حدث في مجموعة الاختبار النهائية "التي لم تُمس" والمكونة من 29 عينة:

• البطل: فاز تعزيز التدرج (Gradient Boosting) بالمركز الأول بـ درجة أبحاث تصلب متعدد بلغت 93.83.
  • حقق AUC-ROC بنسبة 0.989 (تقريبًا مثالي في التصنيف).
  • اكتشف 95.0% من حالات التصلب المتعدد (الحساسية).
  • حدد بشكل صحيح 77.8% من الأشخاص الأصحاء (النوعية).
  • كانت درجة براير (Brier score) لديه 0.050، مما يعني أن تخميناته للاحتمالات كانت قريبة جدًا من الحقيقة.
• الوصيف: جاءت الشبكة العصبية (Neural Network) في المركز الثاني بـ درجة 91.24.
• المركز الثالث: سجلت الغابة العشوائية (Random Forest) 90.47. ومن المثير للاهتمام أن الغابة العشوائية اكتشفت 100% من حالات التصلب المتعدد، لكنها أخطأت في تصنيف المزيد من الأشخاص الأصحاء، مما أظهر نوعًا مختلفًا من "الخطأ" عن الآخرين.

كما نظر البحث في كيفية أداء النماذج خلال مرحلة التدريب باستخدام التحقق المتقاطع المتداخل (nested cross-validation). في هذا الاختبار الأكثر صرامة، حققت آلة ناقلات الدعم (SVM) في الواقع أعلى درجة (77.62)، تلتها الشبكة العصبية والانحدار اللوجستي. يوضح هذا الفرق أن ترتيب النموذج يمكن أن يتغير اعتمادًا على كيفية تقسيم البيانات، وهذا هو السبب في أن المؤلفين يؤكدون على النظر إلى الصورة الكاملة، وليس مجرد رقم واحد.

ماذا يعني هذا (وماذا لا يعني)

يشير البحث إلى أن هناك بالفعل إشارة يمكن تعلمها في بيانات الـ RNA في الدم يمكنها التمييز بين التصلب المتعدد والأصحاء تحت هذه القواعد الصارمة. وتشير الدرجات العالية إلى أن برامج الكمبيوتر وجدت أنماطًا حقيقية. ومع ذلك، فإن المؤلفين حذرون للغاية في توضيح ما لا يمثله هذا:

• إنه ليس أداة تشخيص طبي. لقد سميت الدرجة "درجة أبحاث التصلب المتعدد" لسبب؛ فهي مخصصة لمقارنة النماذج البحثية، وليس لإخبار مريض حقيقي بأنه مصاب بالتصلب المتعدد.
• إنه ليس علاجًا أو إجابة نهائية. مجموعة البيانات صغيرة (144 شخصًا فقط)، ومجموعة الاختبار "التي لم تُمس" كانت صغيرة جدًا (29 شخصًا فقط). يمكن لبعض التخمينات المختلفة أن تغير النتائج بشكل كبير.
• إنه لا يثبت أي الجينات هي "الجناة". بينما اختارت النماذج جينات معينة لاتخاذ تخميناتها، فإن البحث لا يدعي أن هذه الجينات هي السبب البيولوجي للتصلب المتعدد. قد تكون مجرد رد فعل للأدوية، أو العمر، أو عوامل أخرى.

إن الجدة الحقيقية لهذا البحث ليست في برنامج الكمبيوتر المحدد الذي فاز؛ بل في الملعب نفسه. قبل هذا، ربما كان الباحثون يبنون قواعدهم الخاصة، مما يجعل من الصعب مقارنة نتائجهم مع الآخرين. يوفر MS-MLB إطار عمل مشتركًا ومفتوحًا حيث يمكن لأي شخص تقديم نموذجه الخاص، وتمريره عبر نفس المسار الصارم، ومعرفة كيف يقف أمام غيره. إنه يحول مجموعة فوضوية من الدراسات الفردية إلى منافسة عادلة وشفافة.

باختًا، يشير البحث إلى أنه مع القواعد الصحيحة، يمكن لأجهزة الكمبيوتر رصد إشارات التصلب المتعدد في الـ RNA في الدم بدقة مذهلة. لكنه يذكرنا أيضًا بأننا لا نزال في مرحلة البحث. النموذج "البطل" هو نقطة انطلاق رائعة للعلماء المستقبليين للبناء عليها، لكنه ليس مستعدًا للدخول إلى عيادة الطبيب بعد. الانتصار الحقيقي هنا هو خلق مسار واضح وقابل لإعادة الإنتاج للجميع، مما يضمن أن الاكتشافات المستقبلية تُبنى على أرض صلبة وليس على تخمينات مهتزة.