Neurai-VN Benchmark: Standardized Machine Learning Models for Multimodal Digital Phenotyping in Mental Health Classification
تقدم هذه الورقة معيار Neurai-VN، وهو إطار عمل معياري يستخدم مجموعة بيانات متعددة الوسائط عالية الدقة من 100 بالغ فيتنامي لتقييم نماذج التعلم الآلي القابلة للتكرار لتصنيف حالات الصحة العقلية مثل الاكتئاب والقلق والاضطرابات السريرية.
المؤلفون الأصليون:Quoc-Cuong Pham, Hoang-Thuy-Duong Vu, Thi-Thanh-Huong Ha, Huy-Hieu Pham
تخيل أن هاتفك وساعتك الذكية يشبهان زوجًا من رفقاء السكن شديدي الملاحظة والصامتين. فهما لا يكتفيان بإخبارك بالوقت فحسب؛ بل يراقبان كيف تتحرك، ومدى سرعة ضربات قلبك، ومدة نومك، وحتى عدد المرات التي تفتح فيها شاشتك. في عالم الصحة النفسية، يطلق العلماء على هذا الأمر اسم "النمط الظاهري الرقمي" (digital phenotyping). وهي طريقة منمقة للقول إننا نستطيع تحويل هذه العادات الرقمية إلى خريطة توضح كيف يشعر الشخص من الداخل. لسنوات طويلة، حاول الباحثون استخدام هذه الخرائط لرصد العلامات المبكرة للاكتئاب أو القلق، آملين في رصد المشكلات قبل أن تتفاقم. لكن تكمن المشكلة هنا في أن كل فريق بحثي كان يستخدم خرائط وأدوات وقواعد مختلفة. الأمر يشبه محاولة مقارنة وصفة لصنع كعكة مكتوبة بالفرنسية، وأخرى باليابانية، وثالثة مكتوبة على منديل ورقي؛ فلا يمكنك حقًا معرفة أيهما الأفضل لأن المكونات والتعليمات مختلطة ببعضها البعض. بالإضافة إلى ذلك، فإن معظم هذه الخرائط رُسمت باستخدام بيانات من أشخاص في الدول الغربية، مما يجعلنا نتساءل عما إذا كانت القواعد نفسها تنطبق على الناس في فيتنام أو غيرها من أنحاء العالم.
هذه الورقة البحثية، التي تحمل عنوان "NEURAI-VN BENCHMARK"، تتدخل لإصلاح هذا "المطبخ الفوضوي". فقد أنشأ المؤلفون "مطبخ اختبار" معياريًا باستخدام مجموعة بيانات جديدة تمامًا تسمى NEURAI-VN، جُمعت من 100 بالغ في فيتنام على مدار أسبوعين. لقد جمعوا كمية هائلة من البيانات، بما في ذلك 17 نوعًا مختلفًا من الإشارات من الأجهزة القابلة للارتداء والهواتف، إلى جانب سجلات الحالة المزاجية المبلغ عنها ذاتيًا. وبدلاً من مجرد التخمين حول أي برنامج حاسوبي هو الأفضل، قاموا بتنظيم سباق صارم وعادل. فقد اختبروا أربعة أنواع مختلفة من نماذج تعلم الآلة (تخيلها كأنواع مختلفة من المحققين: أحدهم خبير في المنطق البسيط، والآخر محلل لأوراق الأشجار، والثالث محرك تعزيز قوي، والرابع شبكة عصبية عميقة) ضد أربعة تحديات محددة تتعلق بالصحة النفسية. لم يكن الهدف ابتكار علاج سحري جديد، بل بناء مسطرة موثوقة لتمكين العلماء مستقبلاً من قياس تقدمهم بشكل عادل.
كانت نتائج هذا السباق واضحة، وإن لم تكن مثالية. وجد الباحثون أنه عندما دمجوا البيانات من مصادر مختلفة — مثل خلط بيانات معدل ضربات القلب مع سجلات النوم واستطلاعات المزاج اليومية — أصبح "المحققون" أفضل في أداء مهامهم. وتحديدًا، كان النظام جيدًا جدًا في التمييز بين الأشخاص الأصحاء والمصابين بالاكتئاب (بدرجة 0.71 على مقياس من 1 حيث 1 هو المثالي) وبين الأشخاص الأصحاء ومن يعانون من أي حالة صحة نفسية إكلينيكية (أيضًا 0.71). وكان أقل تأكدًا عند التمييز بين الأصحاء والمصابين بالقلق (0.69)، وكانت المهمة الأصعب على الإطلاق هي التمييز بين شخص يعاني من الاكتئاب وآخر يعاني من القلق، حيث انخفضت الدرجة إلى 0.56.
تشير الورقة إلى أنه بينما يساعد إضافة أنواع أكثر من البيانات النماذج عمومًا على تحسين أدائها، فإن "أفضل" مزيج من البيانات يعتمد كليًا على السؤال المحدد المطروح. فعلى سبيل المثال، لم يكن أفضل إعداد لرصد الاكتئاب هو نفسه أفضل إعداد لرصد القلق. وقد استبعد المؤلفون صراحةً فكرة أن مجرد إلقاء أي بيانات على النموذج يضمن الفوز؛ فقد أظهروا أن كيفية تنظيمك ودمجك للبيانات لا يقل أهمية عن البيانات نفسها. كما أكدوا أن نتائجهم تستند إلى مجموعة محددة من 100 بالغ فيتنامي، لذا فإن هذه الأرقام هي نقطة انطلاق قوية، لكنها ليست قانونًا عالميًا ينطبق على الجميع في كل مكان بعد.
في النهاية، لا تدعي هذه الورقة أنها حلت مشكلة تشخيص الصحة النفسية. بدلاً من ذلك، فهي توفر "لوحة نتائج" قابلة لإعادة الإنتاج. ومن خلال وضع طريقة معيارية لاختبار هذه الأدوات الرقمية، يأمل المؤلفون في ألا يضطر الباحثون مستقبلاً إلى إعادة اختراع العجلة في كل مرة. لقد بنوا لغة مشتركة وميدان لعب عادل، مما يسمح للمجتمع العلمي أخيرًا بمقارنة التفاح بالتفاح، وليس التفاح بالبرتقال، في رحلة فهم الصحة النفسية من خلال آثارنا الرقمية.
ملخص تقني: معيار NEURAI-VN للنمذجة الرقمية متعددة الوسائط في الصحة النفسية
بيان المشكلة
تحمل النمذجة الرقمية للأنماط الظاهرية (DP) باستخدام الهواتف الذكية والأجهزة القابلة للارتداء وعوداً كبيرة لمراقبة الصحة النفسية من خلال التقاط التغيرات السلوكية اليومية التي قد تغفل عنها التقييمات السريرية الدورية. ومع ذلك، يواجه هذا المجال ثلاثة عوائق رئيسية أمام التقدم:
التباين (Heterogeneity): تختلف مجموعات البيانات بشكل كبير في السكان، وأنماط الاستشعار، ونظم أخذ العينات، مما يجعل من الصعب نقل النماذج بين المجموعات المختلفة.
قابلية التكرار (Reproducibility): غالباً ما تكون مسارات استخراج الميزات والمعالجة المسبقة خاصة بمهام محددة وتفتقر إلى التوثيق الجيد.
عدم التوافق في التقييم (Evaluation Misalignment): تستخدم العديد من الدراسات التحقق المتقاطع على مستوى السجل (مما يسمح بوجود بيانات من نفس المشارك في كل من مجموعتي التدريب والاختبار)، وهو ما يعطي تقديرات أداء متفائلة للغاية مقارنة بالتحقق على مستوى الفرد (subject-wise). بالإضافة إلى ذلك، فإن الموارد الحالية مستمدة في الغالب من مجتمعات غربية، ناطقة بالإنجليزية، وتابعة لجامعات، مما يترك فجوة في فهم مدى ثبات هذه الارتباطات في سياقات ثقافية واجتماعية واقتصادية أخرى.
المنهجية
تؤسس هذه الورقة معياراً قابلاً للتكرار باستخدام مجموعة بيانات NEURAI-VN، وهي مجموعة بيانات عالية الدقة ومتعددة الوسائط تم جمعها من 100 بالغ في فيتنام على مدار أسبوعين. تتضمن مجموعة البيانات 17 وسيطاً (13 استشعاراً سلبياً، و4 تقييمات نشطة) مع تعليقات تشخيصية سريرية مقدمة من أطباء نفسيين.
تمثيل البيانات وهندسة الميزات
تنظم المعايير البيانات في ست مجموعات من الوسائط بناءً على المصدر والدقة الزمنية:
الأجهزة القابلة للارتداء (Wm, Ws): إشارات لكل دقيقة (النشاط، معدل ضربات القلب) وملخصات يومية (النوم، تقلب معدل ضربات القلب HRV، تشبع الأكسجين SpO2، التنفس، درجة حرارة الجلد).
تحدد الدراسة 15 تكويناً للمعيار من خلال الجمع الشامل لأربع مجموعات ميزات: الأجهزة القابلة للارتداء-الدقيقة (Wm)، الأجهزة القابلة للارتداء-اليومية (Ws)، التقرير الذاتي-اليومي (Sd)، والهاتف الذكي (P). ملاحظة: تم استبعاد التقارير الذاتية الأسبوعية (Sw) لمواءمة الدقة الزمنية.
مهام التصنيف: تم تحديد أربع مهام تصنيف ثنائية ذات صلة سريرية:
B1: الضابط الصحي (HC) مقابل الاكتئاب (Dep)
B2: الضابط الصحي (HC) مقابل القلق (Anx)
B3: الاكتئاب (Dep) مقابل القلق (Anx)
B4: الضابط الصحي (HC) مقابل الحالة السريرية (الاكتئاب + القلق + حالات نفسية أخرى)
البروتوكول التجريبي:
النماذج: تم تقييم أربعة نماذج أساسية: الانحدار اللوجستي (LR)، الغابة العشوائية (RF)، XGBoost (XGB)، والبيرسيبترون متعدد الطبقات (MLP).
التحقق: تم استخدام التحقق المتقاطع (5-fold subject-wise Group K-Fold) الصارم لمنع تسرب المعلومات بين مجموعتي التدريب والاختبار.
المقياس: تم استخدام مقياس F1 للماكرو (mF1) على مستوى الفرد كمعيار أساسي للتقييم لمراعاة عدم توازن الفئات.
النتائج الرئيسية
توفر نتائج المعيار خطوط أساس قابلة للتكرار للأبحاث المستقبلية. تباين الأداء حسب المهمة وتكوين الميزات:
أعلى أداء:
الضابط الصحي مقابل الاكتئاب (B1): حقق 0.71 ± 0.17 mF1 باستخدام تكوين Wm+Ws+Sd مع نموذج MLP.
الضابط الصحي مقابل الحالة السريرية (B4): حقق 0.71 ± 0.06 mF1 باستخدام تكوين Wm+Ws+Sd مع نموذج LR.
الضابط الصحي مقابل القلق (B2): حقق 0.69 ± 0.17 mF1 باستخدام التكوين متعدد الوسائط الكامل (Wm+Ws+Sd+P) مع نموذج LR.
الاكتئاب مقابل القلق (B3): حقق 0.56 ± 0.22 mF1 باستخدام تكوين Wm (الأجهزة القابلة للارتداء-الدقيقة) فقط مع نموذج XGB.
التكامل متعدد الوسائط:
بشكل عام، تفوقت التكوينات التي تدمج مجموعات ميزات متعددة على إعدادات الوسيط الواحد.
ارتفع متوسط mF1 تدريجياً من الوسيط الواحد (0.48) إلى مجموعات التشكيل الكاملة (0.60).
ومع ذلك، كان التكوين الأمثل يعتمد على المهمة؛ فعلى سبيل المثال، أدت المهمة الأكثر صعوبة (الاكتئاب مقابل القلق) أداءً أفضل مع وسيط واحد (Wm)، بينما استفاد الضابط الصحي مقابل القلق أكثر من التكامل الكامل.
الأهمية والمساهمات
يضع المؤلفون هذا العمل كخطوة تأسيسية نحو التقييم المعياري في مجال الصحة النفسية الرقمية. تتمثل المساهمات الرئيسية للورقة في:
معيار قابل للتكرار: تؤسس لإطار تقييم موحد مع تكوينات ميزات معيارية وبروتوكول تحقق متقاطع صارم على مستوى الفرد، مما يعالج نقص القابلية للمقارنة في الأدبيات الحالية.
التنوع الديموغرافي: من خلال استخدام مجموعة بيانات فيتنامية، تعالج الدراسة الفجوة الديموغرافية في الموارد الحالية، وتختبر ما إذا كانت الارتباطات بين السلوك والأعراض ثابتة في البيئات غير الغربية وغير الناطقة بالإنجليزية.
أداء خط الأساس: تعمل درجات F1 المسجلة كنقاط مرجعية لتطوير المنهجيات المستقبلية، مما يسمح للباحثين بمقارنة الخوارزميات الجديدة كمياً مع النماذج الخطية، والنماذج القائمة على الأشجار، والنماذج العصبية الراسخة.
الموارد المفتوحة: تم توفير مجموعة البيانات والتعليمات البرمجية للمعالجة المسبقة والتقييم لتسهيل المزيد من الأبحاث، حيث يمكن الوصول إلى مجموعة البيانات عبر Zenodo والتعليمات البرمجية للمعيار عبر GitHub.
تخلص الورقة إلى أنه بينما يحسن التكامل متعدد الوسائط الأداء بشكل عام، فإن المنفعة المحددة للوسائط المختلفة تختلف بشكل كبير باختلاف المهام التشخيصية، مما يؤكد الحاجة إلى هندسة ميزات خاصة بكل مهمة في الدراسات المستقبلية.