💻 bioinformatics

Widespread use of invalid statistical tests in biomedical machine learning

تكشف هذه الورقة أن الاستخدام الواسع للاختبارات الإحصائية غير الصالحة التي تتجاهل اعتماد طيات التحقق المتقاطع في تعلم الآلة الطبي الحيوي يؤدي إلى تضخم معدلات الإيجابيات الكاذبة، مما يدفع المؤلفين إلى اقتراح اختبار SHARP كحل قوي وتقديم إرشادات إبلاغ جديدة لمقارنة النماذج بشكل صالح.

المؤلفون الأصليون: Zeng, T., Li, H., Zhang, S., Tan, Y. Q., Tian, F., Orban, C., An, L., Che, W., Cheng, J., Chong, J. S. X., Dehestani, N., Dong, Z., Li, X., Li, Z., Lim, M. J. R., Lin, Y., Ling, Q., Ling, Z., Low, X.

نُشر 2026-05-22

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeng, T., Li, H., Zhang, S., Tan, Y. Q., Tian, F., Orban, C., An, L., Che, W., Cheng, J., Chong, J. S. X., Dehestani, N., Dong, Z., Li, X., Li, Z., Lim, M. J. R., Lin, Y., Ling, Q., Ling, Z., Low, X. Z., Mansour L., S., Ng, K. K., Nguyen, T. T., Ooi, L. Q. R., Pande, S., Qian, X., Ruan, J., Wang, Z., Xie, Y., Zhang, C., Zhang, Y., Patil, K., Parkes, L., Dhamala, E., Chopra, S., Zalesky, A., Holmes, A., Eickhoff, S., Zhou, J. H., Renaud, O., Dosenbach, N., Kording, K. P., Bzdok, D., Nichols, T., Yeo, B. T. T.

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قاضٍ تحاول تحديد أي من وصفتي كعك جديدتين تصنعان الكعكة الأفضل. لكي تكون عادلاً، لا تكتفي بخبز كعكة واحدة بكل وصفة وتذوقها مرة واحدة، بل تقوم بخبز عشر كعكات بالوصفة (أ) وعشر كعكات بالوصفة (ب)، ثم تطلب من عشرة أصدقاء مختلفين تذوقهما.

المشكلة: خطأ "العناق الجماعي"

في عالم تعلم الآلة الحيوي الطبي (استخدام الحواسيب لإيج Par patterns في البيانات الطبية)، يفعل العلماء شيئاً مشابهاً يسمى "التحقق المتقاطع" (cross-validation). حيث يقسمون بياناتهم إلى عشر قطع، ويدربون نماذج الحاسوب الخاصة بهم على تسع قطع، ثم يختبرونها على القطعة العاشرة، ويكررون ذلك عشر مرات.

تجادل الورقة البحثية بأن معظم العلماء يرتكبون خطأً فادحاً هنا. فعندما يقارنون بين نتائج هذه الاختبارات العشرة، يستخدمون أدوات رياضية قياسية (مثل اختبار t المزدوج) التي تفترض أن كل نتيجة اختبار مستقلة تماماً عن الأخرى—مثل سؤال عشرة غرباء لم يلتقوا ببعضهم قط لتذوق الكعك.

لكن في الواقع، هذه الاختبارات العشرة ليست مستقلة؛ فهي جميعاً تنظر إلى نفس البيانات الأساسية، ولكنها مقسمة بطرق مختلفة فحسب. الأمر أشبه بسؤال نفس الأصدقاء العشرة لتذوق الكعك عشر مرات متتالية. ولأن هؤلاء الأصداد يعرفون بعضهم البعض ولديهم أذواق متشابهة، فإن آرائهم "مرتبطة" ببعضها.

وتزعم الورقة أنه بتجاهل هذا الارتباط، يستخدم العلماء مسطرة منحنية قليلاً. فهم يعتقدون أنهم دقيقون للغاية، لكنهم في الواقع يشاهدون "أشباحاً إحصائية". إنهم يجدون فروقاً بين النماذج ليست موجودة في الحقيقة، مما يؤدي إلى عدد هائل من الإنذارات الكاذبة (الإيجابيات الكاذبة).

التحقيق: تدقيق عالمي

لم يكتفِ المؤلفون بالتخمين؛ بل قاموا بمهمة بحثية. فقد راجعوا 210 دراسات رفيعة المستوى من أهم المجلات الطبية (ذات "معاملات التأثير" العالية، أي أنها مشهورة ومؤثرة للغاية).

النتيجة: نسبة مذهلة تصل إلى 97% من هذه الدراسات وقعت في خطأ "العناق الجماعي". لقد عاملوا نتائج اختباراتهم المرتبطة كأنها مستقلة.
النطاق: لم تكن هذه المشكلة مقتصرة على دراسات "سيئة" فقط، بل حدثت بغض النظر عن مدى شهرة المجلة، أو مدى صرامة القواعد، أو ما إذا كان العلماء يشاركون بياناتهم علانية. إنه سلوك واسع الانتشار في المجال بأكي.

المحاكاة: ما مدى سوء الأمر؟

لإثبات مدى خطورة هذا الأمر، أجرى المؤلفون 420 محاكاة حاسوبية مختلفة. ووجدوا أنه عندما تتجاهل حقيقة أن نتائج اختباراتك مرتبطة ببعضها:

يرتفع معدل "الإنذارات الكاذبة" لديك بشكل صاروخي.
إذا كررت الاختبار عدة مرات (وهي ممارسة شائعة تسمى "التحقق المتقاطع المتكرر")، فإن فرصة الحصول على إنذار كاذب قد ترتفع إلى ما يقرب من 100%. الأمر يشبه رمي عملة معدنية وإخبارك بأنك فزت باليانصيب في كل مرة، رغم أنك لم تفز بشيء.

الحل: اختبار "SHARP"

توضح الورقة أن إصلاح هذا الأمر صعب لأنه، باستخدام الطرق القياسية، لا يمكنك معرفة ما إذا كانت النتما متشابهة لأن النماذج جيدة حقاً، أم لمجرد أن قطع البيانات متشابهة جداً فيما بينها. الأمر يشبه محاولة معرفة ما إذا كان اتفاق مجموعة من الأصدقاء نابعاً من ذكائهم، أم لمجرد أنهم جميعاً يقلدون بعضهم البعض.

ولحل هذه المعضلة، يقترح المؤلفون طريقة جديدة تسمى SHARP (التقسيم إلى نصفين المتكرر - Split-HAlf RePeated).

كيف يعمل: تخيل بدلاً من سؤال عشرة أصدقاء لتذوق الكعك عشر مرات، أن تقسمهم إلى مجموعتين منفصلتين. المجموعة الأولى تتذوق الكعك في النصف الأول من التجربة، والمجموعة الثانية في النصف الثاني. ولأن هاتين المجموعتين متمايزتان ومنفصلتان، يمكنك أخيراً قياس مدى اتفاقهما من تلقاء نفسهما، دون الوقوع في تأثير "غرفة الصدى".
النتيجة: عندما اختبر المؤلفون طريقة SHARP مقابل 12 طريقة أخرى، كانت هي الفائزة بوضوح. فقد كانت الطريقة الوحيدة التي حافظت على انخفاض الإنذارات الكاذبة مع قدرتها في الوقت ذاته على اكتشاف الفروق الحقيقية بين النماذج.

الخلاصة

تختتم الورقة بالقول إن الطريقة الحالية لمقارنة نماذج الذكاء الاصطناዊ الطبية معطلة. إنها تشبه استخدام ميزان مكسور لوزن مكونات دواء منقذ للحياة. إن المؤلفين يقدمون قاعدة جديدة (أفضل الممارسات) لمساعدة العلماء على إصلاح رياضياتهم، لضمان أنه عندما يدعون أن نموذجاً ما أفضل من آخر، فإنهم يقولون الحقيقة بالفعل.

ملخص تقني: الاستخدام الواسع للاختبارات الإحصائية غير الصالحة في تعلم الآلة الحيوي الطبي

المشكلة
أصبح تعلم الآلة حجر زاوية في الأبحاث الطبية الحيوية، حيث يُستخدم بشكل متكرر لتقييم الخوارزميات واستخلاص الرؤى العلمية، مثل ترتيب المؤشرات الحيوية. النهج المعياري لتقييم أداء التنبؤ هو التحقق المتقاطع (cross-validation - CV). ومع ذلك، هناك خلل إحصائي حرج يقوض هذه الممارسة: تقديرات أداء التنبؤ المستمدة من طيات (folds) التحقق المتقاطع المختلفة ليست مستقلة. تعتمد الاختبارات الإحصائية القياسية المستخدمة لمقارنة هذه الأداءات، مثل اختبار (t) المزدوج (paired t-test)، على فرضية الاستقلال. وعندما يتم انتهاك هذه الفرضية، تفشل الاختبارات في ضبط معدلات الإيجاب الكاذب، مما يؤدي إلى استنتاقات غير صالحة. ورغم شيوع هذه المشكلة، إلا أنها تظل دون معالجة إلى حد كبير في الأدبيات العلمية عالية التأثير.

المنهجية
استخدم المؤلفون نهجاً منهجياً متعدد الأوجه لتشخيص هذه المشكلة وحلها:

التحليل الشامل (Meta-Analysis): مراجة موجهة وفق بروتوكول (PRISMA) لـ 210 دراسات نُشرت في مجلات ذات معامل تأثير $\ge$ 15 في الفترة ما بين 1 يونيو 2020 و1 يونيو 2025. فحصت المراجة تحديداً كيفية مقارنة الدراسات لأداء التنبؤ وما إذا كانت قد راعت اعتمادية الطيات (fold dependence).
الدراسات المحاكاتية (Simulation Studies): أُجريت عمليات محاكاة مكثفة عبر 420 سيناريو باستخدام أربعة مجموعات بيانات متنوعة. اختبرت هذه المحاكاة أداء الاختبارات القياسية تحت ظروف متغيرة، بما في ذلك استخدام التحقق المتقاطع المتكرر.
التحليل الإحصائي: حلل المؤلفون القيود النظرية للاختبارات الموجودة "المدركة لاعتمادية الطيات"، مشيرين إلى أنه في ظل التحقق المتقاطع القياسي، لا يمكن الفصل بين تباين الإحصاءات على مستوى الطية والارتباط بين الطيات، مما يجبر الطرق الحالية على الاعتماد على فرضيات قوية، وغالباً ما تكون غير قابلة للتحقق.
اقتراح اختبار جديد: للتغلب على هذه القيود، اقترح المؤلفون اختبار SHARP (Split-HAlf RePeated). يقوم هذا الأسلوب بتعديل إجراء التحقق المتقاطع القياسي لتمكين التقدير المباشر لكل من التباين والارتباط، مما يحقق متطلبات الاستدلال الإحصائي الصحيح دون الاعتماد على فرضيات غير قابلة للاختبار.

النتائج الرئيسية

انتشار الخطأ: كشف التحليل الشامل أن 97% من الدراسات التي تمت مراجعتها تجاهلت اعتمادية الطيات عند مقارنة أداء التنبؤ. وُجد أن هذا السهو منتشر في كافة المجالات العلمية ولم يتم الحد منه بواسطة معاملات التأثير العالية، أو سياسات تعزيز الدقة، أو ممارسات العلم المفتوح.
الأثر على الإيجاب الكاذب: أظهرت عمليات المحاكاة أن تجاهل اعتمادية الطيات يؤدي إلى عدم ضبط الإيجاب الكفي في معظم الإعدادات. وتتفاقم هذه المشكلة بسبب التحقق المتقاطع المتكرر؛ فمع زيادة عدد التكرارات، يمكن أن ترتفع معدلات الإيجاب الكاذب لتصل إلى 100%.
أداء اختبار SHARP: عند مقارنة اختبار SHARP بـ 12 اختباراً آخر، أظهر أفضل توازن إجمالي عبر ثلاثة مقاييس حرجة: ضبط الإيجاب الكاذب، والقوة الإحصائية، ومعايرة فترات الثقة. وقد حقق هذا الأداء بشكل ثابت عبر مختلف مخططات المحاكاة.

الأهمية والادعاءات
تؤكد الورقة أن الاعتماد الحالي على الاختبارات القياسية لمقارنة نماذج تعلم الآلة في الأبحاث الطبية الحيوية معيب بشكل جوهري، مما يؤدي إلى خطر مرتفع بحدوث استنتاقات علمية زائفة. ومن خلال تحديد أن هذه المشكلة مستمرة رغم المعايير التحريرية العالية، يسلط المؤلفون الضوء على فجوة نظامية في الدقة الإحصائية.

تتمثل المساهمة الرئيسية لهذا العمل في تقديم اختبار SHARP، الذي يوفر حلاً عملياً لمشكلة اعتمادية الطيات من خلال تمكين التقدير المباشر للمعلمات الإحصائية اللازمة. علاوة على ذلك، يخلص المؤلفون إلى تقديم أفضل الممارسات وإرشادات التقارير التي تهدف إلى استعادة صلاحية الاستدلال في مقارنة النماذج في مجال تعلم الآلة الحيوي الطبي والمجالات ذات الصلة. ويعمل هذا العمل كدعوة للتحرك من أجل أن يتبنى المجتمع هذه المنهجيات المصححة لضمان أن التطبيقات العلمية، مثل ترتيب المؤشرات الحيوية، تستند إلى أدلة سليمة إحصائياً.

أبحاث مشابهة