The declared winner of a clinical prediction model comparison is often decided by the random split: a simulation study
تُظهر هذه الدراسة المحاكاتية أنه عند أحجام التأثير الصغيرة النموذجية لمقارنات نماذج التنبؤ السريري، غالباً ما يتم تحديد "الفائز" المعلن بناءً على تقسيم البيانات العشوائي بدلاً من التفوق الحقيقي للنموذج، مما يؤدي إلى تضخم هوامش الأداء واختلاف كبير بين المحللين الذين يستخدمون نفس البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الأبحاث الطبية، يبني العلماء باستمرار أدوات جديدة للتنبؤ بمن سيصاب بالمرض ومن سيظل معافى. هذه الأدوات، المعروفة باسم نماذج التنبؤ السريري، تشبه توقعات الطقس المتطورة لجسم الإنسان، حيث تستخدم بيانات المريض لتخمين احتمالية وقوع حدث مستقبلي. ولتحديد الأداة الأفضل، يضع الباحثون هذه الأدوات عادةً في مواجهة بعضها البعض على مجموعة من بيانات الاختبار. ويقومون بحساب درجة تقيس مدى تكرار إصابة الأداة بالتنبؤ الصحيح، والأداة التي تسجل درجة أعلى تُعلن كفائزة. هذه العملية هي الطريقة القياسية لتقدم هذا المجال، حيث تعلن الدراسات الجديدة بشكل متكرر أن خوارزمية تعلم آلي جديدة قد هزمت طريقة أقدم وأبسط. ومع ذلك، فإن الفروق بين هذه الأدوات غالباً ما تكون ضئيلة للغاية، وأحياناً لا تتعدى جزءاً ضئيلاً جداً من نقطة مئوية واحدة. وعندما يكون الفارق بين نموذجين ضيقاً إلى هذا الحد، يطرح السؤال نفسه: هل الفائز المعلن هو الأفضل حقاً، أم أنه حالفه الحظ فقط مع المجموعة المحددة من المرضى التي اختُبر عليها؟
يستكشف بحث محاكاة حديث قامت به أنانيا شارما هذا اليقين تحديداً. لا يتضمن البحث مرضى حقيقيين أو بيانات طبية جديدة؛ بل يستخدم الحاسوب لإنشاء آلاف السيناريوهات الوهمية حيث تتم مقارنة نموذجين للتنبؤ. كان الهدف هو معرفة عدد المرات التي يكون فيها النموذج الفائز في المنافسة هو المتفوق حقاً، وكم مرة تكون النتيجة مجرد ضربة حظ ناتجة عن الطريقة العشوائية لتقسيم البيانات. في عمليات المحاكاة هذه، أنشأ الباحثون نموذجين متطابقين تقريباً في قدرتهما الحقيقية على التنبؤ بالنتائج. ثم أجروا آلاف المقارنات، مع تغيير أحجام مجموعات الاختبار والتقسيم العشوائي المحدد للبيانات، لمعرفة عدد المرات التي يتغير فيها "الفائز" أو مقدار المبالغة في الميزة المسجلة.
تكشف النتائج عن مستوى مذهل من عدم الاستقرار في كيفية إجراء هذه المقارنات حالياً. فعندما يكون الفرق الحقيقي بين نموذجين صغيراً جداً، وهو الحالة الشائعة في الدراسات الطبية الواقعية، يكون الفائز المعلن غالباً مجرد نتاج للصدفة. في أحد السيناريوهات حيث كان النموذجان متطابقين تقريباً في المهارة، وجد أن باحثين مختلفين يحللان نفس البيانات ولكن باستخدام تقسيمات عشوائية مختلفة، سيعلنان عن فائزين مختلفين في نصف الحالات تقريباً. وحتى عندما كان أحد النموذجين أفضل قليلاً بالفعل، فإن مجموعة الاختبار الصغيرة جعلت تحديد النموذج "الأفضل" صحيحاً في حوالي ثلثي الحالات فقط. وهذا يعني أنه في عدد كبير من الدراسات المنشورة، قد يكون الاستنتاج بأن إحدى الأدوات متفوقة على الأخرى خاطئاً، ببساطة لأن مجموعة المرضى المحددة المختارة لمجموعة الاختبار كانت تصب في مصلحة نموذج واحد دون الآخر بسبب الحظ العشوائي.
يتعلق اكتشاف رئيسي آخر بحجم هامش النصر. فعندما يفوز نموذج ما، وجدت الدراسة أن الفرق المسجل في الأداء يتم تضخيمه دائماً تقريباً، مما يجعل الفجوة تبدو أكبر بكثير مما هي عليه في الحقيقة. على سبيل المثال، إذا كان الفرق الحقيقي بين نموذجين ضئيلاً، فإن النموذج الفائز غالباً ما يسجل فرقاً يزيد عن ضعف القيمة الفعلية. يحدث هذا لأن عملية اختيار الفائز تختار بطبيعتها النموذج الذي حصل على أكبر قدر من الضجيج العشوائي المواتي في ذلك الاختبار المحدد. الأمر يشبه رمي قطعة نقدية: إذا رميتها عشر مرات وحصلت على ست حالات ظهور للوجه، فقد تدعي أن القطعة منحازة، لكن النتيجة ليست سوى تقلب عشوائي. وفي سياق هذه النماذج الطبية، تعني "لعنة الفائز" أن النجاح المسجل هو مزيج من المهارة الحقيقية وجرعة كبيرة من الحظ الإحصائي، مما يدفع الباحثين للاعتقاد بأنهم توصلوا إلى طفرة بينما هم في الواقع قد وجدوا مجرد طفرة عشوائية.
كما بحثت الدراسة فيما إذا كانت المشكلة تكمن في كيفية بناء النماذج أو في كيفية اختبار البيانات. ومن خلال إبقاء النماذج ثابتة وتغيير مجموعة الاختبار فقط، ومن خلال إعادة تدريب النماذج مع كل تقسيم جديد، وجد الباحثون أن عدم الاستقرار يأتي بالكامل تقريباً من مجموعة الاختبار نفسها. وهذا يشير إلى أن جعل النماذج أكثر تعقيداً أو استقراراً لن يحل المشكلة؛ فالمشكلة تكمن في أن مجموعات الاختبار المستخدمة في العديد من الدراسات صغيرة جداً بحيث لا يمكنها التمييز بشكل موثوق بين النماذج التي تتقارب جداً في الأداء. فعندما تكون مجموعة الاختبار صغيرة، يغرق الضجيج العشوائي في البيانات الإشارة الضئيلة للفرق الفعلي.
في النهاية، يشير هذا البحث إلى أن العادة الحالية المتمثلة في إعلان فائز واحد بناءً على جولة اختبار واحدة هي غالباً ما تكون مضللة. وتوصي الدراسة الباحثين بالتوقف عن معاملة المقارنة الواحدة كحكم نهائي. بدلاً من ذلك، ينبغي عليهم الإبلاغ عن نطاق عدم اليقين حول الفرق، والأهم من ذلك، تكرار الاختبار عدة مرات مع تقسيمات عشوائية مختلفة لمعرفة عدد المرات التي يفوز فيها كل نموذج. فإذا كان النموذج يفوز أكثر قليلاً من نصف الوقت عبر العديد من التكرارات، فإن الاستنتاج الأمين هو أن النموذجين لا يمكن التمييز بينهما فعلياً بالبيانات الحالية. وإلى أن تصبح مجموعات الاختبار كبيرة بما يكفي للتغلب على هذه العشوائية، أو حتى تتبنى الدراسات طرق التقارير الأكثر صرامة هذه، فإن "الفائزين" في منافسات التنبؤ السريري قد يكونون انعكاساً لرمية النرد أكثر من كونهم انعكاساً للحقيقة الطبية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.