Beyond AUROC: External Validation, Calibration, and Explainability of Machine Learning Models for 30-Day Hospital Readmission Using Electronic Health Records—A Rapid Systematic Review

في كل عام، يغادر ملايين المرضى المستشفيات ليعودوا إليها مجددًا في غضون شهر واحد، وغالبًا ما يكون ذلك بسبب تعثر تعافيهم أو انهيار خطة رعايتهم. وتعد دورة إعادة الإدخال هذه عبئًا كبيرًا على أنظمة الرعاية الصحية، حيث ترفع التكاليف وتشير إلى وجود خلل ما في عملية الانتقال من المستشفى إلى المنزل. ولإيقاف ذلك، لجأت المستشفيات إلى تعلم الآلة، وهو فرع من علوم الحاسوب حيث يتعلم البرنامج كيفية إيجاد الأنماط في كميات هائلة من البيانات. ومن خلال تغذية هذه البرامج بالسجلات الصحية الإلكترونية — وهي ملفات رقمية تحتوي على نتائج المختبر، وقوائم الأدوم، وملاحظات الأطباء — يأمل الباحثون في بناء أدوات يمكنها رصد المرضى الأكثر عرضة للعودة وتقديم مساعدة إضافية لهم قبل مغادرتهم. ولسنوات طويلة، حكم المجتمع العلمي على هذه الأدوات باستخدام رقم واحد: درجة تقيس مدى جودة قدرة النموذج على ترتيب المرضى من الأقل خطورة إلى الأعلى خطورة. فإذا استطاع النموذج أن يقول بشكل صحيح "هذا المريض أكثر خطورة من ذاك"، فإنه يحصل على درجة عالية، وكان ذلك كافيًا لإعلان نجاحه.

ومع ذلك، يشير تحليل جديد إلى أن هذه الدرجة الواحدة لا تحكي سوى نصف القصة. فقد أجرت مراجعة منهجية سريعة قام بها باحثون في جامعة تشيتاغونغ للهندسة والتكنولوجيا فحصت 156 دراسة نُشرت بين عامي 2020 و2026 استخدمت تعلم الآلة للتنبؤ بإعادة دخول المستشفى خلال 30 يومًا. ووجد الفريق أنه بينما تبدو هذه النماذج مثيرة للإعجاب في كثير من الأحيان على الورق، إلا أنها تفشل كثيرًا في إثبات أنها ستعمل في العالم الحقيقي. واكتشف الباحثون أن معظم الدراسات اعتمدت على الاختبار الداخلي، حيث يتم فحص النموذج مقابل بيانات من نفس المستشفى الذي أنشأه. وقليل جدًا من الدراسات اختبرت ما إذا كان النموذج سيعمل في مستشفى آخر أو مع بيانات من فترة زمنية لاحقة. علاوة على على ذلك، نادرًا ما تحققت الدراسات مما إذا كانت نسب المخاطر التي أنتجتها النماذج دقيقة بالفعل، أو ما إذا كانت الأسباب التي قدمتها النماذج لتوقعاتها منطقية للأطباء البشريين. وتخلص المراجعة إلى أن المجال قد تحرك بسرعة كبيرة في اعتماد ميزات براقة مع إهمال الضوابط الأساسية اللازمة لضمان أن تكون هذه الأدوات آمنة وموثوقة للمرضى.

إن القضية الجوهرية المحددة هي أن النموذج يمكن أن يكون جيدًا في ترتيب المرضى دون أن يكون جيدًا في التنبؤ بالنتائج الفعلية. تخيل تطبيقًا للطقس يخبرك بشكل صحيح أن يوم الثلاثاء أكثر عرضة لهطول الأمطار من يوم الاثنين، لكنه يفشل في إخبارك أن فرصة هطول الأمطار هي صفر بالمائة في كلا اليومين. وفي سياق إعادة دخول المستشفى، يعد هذا التمييز أمرًا بالغ الأهمية. فالمستشفيات بحاجة إلى معرفة الاحتمالية الفعلية لعودة المريض حتى تتمكن من تقرير كيفية تخصيص الموارد. فإذا توقع نموذج ما احتمال عودة بنسبة 90 بالمائة لمريض لديه احتمال 10 بالمائة فقط، فقد تهدر المستشفى خدمات الرعاية الانتقالية الشحيحة على هذا المريض بينما تفوت الآخرين الذين يحتاجونها حقًا. ووجدت المراجعة أنه بينما أبلغت 85 بالمائة من الدراسات عن درجة الترتيب، فإن حوالي 15 بالمائًا فقط ذكرت ما إذا كانت توقعاتها تتطابق مع الواقع، ودراسة واحدة فقط استخدمت مقياسًا محددًا مصممًا لقياس هذه الدقة.

بعيدًا عن الدقة، بحث الباحثون فيما إذا كانت هذه النماذج قادرة على "السفر". فالنموذج المبني على بيانات من مستشفى تعليمي حضري كبير في مدينة ما قد يفشل تمامًا عند تطبيقه في عيادة ريفية في ولاية أخرى، ببساطة لأن مجموعات المرضى والممارسات الطبية مختلفة. وهذا ما يُعرف بالتحقق الخارجي. ووجدت المراجة أن 12 بالمائة فقط من الدراسات اختبرت نماذجها في بيئة جديدة أو في وقت لاحق. وعندما قامت الدراسات القليلة التي أجرت هذه الاختبارات بمشاركة نتائجها، كانت النماذج دائمًا ما تؤدي بشكل أسوأ في البيئة الجديدة. وفي خمس حالات قارن فيها الباحثون أداء النموذج في مستشفاه الأصلي مقابل مستشفى جديد، انخفضت القدرة على ترتيب المرضال بشكل صحيح في كل حالة من الحالات. وهذا يشير إلى أن العديد من النماذج تعاني من "الفرط في التخصيص" (overfitted) لبياناتها المحلية المحددة، حيث تلتقط سمات غريبة خاصة بمستشفى واحد بدلاً من علامات الخطر العالمية.

وهناك فجوة رئيسية أخرى في البحث وهي "القابلية للتفسير". فمع ازدياد تعقيد نماذج تعلم الآلة، بدأ الباحثون في استخدام أدوات لتفسير سبب تقديم النموذج لتوقع معين، وغالبًا ما يسلطون الضوء على العوامل التي ساهمت أكثر في درجة الخطورة، مثل ارتفاع ضغط الدم أو دواء معين. وأشارت المراجعة إلى أن استخدام أدوات التفسير هذه قد ارتفع، حيث قفز من أقل من 6 بالمائة من الدراسات في السنوات الأولى من فترة المراجعة إلى ما يقرب من 30 بالمائة في السنوات الأخيرة. ومع ذلك، وجد الباحثون أنه بينما كانت الدراسات سريعة في عرض هذه التفسيرات، إلا أنها نادرًا ما اختبرت ما إذا كانت هذه التفسيرات صحيحة أو مستقرة. فقد يشير النموذج إلى قيمة مخبرية معينة كسبب لارتفاع المخاطر، ولكن إذا تغير هذا السبب عشوائيًا عند تعديل البيانات قليلاً، فإن التفسير ليس موثوقًا. ولم تجد المراجعة أي ملخصات قيمت ما إذا كانت التفسيرات المقدمة موثوقة أو ما إذا كان الأطباء يجدونها مفيدة.

كما بحثت الدراسة فيما إذا كانت هذه النماذج تعامل المجموعات المختلفة من الناس بإنصاف. إذ يمكن أن تتأثر معدلات إعادة الإدخال بعوامل خارج نطاق البيولوجيا الصرفة، مثل الوصول إلى وسائل النقل أو القدرة على تحمل تكلفة الدواء. وإذا تعلم النموذج من بيانات تاريخية تعكس هذه التفاوتات، فقد يصنف بعض المجموعات بشكل غير عادل على أنها عالية الخطورة لمجرد أن لديهم وصولًا أقل إلى الرعاية، وليس لأنهم مرضى طبيًا بشكل أكبر. ووجدت المراجعة أن نسبة ضئيلة جدًا من الدراسات، حوالي 4.5 بالمائة، تحققت من وجود هذه التفاوتات عبر المجموعات المختلفة من الناس بناءً على العرق أو الجنس أو العمر. وهذا النقص في التدقيق يعني أن المستشفيات قد تنشر دون قصد أدوات تعزز التحيزات الموجودة في نظام الرعاية الصحية.

وخلص الباحثون إلى أن المجال يعطي الأولوية للأشياء الخاطئة. إن الارتفاع السريع في استخدام أدوات التفسير المعقدة قد تجاوز اعتماد ضوابط السلامة الأساسية مثل اختبار النماذج في مواقع جديدة أو التحقق من دقتها. ويجادل المؤلفون بأنه قبل استخدام هذه النماذج لاتخاذ قرارات حقيقية بشأن رعاية المرضى، يجب أن تجتاز مجموعة دنيا من المعايير. وتشمل هذه المعايير اختبار النموذج على بيانات من مستشفى أو فترة زمنية مختلفة، والتحقق من أن المخاطر المتوقعة تتطابق مع النتائج الفعلية، وضمان أن النموذج لا يميز ضد مجموعات معينة. وتقترح المراجعة أن الطفرة التالية في هذا المجال لن تأتي من ابتكار خوارزميات أكثر تعقيدًا، بل من القيام بعمل أفضل في إثبات أن الأدوات التي نمتلكها بالفعل آمنة ودقيقة وعادلة للجميع.