A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

في المستشفى الحديث، ثورة هادئة تجري الآن. فالأجهزة الحاسوبية تتعلم كيفية قراءة سجلات المرضى، ورصد الأنماط في ضغط الدم، والعمر، ونمط الحياة التي قد تغفل عنها الأيدي البشرية، واستخدام تلك الأنماط للتنبؤ بمن هم عرضة لخطر الإصابة بنوبة قلبية أو أمراض خطيرة أخرى. هذا المجال، المعروف باسم التعلم الآلي السريري، يحمل وعداً بإنقاذ الأرواح من خلال رصد الخطر مبكراً. ولكن هناك عقبة؛ فبرنامج حاسوبي يتعلم التنبؤ بأمراض القلب في مدينة ما قد يفشل تماماً عند نقله إلى مدينة أخرى ذات سكان مختلفين. يحدث هذا لأن الناس في المدينة الثانية قد يكونون أكبر سناً، أو يتناولون أطعمة مختلفة، أو تُكتب سجلاتهم الطبية بطريقة مختلفة قليلاً. وعندما يواجه الحاسوب هذه الاختلافات، يمكن أن تصبح تنبؤاته غير موثوقة، ليس فقط من حيث كونها صحيحة أو خاطئة، بل أيضاً من حيث الثقة التي يعبر عنها. فإذا قال النموذج إن مريضاً لديه فرصة بنسبة خمسة وسبعين بالمائة لوقوع حدث ما، بينما كانت الفرصة الحقيقية هي خمسة وثلاثون بالمائة فقط، فقد يطلب الطبيب فحوصات جراحية غير ضرورية، أو والأسوأ من ذلك، قد يغفل عن خطر حقيقي. ولكي تكون هذه الأدوات آمنة، يجب أن تكون جديرة بالثقة، مما يعني أنها لا يجب أن تكون دقيقة فحسب، بل يجب أيضاً أن تكون صادقة بشأن عدم اليقين الذي تشعر به، ومتسقة في كيفية شرح منطقها.

لقد قامت باحثة تدعى تانيا ديب ببناء نظام جديد لاختبار هذا النوع من الموثوقية تحديداً. فقد أنشأت إطار عمل يسمى AETHEL، وهو مجموعة من الأدوات المؤتمتة المصممة لمراجعة نماذج التعلم الآلي السريري قبل استخدامها على مرضى حقيقيين. وبدلاً من مجرد التحقق مما إذا كان النموذج يعطي الإجابة الصحيحة، يعمل AETEL مثل مفتش سلامة صارم، حيث يتحقق من ثلاثة أشياء محددة: مدى تطابق تقديرات الاحتمالية للنموذج مع الواقع، ومدى استقرار منطقه عند تغير البيانات، وما إذا كانت نصيحته تساعد الأطباء فعلياً في اتخاذ قرارات أفضل. ولاختبار هذا النظام، قامت ديب بتدريب عدة نماذج حاسوبية مختلفة على مجموعة بيانات اصطناعية تضم 1,000 مريض، ثم حاولت استخدام تلك النماذج نفسها على بيانات حقيقية من دراسة "فرامينغهام" للقلب (المجموعة المستهدفة) ومن المسح الوطني للفحص الصحي والتغذية (مرجع انزياح النطاق). كان الهدف هو معرفة ما يحدث عندما يُجبر نموذج تم تدريبه في بيئة ما على العمل في بيئة أخرى، وهي حالة تُعرف باسم "انزياح النطاق".

كشفت نتائج هذه المراجعة عن مشكلة كبيرة في كيفية التحقق من صحة هذه النماذج حالياً. فعند نقل النماذج من بيانات التدريب إلى البيانات الجديدة في العالم الحقيقي، انخفضت قدرتها على التنبؤ بشكل صحيح، ولكن الأهم من ذلك، أن ثقتها أصبحت غير متوافقة بشكل خطير. فقد يحدد النموذج المرضى الصحيحين، لكنه قد يمنحهم نسب مخاطر خاطئة. على سبيل المثال، النموذج الذي كان مضبوط المعايرة في مرحلة التدريب أصبح غير معاير عند النقل، مما يعني أن درجات المخاطر الخاصة به لم تعد تتطابق مع الاحتمالية الفعلية لوقوع الحدث. وجدت ديب أنه بينما يمكن إصلاح النماذج باستخدام تعديلات رياضية قياسية لإعادة ضبط ثقتها، إلا أن مشكلة أكثر دقة ظلت قائمة. فحتى بعد إصلاح الأرقام، بدأت قوة منطق النموذج في التغير. فبينما حددت النماذج باستمرار أهم ثلاثة عوامل —العمر، ومؤشر كتلة الجسم، وحالة التدخين— كأهم العوامل، إلا أن الوزن والارتباط المحدد لهذه العوامل تغيرا بين الإعدادات المختلفة. ففي بيانات التدريب، قد يعتمد النموذج بشكل كبير على العمر وحالة التدخين لاتخاذ قرار، ولكن في البيانات الجديدة، تغيرت العلاقة بين هذه العوامل والنتيجة. وهذا الانزياح في المنطق خطير لأن الأطباء يعتمدون على هذه التفسيرات لفهم سبب تنبيه الحاسوب لمريض ما. فإذا تغير المنطق دون سابق إنذار، فلن يتمكن الطبيب من الوثوق بالنصيحة.

ولقياس هذا عدم الاستقرار الخفي، قدمت ديب طرقاً جديدة لعدّ مدى تغير منطق النموذج. فقد طورت مقاييس تقارن قائمة أهم العوامل التي يستخدمها النموذج في إعداد ما مقابل القائمة التي يستخدمها في إعداد آخر. وأظهرت الاختبارات أنه بينما حافظت بعض النماذج، مثل المعادلات الخطية البسيطة، على منطق ثابت إلى حد ما، فإن النماذج الأكثر تعقيداً غالباً ما غيرت قوة اعتمادها على العوامل الرئيسية عند تغير البيانات. ويتحدى هذا الاكتشاف الممارسة الشائعة المتمثلة في افتراض أنه إذا كان النموذج يعمل جيداً في مكان ما، فإنه سيعمل بنفس الطريقة في مكان آخر. لقد أثبتت الدراسة أن التحقق من الدقة فقط ليس كافياً؛ بل يجب أيضاً التحقق مما إذا كان المنطق الداخلي للنموذج يصمد عندما تتغير البيئة.

كما نظر إطار العمل في القيمة العملية لهذه التنبؤات للطبيب الواقف بجانب سرير المريض. وباستخدام طريقة تسمى "تحليل منحنى القرار"، ترجمت الدراسة الفوائد الإحصائية المجردة إلى أرقام ملموسة يمكن للممارس السريري فهمها. فبدلاً من القول فقط إن النموذج يحسن النتائج، أنتج النظام مخططات مرئية توضح بالضبط عدد المرضى من بين ألف مريض الذين سيتم تحديدهم بشكل صحيح لتلقي العلاج مقابل عدد المرضى الذين سيتم علاجهم دون ضرورة. وأظهرت النتائج أنه عندما يتم معايرة النماذج بشكل صحيح، فإنها توفر فائدة واضحة مقارنة بمجرد علاج الجميع أو عدم علاج أحد. ومع ذلك، اختفت هذه الفائدة إذا لم يتم إعادة معايرة النموذج للمجتمع الجديد. وخلصت الدراسة إلى أنه لكي يكون التعلم الآلي آمناً في المستشفى، لا يمكن أن يكون أداة "اضبطها وانساها". بل يتطلب مراجعة مستمرة ومؤتمتة تتحقق ليس فقط من النتيجة النهائية، بل أيضاً من معايرة الثقة، واستقرار المنطق، والأثر الواقعي لنصيحته. ومن خلال إصدار هذا الإطار كبرنامج مفتوح المصدر، وفرت الباحثة وسيلة للآخرين للتحقق من إجراءات السلامة هذه بأنفسهم، مما يضمن ألا تسبق الوعود التي يقدمها الذكاء الاصطناعي في الطب معايير سلامته.