When high AUROC does not travel: internal-to-external performance differences in machine-learning models for antimicrobial resistance

في المعركة ضد البكتيريا الخارقة، يتجه الأطباء والعلماء بشكل متزايد نحو الحواسيب للتنبؤ بنوع البكتيريا التي ستُظهر مقاومة لمضادات حيوية معينة. تعمل هذه البرامج الحاسوبية، المبنية باستخدام التعلم الآلي، كخبراء متخصصين في التعرف على الأنماط بدقة عالية. فهي تمسح كميات هائلة من البيانات الطبية — مثل سجلات المرضى، ونتائج الاختبارات المعملية، والتسلسلات الجينية — لتخمين ما إذا كانت عدوى معينة ستنجو من علاج دوائي قياسي. وعندما تُختبر هذه البرامج في المستشفى الذي أُنشئت فيه، فإنها غالبًا ما تبدو كمعجزات الطب الحديث، حيث تحدد البكتيريا المقاومة بدقة عالية. ويمنح هذا النجاح الباحثين والسريريين الأمل في أن هذه الأدوات يمكن نشرها قريبًا على مستوى عالمي لتوجيه قرارات العلاج المنقذة للحياة.

ومع ذلك، فإن البرنامج الحاسوبي الذي يتعلم من بيانات مستشفى واحد لا يعرف تلقائيًا كيفية قراءة البيانات من مستشفى آخر. تمامًا كما قد يواجه شخص تعلم القيادة في شوارع هادئة ببلدة صغيرة صعوبة في القيادة على الطرق السريعة المزدحمة في مدينة كبرى، تواجه هذه النماذج تحديًا خفيًا عندما تغادر بيئتها الأصلية. فالبيانات التي تواجهها في بلد جديد، أو في فترة زمنية مختلفة، أو حتى في مدينة مجاورة، يمكن أن تبدو مختلفة بشكل طفيف بسبب الاختلافات في سلالات البكتيريا المحلية، أو المعدات المختبرية، أو فئات المرضى. والسؤال الحاسم لمستقبل الذكاء الاصطناعي الطبي ليس فقط مدى جودة أداء هذه النماذج في موطنها، بل مدى انخفاض دقتها عندما تُرسل للعمل في أماكن جديدة في العالم الحقيقي.

لقد وضعت دراسة جديدة هدفًا لقياس هذا الانخفاض في الأداء بدقة. قام الباحث "دريبتو روي" بجمع مجموعة من الدراسات المنشورة التي استخدمت التعلم الآلي، والتي قامت بالمهمة الصعبة المتمثلة في اختبار نماذجها في مكانين: أولاً في المستشفى الذي بُني فيه النموذج، وثانياً في مستشفى مستقل أو مجموعة بيانات أخرى. كان الهدف بسيطًا ولكنه حيوي: معرفة الفرق بين ثقة النموذج في موطنه وأدائه الفعلي في الخارج. ومن خلال مقارنة النتائج من هذه الاختبارات المزدوجة، هدفت الدراسة إلى تحديد ما إذا كانت معدلات النجاح العالية الواردة في الأوراق العلمية هي وعد موثوق بالنجاح المستقبلي، أم أنها غالبًا ما تكون وهمًا يتلاشى عندما يسافر النموذج بعيدًا.

ركز التحقيق على مجموعة محددة من الدراسات التي أبلغت عن درجة داخلية وأخرى خارجية لنفس النموذج ونفس مهمة التنبؤ. وفي المجمل، حلل الباحث سبعة وأربعين مقارنة متميزة مستمدة من ثماني أوراق بحثية مستقلة. غطت هذه المقارنات مجموعة واسعة من السيناريوهات، بما في ذلك التنبؤ ببكتيريا خطيرة مثل "المكورات العنقودية الذهبية المقاومة للميثيسيلين" (MRSA) والالتهاب الرئوي المقاوم للأدوية، باستخدام بيانات من السجلات الصحية الإلكترونية، وتسلسل الجينوم الكامل، والتقارير المختبرية السريرية. وحسب الباحث الفرق بين الدرجة الداخلية والدرجة الخارجية لكل مقارنة لمعرفة مدى تغير الأداء.

وكشفت النتائج عن نمط واضح، وإن كان دقيقًا. ففي غالبية المقارنات الفردية — ست وثلاثون من أصل سبعة وأربعين — كان أداء النموذج أسوأ عند اختباره على بيانات خارجية جديدة مقارنة بالبيانات التي تدرّب عليها. وفي المتوسط، كان الانخفاض في الدقة ملحوظًا، حيث انخفضت الدرجة الخارجية عن الدرجة الداخلية بفارق ملموس. وقد أكد هذا أن "التفاؤل" الناتج عن رؤية درجة عالية في بيئة التطوير هو ظاهرة حقيقية؛ إذ تميل النماذج بالفعل إلى فقدان حدتها عندما تغادر بيئتها الأصلية.

ومع ذلك، تصبح القصة أكثر تعقيدًا عند النظر إلى الصورة الكبيرة. فقد أدرك الباحث أن مجرد عد كل مقارنة كدليل متساوٍ كان أمرًا مضللاً. فبعض الأوراق البحثية أبلغت عن عشرات الأنواع المختلفة من النماذج أو الأهداف المضادة للمضادات الحيوية، وكلها مشتقة من نفس مجموعة المرضى ونفس خطوات معالجة البيانات. وإذا تم عد هذه النتائج العديدة من ورقة بحثية واحدة بالتساوي، فإنها ستطغى على نتائج الأوراق الأخرى التي لم تبلغ سوى مقارنة أو اثنتين. وعندما عدّل الباحث التحليل ليعامل كل ورقة بحثية كاملة كوحدة دليل واحدة، مما يعطي كل ورقة صوتًا متساويًا بغض النظر عن عدد الأرقام التي تحتويها، تغيرت الصورة بشكل كبير.

وتحت هذا المنظور الأكثر توازنًا، تقلص متوسط الانخفاض في الأداء بشكل كبير. وبينما لا تزال النماذج تؤدي بشكل عام أسوأ خارج بيئتها الأصلية، إلا أن الفجوة كانت أصغر بكثير مما أوحى به الإحصاء الأولي. وفي الواقع، عند النظر إلى الدراسات الثمانية ككل، كان متوسط الفرق صغيرًا جدًا لدرجة أنه قد يكون صفرًا. وهذا يعني أنه بينما تعاني بعض النماذج من فقدان كبير في الدقة عند نقلها، تظل نماذج أخرى قوية بشكل مفاجئ، ولا يعاني المجال ككل من عقوبة عالمية موحدة. فحجم الانخفاض يعتمد كليًا على الدراسة المحددة، والبيانات المستخدمة، وكيفية عد النتائج.

كما سلطت الدراسة الضوء على ما ينقص المشهد الحالي للذكاء الاصطناعي الطبي. فبينما حاولت معظم الأوراق المراجعة اختبار نماذجها في إعدادات جديدة، إلا أن القليل منها ذهب إلى أبعد من ذلك للتحقق مما إذا كانت النماذج "معايرة" جيدًا. والمعايرة مفهوم حيوي يتجاوز مجرد الدقة؛ فهي تسأل ما إذا كانت أرقام الاحتمالات التي يخرجها النموذج تتطابق فعليًا مع المخاطر في العالم الحقيقي. على سبيل المثال، إذا تنبأ نموذج بأن هناك احتمال 20% للمقاومة لدى مريض، فهل يعاني هذا المريض من المقاومة فعليًا في حالة واحدة من كل خمس حالات؟ ووجدت المراجعة أن هذا الفحص الحيوي نادرًا ما يتم الإبلاغ عنه. علاوة على ذلك، فإن عددًا قليلًا جدًا من الدراسات اختبرت نماذجها عبر الزمن لمعرفة ما إذا كانت ستظل دقيقة مع تطور البكتيريا، أو اختبرتها بطريقة استشرافية مستقبلية حيث يتنبأ النموذج بالنتائج للمرضى أثناء وصولهم إلى المستشفى.

وتعد هذه النتائج بمثابة تحذير لكيفية تفسيرنا لنجاح الذكاء الاصطناعي الطبي. وتجادل الدراسة بأننا لا نستطيع ببساطة أخذ درجة دقة عالية من ورقة بحثية وافتراض أنها ستكون صحيحة في كل مكان. إن حجم فجوة الأداء الظاهرية حساس للغاية لكيفية عد الأدلة. فإذا عددنا كل نوع من أنواع النماذج في الورقة كحقيقة منفصلة، فإننا نبالغ في حجم المشكلة. وإذا عاملنا كل ورقة بحثية كقصة واحدة، فإن المشكلة تبدو أصغر ولكنها تظل حقيقية. وتخلص الأبحاث إلى أنه لا يوجد حل رياضي بسيط أو معامل تصحيح عالمي يمكن تطبيقه على جميع الدرجات المنشورة للتنبؤ بأدائها في العالم الحقيقي.

بدلاً من ذلك، يتطلب المسار المستقبلي مزيدًا من الشفافية والصرامة. يحتاج الباحثون إلى أن يكونوا صريحين بشأن كيفية تقسيم بياناتهم لضمان عدم تسرب أي معلومات من مرحلة الاختبار إلى مرحلة التدريب. ويجب عليهم ألا يكتفوا بالإبلاغ عن مدى جودة ترتيب المرضى، بل أيضًا عن مدى مطابقة تقديراتهم الاحتمالية للواقع. والأهم من ذلك، هم بحاجة إلى التحقق من نماذجهم في بيئات مستقلة حقًا، مع الإبلاغ عن أعداد المرضى المحددة ومعدل انتشار المقاومة في كل من الموطن الأصلي والبيئة الجديدة. وإلى أن تصبح هذه المعايير هي السائدة، ستظل الدرجات العالية الواردة في المؤلفات العلمية عبارة عن وعد لم يتم الوفاء به بالكامل بعد، وسيبقى الانتقال من نموذج حاسوبي ناجح إلى أداة موثوقة للأطباء عملاً قيد الإنجاز.