Benchmarking machine learning for cardiovascular disease classification across 46 countries with geographic and temporal transportability assessment
تقارن هذه الدراسة بين نماذج تعلم الآلة لتصنيف أمراض القلب والأوعية الدموية عبر 46 دولة باستخدام بيانات منظمة الصحة العالمية (STEPS)، حيث كشفت أن الخوارزميات المعقدة لا تقدم سوى مكاسب طفيفة في الأداء مقارنة بالانحدار اللوجستي، مع تسليط الضوء على التباين الجغرافي والزمني الكبير الذي يستوجب إعطاء الأولوية لقابلية النقل، والمعايرة، وأداء الفئات الأقلية على حساب المساحة تحت منحنى خصائص التشغيل المستقبلي (ROC AUC) المجمعة في مجال الذكاء الاصطناعي للصحة العامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لا تزال أمراض القلب السبب الرئيسي للوفاة في جميع أنحاء العالم، حيث تحصد ملايين الأرواح كل عام. وفي أجزاء كثيرة من العالم، يبدو العبء أثقل، إذ تقع أكثر من ثلاثة أرباع هذه الوفيات في البلدان منخفضة ومتوسطة الدخل. ولمكافحة ذلك، يعتمد مسؤولو الصحة على مسوح واسعة النطاق تسأل الناس عن صحتهم، وعاداتهم، ومدى وصولهم إلى الرعاية الطبية. تجمع هذه المسوح بيانات حول أشياء مثل ضغط الدم، والتدخين، والنظام الغذائي، وهي عوامل معروفة بتأثيرها على صحة القلب. والأمل يكمن في أنه من خلال تحليل هذه المعلومات، يمكن للحواسيب أن تتعلم رصد الأنماط التي تتنبأ بمن هم عرضة للخطر، مما يسمح للأطباء بالتدخل في وقت مبكر.
في السنوات الأخيرة، حدث تسابق لاستخدام برامج حاسوبية متقدمة، تُعرف باسم "تعلم الآلة"، لإيجاد هذه الأنماط. وغالباً ما يُروج لهذه البرامج بقدرتها على حل المشكلات التي تعجز عنها الأساليب الأبسط، من خلال إيجاد روابط خفية في كميات هائلة من البيانات. ومع ذلك، يظل هناك سؤال جوهري: هل تعمل هذه البرامج المعقدة حقاً بشكل أفضل عند تطبيقها في مواقف واقعية عبر بلدان مختلفة وعلى مدار فترات زمنية متفاوتة؟ فغالباً ما يتم اختبار هذه الأدوات بطرق تجعلها تبدو أكثر نجاحاً مما هي عليه في الواقع، مثل تقسيم البيانات من بلد واحد إلى مجموعات تدريب واختبار. هذا النهج قد يخفي حقيقة أن النموذج قد يفشل تماماً عندما يواجه بلداً جديداً، أو سنة مختلفة، أو سكاناً لديهم قدرات وصول مختلفة إلى الرعاية الصحية.
وضعت دراسة جديدة مجموعة من هذه النماذج الحاسوبية تحت اختبار أكثر صعوبة. فقد جمع الباحثون بيانات المسح الصحي من 46 دولة مختلفة، شملت ما يقرب من 188,000 بالغ. وطرحوا سؤالاً مباشراً: هل يمكن لبرنامج حاسوبي أن يحدد بدقة الأشخاص المصابين بالفعل بأمراض القلب بناءً على إجاباتهم في المسح، وهل سيظل ذلك البرنامج فعالاً إذا أُرسل إلى بلد لم يره من قبل؟ ولإيجاد الإجابة، قارنوا بين أداء عدة أنواع مختلفة من النماذج الحاسوبية، بدءاً من الأساليب الإحصائية البسيطة والشفافة، وصولاً إلى أنظمة الذكاء الاصطنا الحديثة والمعقدة.
لم يبحث الباحثون فقط عن أعلى درجة إجمالية، بل صمموا اختباراً صارماً يحاكي النشر في العالم الحقيقي. فقد قاموا بتدريب النماذج على بيانات من معظم البلدان، ثم اختبروها على دول كاملة استُبعدت تماماً من عملية التدريب. كما تحققوا من مدى صمود هذه النماذج بمرور الوقت من خلال تدريبها على بيانات مسح قديمة واختبارها على بيانات أحدث من نفس البلدان. وقد أولوا اهتماماً كبيراً لكيفية تعامل النماذج مع حقيقة أن أمراض القلب نادرة نسبياً في هذه المسوح، مما يعني أن النموذج قد يكون مخطئاً في معظم الأحيان ومع ذلك يبدو جيداً وفقاً لدرجة معيارية. كما فحصوا ما إذا كانت النماذج تتعرف ببساطة على الأشخاص الذين زاروا الطبيب بالفعل لحالات أخرى، بدلاً من تحديد خطر الإصابة بأمراض القلب نفسه.
قدمت النتائج وقفة واقعية صادمة لمجال الذكاء الاصطناعي الطبي. فلم تكن النماذج الحاسوبية الأكثر تعقيداً أفضل بشكل ملحوظ من طريقة إحصائية بسيطة ومفهومة جيداً. في الواقع، كان الفرق في قدرتها على تحديد حالات أمراض القلب بدقة صغيراً جداً لدرجة أنه يكاد لا يُلاحظ. وبينما حققت النماذج المعقدة تفوقاً طفيفاً في بعض القياسات المحددة، إلا أنها لم تقدم التحسن الهائل الذي كان مأمولاً. والأهم من ذلك، وجدت الدراسة أن أداء هذه النماذج يتفاوت بشكل حاد اعتماداً على مكان استخدامها؛ فالنموذج الذي يعمل بشكل معقول في منطقة ما قد يفشل تماماً في منطقة أخرى. فعلى سبيل المثال، في بعض أجزاء آسيا الوسطى، كانت النماذج دقيقة للغاية، ولكن في العديد من دول جزر المحيط الهادئ وأجزاء من أفريقيا، انخفضت قدرتها على التمييز بين المصابين وغير المصابين بأمراض القلب إلى مستويات تقترب من العشوائية.
كما كشفت الدراسة أن هذه النماذج ليست مستقرة بمرور الوقت. فعندما قام الباحثون بتدريب نموذج على بيانات من قبل بضع سنوات واختباره على بيانات من سنة لاحقة، كانت النتائج غالباً سيئة. لقد عانت النماذج للتكيف مع التغيرات في السكان، أو التحولات في كيفية تشخيص الأمراض، أو التحسينات في الوصول إلى الرعاية الصحية التي حدثت بين موجات المسح. وهذا يشير إلى أن النموذج الذي يُبنى اليوم قد لا يكون موثوقاً غداً دون إجراء تعديلات كبيرة. علاوة على ذلك، وجد الباحثون أن النماذج تعتمد بشكل كبير على ما إذا كان الشخص قد تم تشخيصه بارتفاع ضغط الدم أو السكري. وعندما أزالوا هذه المعلومات المحددة من البيانات، انخفض أداء النماذج بشكل ملحوظ. وهذا يشير إلى أن الحواسيب كانت تتعرف جزئياً على الأشخاص الذين تفاعلوا بالفعل مع نظام الرعاية الصحية، بدلاً من تحديد الخطر البيولوجي لأمراض القلب فحسب. وفي البلدان التي لا يتمتع فيها الكثير من الناس بوصول منتظم إلى الأطباء، قد يؤدي هذا الاعتماد إلى تفويت الأشخاص الذين هم في أمس الحاجة للمساعدة.
خلص الباحثون إلى أن اختيار خوارزمية معقدة هو أقل أهمية من السياق الذي تُستخدم فيه. فالاختلافات بين البلدان وعبر الزمن كانت أكبر بكثير من الاختلافات بين النماذج الحاسوبية نفسها. وجادلوا بأنه قبل استخدام أي أداة كهذه لتوجيه قرارات الصحة العامة، يجب اختبارها ليس فقط من حيث درجتها الإجمالية، بل من حيث قدرتها على العمل في سياقات محلية محددة، وموثوقيتها بمرور الوقت، وعدالتها عبر المجموعات المختلفة من الناس. وتشير الدراسة إلى أنه بالنسبة لرقابة الصحة العالمية، فإن الشفافية والمتانة أكثر قيمة من التعقيد. إن نموذجاً بسيطاً مفهوماً جيداً ويمكن تعديله بسهولة للظروف المحلية قد يكون أداة أفضل بكثير لإنقاذ الأرواح من "صندوق أسود" متطور يفشل عندما تتغير البيئة. إن الطريق إلى الأمام، كما يقترح المؤلفون، ليس في مطاردة البرنامج الحاسوبي الأكثر قوة، بل في بناء أنظمة تكون صادقة بشأن قيودها وقابلة للتكيف مع الواقع المتنوع للعالم الذي صُممت لخدمته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.