Subgroup AUROC-gap tests are not evidence of unfairness in clinical prediction models: case-mix differences make the equal-discrimination null false
تُثبت هذه الورقة أن اختبارات فجوة المساحة تحت منحنى خصائص تشغيل المستقبِل (AUROC) القياسية للمجموعات الفرعية غير صالحة لتقييم العدالة في نماذج التنبؤ السريري، لأن الاختلافات في توزيعات تكوين الحالات تُنتج طبيعيًا تفاوتات في الـ AUROC حتى في النماذج العادلة تمامًا، بينما تظل اختبارات المعايرة قوية للتمييز بين عدم العدالة الحقيقي والآثار الهندسية الناتجة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المستشفيات الحديثة، تُستخدم الخوارزميات بشكل متزايد للتنبؤ بمن يُحتمل أن يصاب بمرض خطير، مما يساعد الأطباء في تحديد من يحتاج إلى رعاية عاجلة. هذه الأدوات مُدربة على كميات هائلة من بيانات المرضى، حيث تتعلم رصد الأنماط التي قد تغفل عنها القدرة البشرية. ولكن نظرًا لأن هذه النماذج مبنية من بيانات واقعية، فقد ترث أحيانًا عدم المساواة الموجودة في المجتمع، فتؤدي بشكل جيد لبعض الفئات من الناس بينما تخفق مع فئات أخرى. ولضبط ذلك، تقوم المستشفيات والجهات التنظيمية الآن بإجراء "تدقيق للعدالة" بشكل روتيني؛ حيث يقسم هذا التدقيق مجتمع المرضى إلى مجموعات — حسب العمر أو العرق أو الجنس — ويتحقق مما إذا كان النموذج يعمل بنفس الكفاءة للجميع. والمعيار المعتاد لقياس الأداء هو درجة تسمى "المساحة تحت المنحنى" (AUC)، والتي تسأل جوهريًا: إذا اخترت شخصًا مريضًا وآخر سليمًا بشكل عشوائي، فكم مرة ينجح النموذج في تصنيف المريض بدرجة أعلى؟ إذا كان النموذج عادلًا، فيجب أن تكون هذه الدرجة هي نفسها لكل مجموعة.
لسنوات طويلة، كان الافتراض السائد هو أنه إذا اختلفت هذه الدرجات بين المجموعات، فإن النموذج غير عادل. وقد طور الباحثون والمنظمون اختبارات إحصائية متنوعة لمعرفة ما إذا كان الفرق كبيرًا بما يكفي ليكون مشكلة، وغالبًا ما يصنفون النموذج بأنه متحيز إذا انخفضت درجاته عن حد معين أو إذا كانت درجة إحدى المجموعات أقل من 80 بالمائة من درجة مجموعة أخرى. بدا المنطق سليمًا: فالنموذج المثالي يجب أن يعامل الجميع بالتساوي، وبالتالي يجب أن يتنبأ بالنتائج بدقة متساوية للجميع. ومع ذلك، تتحدى دراسة جديدة هذا الأساس بأكمله، بحجة أن الاختبارات المستخدمة لإيجاد عدم العدالة غالبًا ما تُخدع بشيء أكثر براءة بكثير: وهو الاختلافات الطبيعية في أنواع المرضى الذين تضمهم المجموعات المختلفة.
قام الباحثون وراء هذه الدراسة، بالعمل مع بيانات من خمس مجموعات سريرية مختلفة وإجراء آلاف المحاكاة الحاسوبية، بتحديد ما يحدث عندما يتم اختبار نموذج عادل تمامًا على مجموعات تبدو مختلفة عن بعضها البعض. لقد بنوا نموذجًا مثاليًا من الناحية الرياضية، مما يعني أنه يعرف الاحتمالية الدقيقة للمرض لكل مريض ويعامل لا أحد بشكل مختلف بناءً على هويته. ثم قاموا بتغذية هذا النموذج المثالي بمجموعات ديموغرافية مختلفة، لكنهم سمحوا لهذه المجموعات بأن يكون لها "مزيج حالات" (case mixes) مختلف. وبمعنى آخر، قد يكون لدى المرضى في مجموعة واحدة نطاق أوسع من عوامل الخطر مقارنة بالمرضى في مجموعة أخرى، رغم أن النموذج نفسه كان متطابقًا وعادلًا.
ما وجدوه كان مذهلاً. فعندما أجروا اختبارات العدالة القياسية على هذا النموذج المثالي، كانت الاختبارات تصرخ مرارًا وتكرارًا بأن النموذج غير عادل. وفي عمليات المحاكاة التي أظهرت فيها المجموعات اختلافات متوسطة في ملفات المرضى، صنف الاختبارات النموذج المثالي على أنه متحيز بنسبة تقارب 92 بالمائة. وعندما كانت الاختلافات أكبر، صنفته الاختبارات بدرجة مساحة تحت المنحنى (AUC) تساوي 1. اكتشف الباحثون أن الاختبارات الإحصائية لم تكن تكتشف عدم العدالة، بل كانت تكتشف التباين الطبيعي في البيانات. فالمجموعة التي تمتلك تنوعًا أوسع في مخاطر المرضى هي في الواقع أسهل للنموذج ليفصل بين الفئات "المريضة" و"السليمة"، مما يؤدي إلى درجة أداء أعلى. أما المجموعة ذات النطاق الضيق من المخاطر فهي أصعب في الفصل، مما يؤدي إلى درجة أقل. وقد فسرت الاختبارات هذا الفرق الطبيعي في الصعوبة على أنه علامة على التحيز، بينما في الواقع، كان النموذج يعمل تمامًا كما ينبغي له.
ذهبت الدراسة إلى أبعد من ذلك بقياس مدى وجود هذا الفرق في "مزيج الحالات" في بيانات المستشفيات الحقيقية. فقد نظروا في 21 تقسيمًا ديموغرافيًا مختلفًا عبر خمس مجموعات بيانات من العالم الحقيقي. ووجدوا أنه في العديد من هذه المجموعات، كانت الاختلافات الطبيعية في ملفات المرضى كبيرة بما يكفي لتجعل نموذجًا عادلًا تمامًا يظهر فجوة في الأداء تبدو وكأنها انتهاك لقواعد العدالة. على سبيل المثال، في بعض المجموعات القائمة على السن، يمكن لنموذج عادل أن يظهر طبيعيًا فرقًا في الأداء كافيًا لتفعيل إنذار العدالة، رغم أن النموذج لم يفعل أي شيء خاطئ. حاول الباحثون تفكيك الفجوات المرصودة في البيانات الحقيقية لمعرفة مقدار ما يعود لهذه الاختلافات الطبيعية ومقدار ما يعود لعدم العدالة الفعلي، لكنهم وجدوا أن الرياضيات غير مستقرة للغاية لتقديم إجابة دقيقة؛ فقد كانت الفجوة مزيجًا من كليهما، ولم تكن الأدوات المتاحة قادرة على الفصل بينهما.
يؤدي هذا إلى استنتاج صعب لأي شخص يحاول ضمان عدالة الذكاء الاصطناعي الطبي. تجادل الورقة البحثية بأن مجرد مقارنة درجات الأداء وإجراء اختبار إحصائي ليس وسيلة صالحة لإثبات أن النموذج غير عادل، فالاختبارات تُخدع بسهولة بتباين السكان الطبيعي. ويقترح الباحثون بدلاً من ذلك عرض درجات الأداء جنباً إلى جنب مع وصف للمجموعات المرضية نفسها، حتى يتمكن الأطباء من رؤية ما إذا كان انخفاض الدرجة ناتجًا فقط عن كون تلك المجموعة أصعب في التنبؤ بها. كما يقترحون التحقق مما إذا كانت تنبؤات النموذج "معايرة" (well-calibrated) بشكل جيد، بمعنى: إذا تنبأ النموذج بأن المساحة تحت المنحونة هي 0.2، فهل يحدث ذلك بالفعل بنسبة 0.2 من المرات؟ وعلى عكس اختبارات درجة الأداء، أظهرت محاكاتهم أن فحوصات المعايرة لم تُخدع بهذه الاختلافات الطبيعية في مجموعات المرضى.
لا تدعي الدراسة أن النماذج الطبية عادلة دائمًا، ولا تقول إن التحيز غير موجود، بل توضح ببساطة أن الطريقة الأكثر شيوعًا التي نحاول بها اكتشافه معطلة. ويؤكد الباحثون أن نتائجهم تأتي من عمليات المحاكاة ومن مجموعات بيانات محددة، وهم لا يقدمون اختبارًا سحريًا جديدًا ليحل محل الاختبارات القديمة. بدلاً من ذلك، يحثون على تغيير طريقة تفكيرنا في العدالة. فبدلاً من المطالبة بأن يؤدي النموذج أداءً متطابقًا لمجموعة من الشباب ومجموعة من كبار السن، وهو أمر قد يكون مستحيلاً بسبب الطبيعة المختلفة لمخاطرهم الصحية، يجب أن نطالب بأن يكون النموذج دقيقًا ومعايرًا لكل مجموعة وفقًا لظروفها الخاصة. وتعمل الورقة كتحذير من أنه بدون فهم الاختلافات الجوهرية في مجتمعات المرضى، فإننا نخاطر باتهام الأدوات المثالية بأنها معطلة، أو الأسوأ من ذلك، أن نفقد المشكلات الحقيقية لأننا ننظر إلى الأرقام الخاطئة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.