Calibration and Threshold Selection of Machine Learning Classifiers for Breast Tumour Diagnosis: A Decision-Support Study for Al-Driven Clinical Screening
تقيم هذه الدراسة أداء ومعايرة واختيار العتبة لأربعة مصنفات من تعلم الآلة على مجموعة بيانات سرطان الثدي التشخيصية في ويسكونسن، كاشفةً أنه بينما تحقق النماذج دقة ومساحة تحت المنحنى (AUC) عاليتين، فإن معايرة الاحتمالات تتباين باختلاف الخوارزمية، وأن تحقيق عتبات الحساسية المستهدفة يظل غير مؤكد بسبب أحجام العينات المحدودة، مما يسلط الضوء على اعتبارات حاسمة لدعم القرار السريري القائم على الذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الفحص الطبي، غالبًا ما يتم وصف الهدف ببساطة بأنه الوصول إلى الإجابة الصحيحة: هل الكتلة في الثدي هي نمو حميد أم سرطان خطير؟ لعقود من الزمن، بنى العلماء برامج حاسوبية لمساعدة الأطباء في إجراء هذا التمييز من خلال تحليل صور الخلايا المأخوذة من خزعة. هذه البرامج، المعروفة باسم مصنفات تعلم الآلة، تنظر في عشرات القياسات الدقيقة — مثل حجم نواة الخلية أو ملمس سطحها — لاتخاذ تنبؤ. ومع ذلك، لكي يكون الحاسوب شريكًا مفيدًا حقًا في عيادة الطبيب، يجب أن يفعل أكثر من مجرد كونه محقًا معظم الوقت؛ بل يجب أن يكون صادقًا أيضًا بشأن مدى يقينه. فعندما يقول الحاسوب إن هناك احتمال بنسبة تسعين بالمائة للإصابة بالسرطان، يجب أن يعكس هذا الرقم الواقع، لا أن يكون مجرد تخمين. علاوة على ذلك، يجب اختيار النقطة التي يقرر عندها الحاسوب إطلاق إنذار بعناية فائقة. ففي الطب، تفوق تكلفة تفويت حالة سرطان تكلفة إطلاق إنذار كاذب، لذا يحتاج النظام إلى قاعدة تعطي الأولوية للإمساك بكل حالة ممكنة، حتى لو كان ذلك يعني فحص بعض الأشخاص الأصحاء بدقة أكبر.
تستكشف دراسة حديثة أجراها كارتيك فوباسي في جامعة سانجيفاني في الهند هذه المسألتين الحرجتين تحديدًا باستخدام مجموعة بيانات طبية معروفة تسمى مجموعة بيانات ويسكونسن لتشخيص سرطان الثدي. تحتوي مجموعة البيانات هذه على معلومات لـ 569 مريضًا، مع قياسات مأخوذة من صور رقمية لخلاياهم. أراد الباحثون معرفة ما إذا كانت أنواع مختلفة من نماذج التعلم الحاسوبي تنتج أرقام احتمالية جديرة بالثقة، وما إذا كانت القواعد التي استخدموها لتحديد متى يتم تصنيف المريض على أنه "عرضة للخطر" ستصمد عند اختبارها على أشخاص جدد لم يسبق رؤيتهم. وقارنوا بين أربعة أنواع متميزة من خوارزميات التعلم، تتراوح من الأساليب الإحصائية البسيطة إلى الأنظمة المعقدة التي تبني مئات من أشجار القرار، واختبروها تحت شرطين: أحدهما باستخدام عشرة متوسطات للقياسات من الخلايا فقط، والآخر باستخدام جميع القياسات الثلاثين المتاحة.
بدأت الدراسة بتدريب هذه النماذج الحاسوبية على جزء كبير من البيانات ثم اختبارها على مجموعة منفصلة من المرضى الذين لم يروهم من قبل. وأظهرت النتائج أن جميع النماذج كانت ماهرة للغاية في التمييز بين الخلايا السرطانية وغير السرطانية. في الواقع، كانت بارعة لدرجة أن الاختلافات بينها كانت صغيرة جدًا بحيث لا تُذكر إحصائيًا. وسواء استخدم الحاسوب عشرة متوسطات للقياسات فقط أو جميع التفاصيل الثلاثين المتاحة، فإن أفضل أداء للنماذج كان متماثلاً تقريبًا في القدرة على الفصل بين المجموعتين. تشير هذه النتيجة إلى أنه بالنسبة لهذا النوع المحدد من البيانات، فإن اختيار أي خوارزمية معقدة هو أمر أقل أهمية من ضمان إعداد النظام بشكل صحيح. وجد الباحثون أن إضافة قياسات أكثر تفصيلًا قد حسنت الدرجات قليًا، لكن التحسن كان صغيرًا جدًا لدرجة أنه لم يغير الاستنتاج العام: وهو أن التكنولوجيا وصلت بالفعل إلى قرب حدها الأقصى لهذه المهمة المحددة.
كان الاكتشاف الأكثر إثارة للدهشة والعملية يتعلق بمدى جودة تواصل هذه الحواسيب بشأن ثقتها. هناك افتراض شائع في هذا المجال وهو أنه يمكنك دائمًا أخذ المخرجات الخام للحاسوب وتعديلها بمعادلة رياضية لجعل الاحتمالات أكثر دقة. اختبر الباحثون ذلك عبر أخذ التنبؤات من نماذجهم وتطبيق طريقتين مختلفتين للتعديل. ووجدوا أنه بالنسبة لبعض النماذج، وتحديدًا النماذح الإحصائية البسيطة، كانت الأرقام الخام موثوقة بالفعل، ومحاولة تعديلها أدت في الواقع إلى جعل التنبؤات أسوأ، مما أدخل المزيد من الأخطاء. أما بالنسبة للنماذج الأكثر تعقيدًا التي تبني العديد من أشجار القرار، فقد ساعد نوع آخر من التعديل قليلًا، لكن التحسن كان متواضعًا. الخلاصة الرئيسية هي أنه لا يوجد حل عالمي؛ فالنظام الذي تمت معايرته جيدًا بالفعل لا يحتاج إلى "إعادة ضبط"، وتطبيق تعديل قياسي على كل نظام يمكن أن يسبب أحيانًا ضررًا أكثر من النفع.
ربما يكون الدرس الأكثر أهمية من الدراسة متعلقًا بعتبة القرار، وهي النقطة المحددة التي ينتقل فيها الحاسوب من القول بأن الحالة "حميدة على الأرجح" إلى "خبيثة على الأرجح". حاول الباحثون وضع قاعدة تمسك بنسبة خمسة وتسعين بالمائة على الأقل من جميع حالات السرطان، وهو معيار سلامة مرتفع جدًا. قاموا بضبط هذه القاعدة باستخدام بيانات التدريب، حيث كان الحاسوب قد رأى الإجابات بالفعل. وعندما طبقوا هذه القاعدة نفسها على المجموعة الجديدة من المرضى الذين لم يسبق رؤيتهم، فشلت في تحقيق الهدف. فبدلاً من الإمساك بنسبة خمسة وتسعين بالمائة من حالات السرطان، أمسكت بنحو ثلاثة وتسعين بالمائة. حدثت هذه الفجوة لأن العدد الصغير من حالات السرطان في مجموعة الاختبار جعل حالة واحدة مفقودة تغير النسبة المئوية بشكل كبير. توضح الدراسة أن القاعدة التي تبدو مثالية في بيانات التدريب ليست مضمونة العمل بنفس الطريقة في العالم الحقيقي. إن عدم اليقين المتأصل في أحجام العينات الصغيرة يعني أن الأطباء لا يمكنهم الاعتماد على رقم واحد لضمان السلامة.
في نهاية المطاف، يعمل هذا البحث كدليل تحذيري لبناء أدوات الذكاء الاصطناعي في مجال الرعاية الصحية. فهو يوضح أنه بينما يمكن للحواسيب أن تكون ممتازة في رصد الأنماط، فإن الرحلة من الحصول على درجة عالية إلى بناء أداة طبية موثوقة مليئة بالفخاخ الخفية. تؤكد الدراسة أنه بالنسبة لمجموعة البيانات هذه، فإن النماذج دقيقة للغاية بالفعل، ولكن قيمتها الحقيقية تعتمد على كيفية الإبلاغ عن احتمالاتها وكيفية ضبط عتبات الإنذار الخاصة بها. ويقترح المؤلف أن الأنظمة المستقبلية لا ينبغي أن تكتفي بالإبلاغ عن رقم خطر واحد، بل يجب أن تظهر أيضًا مدى عدم اليقين المحيط بهذا الرقم. ويجادلون بأن وضع هدف للسلامة بناءً على مجموعة صغيرة من بيانات التدريب هو أمر محفوف بالمخاطر، وأن أي قاعدة تُستخدم لإطلاق تنبيه طبي يجب اختبارها على بيانات مستقلة مع فهم واضح أنها قد لا تعمل تمامًا كما هو متوقع. إن الطريق إلى الأمام لا يتطلب فقط العثور على أذكى خوارزمية، بل يتطلب اختبار كيفية سلوك تلك الخوارزمية بصرامة عندما تكون الرهانات حقيقية والبيانات جديدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.