Evaluation Metrics for Image Classification, Segmentation and Localization Mathematical Foundations, Comparative Analysis and Research Recommendations
تُجمّع هذه المراجعة النقدية 150 مرجعاً لتصنيف ومقارنة 72 مقياس تقييم لمهام تصنيف الصور، والتجزئة، وتحديد المواقع بشكل منهجي، مقدمةً الأسس الرياضية، والأمثلة التطبيقية، وتوصيات بحثية لتوجيه عملية اختيار المقاييس المناسبة والمتكاملة من أجل دراسات قابلة للتكرار وذات صلاحية سريرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التصوير الطبي، أصبحت الحواسيب ماهرة بشكل ملحوظ في النظر إلى صور جسم الإنسان. يمكنها رصد ورم، أو تتبع حدود عضو ما، أو تحديد معلم محدد على عظمة. لكن هناك فخاً خفياً في كيفية حكمنا على هذه الآلات. تخيل طالباً يؤدي اختباراً حيث يقوم المعلم بتقييمه فقط بناءً على الدرجة النهائية، دون النظر إلى الأسئلة المحددة التي أخطأ فيها. إذا كان الطالب قد خمن الإجابة الصحيحة في بعض الأسئلة الصعبة ولكنه أخطأ في عشرات الأسئلة السهلة، فإن الدرجة البسيطة قد تخفي حقيقة أنه في الواقع يرسب في المادة. وبنفس الطريقة، قد يبدو نموذج حاسوبي عبقرياً لأنه يحصل على رقم عالٍ في اختبار قياسي، بينما يفشل سراً في العثور على الأمراض النادرة التي يحتاج الأطباء إلى رصدها بأكثر درجات الاستعجال. أو قد يرسم حدود ورم بشكل سيء للغاية بحيث لا يستطيع الجراح استخدام تلك الخريطة. المشكلة الجوهرية هي أن الأدوات التي نستخدمها لقياس النجاح غالباً لا تتطابق مع المهمة الواقعية التي يُفترض بالحاسوب القيام بها.
لقد كتب باحثان، بهنام كياني كاليجاهي ومحمد جواد رجبي، دليلاً شاملاً لإصلاح هذا عدم التطابق. لم يقوما ببناء برنامج حاسوبي جديد للعثور على الأمراض، بل بنيا طريقة جديدة للتفكير في كيفية قياس البرامج الموجودة بالفعل. لقد راجعا مئات الدراسات والأساليب الرياضية لإنشاء خريطة واضحة لما تخبرنا به القياسات المختلفة فعلياً. عملهما هو مراجعة نقدية، مما يعني أنهما حللا قواعد اللعبة بدلاً من لعبها بأنفسهما. وقد وجدا أن المجال مليء بالارتباك لأن العلماء غالباً ما يستخدمون نفس الكلمات لوصف أشياء مختلفة، أو يختارون قياساً يجعل نموذجهم يبدو جيداً بينما يخفي إخفاقاته. وتجادل الورقة بأنه لا يوجد "أفضل" درجة واحدة؛ بدلاً من ذلك، يتطلب التقييم الموثوق مجموعة صغيرة مختارة بعناية من القياسات المختلفة التي تجيب على أسئلة محددة حول سلوك الحاسوب.
نظم الباحثان نتائجهما حسب نوع المهمة التي يقوم بها الحاسوب. بالنسبة لمهمة مجرد اتخاذ قرار بشأن وجود المرض أو غيابه، يشرحان أن الدقة الإجمالية العالية قد تكون مضللة إذا كان المرض نادراً. ويظهران أن النموذج يمكن أن يكون مصيباً بنسبة 99 في المائة ببساطة عن طريق قول "لا يوجد مرض" لكل مريض، ومع ذلك سيفشل في العثور على شخص مريض واحد. ولتجنب ذلك، يصران على أن يجب على العلماء الإبلاغ عن مدى جودة عثور النموذج على الأشخاص المرضى وعدد المرات التي أطلق فيها إنذارات كاذبة للأصحاء، بدلاً من مجرد إعطاء رقم متوسط واحد. كما يشيران إلى أن درجة ثقة النموذج ليست هي نفسها دقته الفعلية؛ فقد يكون الحاسوب واثقاً جداً من إجابة خاطئة، والاختبارات القياسية غالين ما تفشل في رصد ذلك. ويقترح المؤلفان أنه يجب على الباحثين التحقق مما إذا كانت ثقة الحاسوب تتطابق مع الواقع، لضمان أنه عندما يقول إنه متأكد بنسبة 90 في المائة، فإنه يكون مصيباً بنسبة 90 في المائة بالفعل.
عندما تنتقل المهمة من الإجابات البسيطة بنعم أو لا إلى رسم الخطوط العريضة، تتغير القواعد مرة أخرى. في هذا المجال، المعروف باسم "التجزئة" (segmentation)، يجب على الحاسوب رسم شكل حول عضو معين أو آفة. يوضح الباحثان أن نموذجين يمكن أن يكون لهما نفس الدرجة تماماً فيما يتعلق بمدى تداخل رسمهما مع الشكل الصحيح، ومع ذلك قد يكون أحد النموذجين يرسم دائرة مثالية في المكان الخاطئ، بينما يرسم الآخر خطاً متعرجاً يلمس المكان الصحيح. ويظهران أن رقماً واحداً لا يمكنه التمييز بين خطأ صغير في منتصف عضو كبير وخطأ هائل في بنية صغيرة وحرجة. وقد وجدا أن العلماء غالباً ما يتجاهلون حواف هذه الرسومات، ولكن في الطب، الحافة هي الجزء الأكثر أهمية في كثير من الأحيان. إذا أخطأ الحاسوب في جزء صغير من حدود الورم، فقد يؤدي ذلك إلى تلقي المريض علاجاً أقل من اللازم. وتحث الورقة الباحثين على قياس المسافة بين الخط المرسوم والخط الحقيقي، وليس فقط مدى تداخل الأشكال.
بالنسبة لمهمة العثور على أجسام محددة وعدّها، مثل الخلايا الفردية أو الأورام، يسلط الباحثون الضوء على مدى سهولة التلاعب بالنتائج من خلال كيفية مطابقة الحاسوب لنتائجه مع الحقيقة. ويوضحان أنه إذا وجد الحاسوب نفس الورم مرتين، فيجب احتساب ذلك كخطأ، لكن العديد من الاختبارات القياسية لا ترصد ذلك. كما يظهران أن الطريقة التي يجمع بها الباحثون نتائجهم يمكن أن تغير تماماً ترتيب أي حاسوب هو الأفضل. وفي أحد أمثلتهما التفصيلية، أنشآ سيناريو حيث بدا أحد الحواسيب أفضل عند حساب متوسط درجات كل مريض، بينما بدا حاسوب آخر أفضل عند حساب متوسط إجمالي عدد البكسلات. كلا الحاسوبين كانا متماثلين؛ فقط الرياضيات هي التي غيرت القصة. وهذا يثبت أن اختيار كيفية دمج الأرقام لا يقل أهمية عن الأرقام نفسها.
تتناول الورقة أيضاً مسألة عدم اليقين والعنصر البشري. في المستشفى الحقيقي، لا يعمل الحاسوب في فراغ؛ بل يعمل جنباً إلى جنب مع الأطباء. يظهر الباحثان أن النموذج الذي يرفض الإجابة عندما يكون غير متأكد يمكن أن يكون أكثر فائدة من نموذج يخمن بثقة ويخطئ. ويصفان طريقة يمكن للحاسوب من خلالها أن يقول "لا أعرف" ويحيل الحالة إلى طبيب بشري. هذا يحسن السلامة العامة للنظام، لكن الاختبارات القياسية غالباً ما تتجاهل هذه الإحالات وتنظر فقط في الحالات التي حاول الحاسوب حلها. ويجادل المؤلفان بأن التقييم الكامل يجب أن يحصي الإحالات والأخطاء التي تحدث حتى بعد قيام الإنسان بمراجعة العمل. كما يحذران من استخدام درجات "الأمانة" (fidelity)، التي تقيس مدى واقعية الصورة المولدة، كبديل للتحقق مما إذا كان الحاسوب قد وجد المرض بالفعل. يمكن للصورة أن تبدو جميلة ومثالية بينما تفتقر تماماً إلى التفاصيل الطبية الحرجة.
طوال تحليلهما، قدم المؤلفان عشرة أمثلة عملية محددة لإثبات نقاطهما. هذه ليست بيانات مرضى حقيقية، بل سيناريوهات تم بناؤها بعناية لتعمل كأنها تجارب محكومة. في أحد الأمثلة، يظهران كيف يمكن لنموذج أن يحصل على درجة عالية في العثور على الأورام ولكنه يفشل في العثور على أي من الأورام النادرة والخطيرة لأن الاختبار كان موجهاً نحو الحالات الشائعة. وفي مثال آخر، يوضحان كيف يمكن لإزاحة طفيفة في الحجم الفيزيائي للبكسل أن تجعل الحاسوب يبدو وكأنه يؤدي بشكل أفضل أو أسوأ، رغم أن أداءه الفعلي لم يتغير. تعمل هذه الأمثلة كتحذير من أن الأرقام الواردة في الأوراق العلمية يمكن أن تكون هشة وتعتمد كلياً على القواعد المحددة المستخدمة لحسابها.
يخلص الباحثان إلى أن المجال يحتاج إلى التوقف عن مطاردة درجة واحدة في قائمة المتصدرين. بدلاً من ذلك، يقترحان قائمة مرجعية لأي شخص يصمم دراسة. تجبر هذه القائمة العلماء على تحديد ما يقيسونه بالضبط، ومن يقيسون عليهم، وما هي القواعد الخاصة باحتساب النجاح أو الفشل قبل حتى أن ينظروا إلى النتائج. ويصران على أن وحدة القياس يجب أن تتطابق مع وحدة الادعاء. إذا كان الطبيب يهتم بالمريض، فيجب أن تكون الدرجة متعلقة بالمريض، وليس فقط بشرائح الصور الفردية. وإذا كان الجراح بحاجة لمعرفة حافة الورم، فيجب أن تقيس الدرجة الحافة، وليس فقط الحجم. لا تدعي الورقة أنها حلت مشكلة الذكاء الاصطناعي الطبي، لكنها توفر الأدوات الأساسية للتوقف عن قياس الأشياء الخاطئة. ومن خلال مواءمة القياس مع الهدف الفعلي، يمكن للباحثين أخيراً رؤية أي النماذج مفيدة حقاً وأيها بارع فقط في اجتياز الاختبارات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.