Evaluation Metrics for Image Classification, Segmentation and Localization
تُحلل هذه المراجعة النقدية بشكل منهجي وتُنظم 72 مقياساً للتقييم لتصنيف الصور، والتجزئة، والتحديد الموضعي، بهدف توجيه عملية اختيار مقاييس تكميلية ومناسبة للسياق تضمن إجراء تقييمات علمية قابلة للتكرار وذات دلالة سريرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التصوير الطبي والرؤية الحاسوبية، أصبحت الآلات ماهرة بشكل ملحوظ في النظر إلى الصور؛ إذ يمكنها تحديد مرض في صورة أشعة سينية، أو تتبع حدود ورم في فحص ما، أو تحديد الموقع الدقيق لمعلم تشريحي محدد. ولكن مع ازدياد قوة هذه الأنظمة، برزت مشكلة صامتة: نحن غالبًا لا نعرف كيف نقيسها بشكل صحيح. قد يكون الكمبيوتر ممتازًا في إيجاد الإجابة الصحيحة بنسبة 99 بالمائة، ومع ذلك يغفل عن الحالة الحرجة الوحيدة التي تهم أكثر من غيرها، أو قد يرسم حدودًا قريبة رياضيًا ولكنها عديمة الفائدة سريريًا. التحديد الجوهري هو أن الأدوات التي نستخدمها لتقييم هذه الأنظمة غالبًا ما تكون غير متطابقة مع الأسئلة التي نحاول الإجابة عليها. إذا طلبت من آلة العثور على حالة نادرة، فإن درجة بسيطة من "الدقة" قد تكون مضللة ومرتفعة حتى لو لم تجد الآلة شيئًا على الإطلاق. وإذا طلبت منها رسم شكل ما، فإن درجة تعتمد على مدى تداخل الأشكال قد تخفي حقيقة أن الحواف في مكان خاطئ.
لقد كتب بهنام كياني كاليجاهي، الباحث في جامعة آسيا الوسطى وجامعة إنتي الدولية، دليلًا شاملاً لفك هذا الارتباك. إن عمله ليس اختراعًا لآلة أكثر ذكاءً، بل هو خريطة نقدية لكيفية الحكم على الآلات التي نمتلكها بالفعل. وهو يجادل بأن طريقة تقييم أنظمة تحليل الصور تعتمد كليًا على ما يفترض أن يقوم به النظام. وسواء كانت المهمة هي مجرد تصنيف صورة، أو رسم قناع (mask) مفصل حول جسم ما، أو إيجاد نقطة محددة في الفضاء، فإن قواعد النجاح يجب أن تتغير. تعمل الورقة البحثية كدليل للعلماء والأطباء للتوقف عن استخدام رقم واحد يصلح لكل الحالات لوصف الأداء، وبدلاً من ذلك، اختيار مجموعة صغيرة ومحددة من المقاييس التي تعكس بالفعل العواقب الواقعية لأخطاء النظام.
يبدأ المؤلف بالإشارة إلى أن وحدة القياس يجب أن تطابق وحدة الادعاء. في مهمة التصنيف البسيطة، حيث يقرر الكمبيوتر ما إذا كانت الصورة تحتوي على مرض أم لا، فإن السؤال الأكثر أهمية غالبًا هو مدى قدرة النظام على إيجاد الحالات الإيجابية دون إطلاق الكثير من الإنذارات الكاذبة. ومع ذلك، إذا كانت مجموعة البيانات منحازة بشدة نحو الصور السليمة، فإن نظامًا يقول ببساطة "لا يوجد مرض" لكل شيء سيبدو مثاليًا على الورق، رغم أنه عديم الفائدة. وتوضح الورقة من خلال أمثلة مبنية أنه يمكن لنظام أن يتمتع بدقة عالية ولكن بقدرة صفرية على اكتشاف الحالة النادرة التي بُني من أجلها. ولإصلاح ذلك، يصر المؤلف على ضرأ ضرورة أن يبلغ الباحثون ليس فقط عن درجة واحدة، بل عن مزيج من المقاييس التي تروي القصة الكاملة: كم مرة يجد النظام الهدف، وكم مرة يكون مخطئًا عندما يقول إنه وجده، ومدى موثوقية مستويات ثقته.
وعندما تنتقل المهمة من التصنيف إلى الرسم، تتغير القواعد مرة أخرى. في عملية التجزئة (segmentation)، حيث يرسم الكمبيوتر قناعًا حول عضو أو ورم، يقيس المقياس الأكثر شيوعًا مدى تداخل رسم الكمبيوتر مع رسم الخبير. وبينما يعد هذا مفيدًا، تظهر الورقة أن رسمين يمكن أن يكون لهما نفس مقدار التداخل مع كونهما مختلفين تمامًا في الشكل أو الموقع. فقد يكون أحدهما دائرة مثالية مزاحة قليلاً، بينما الآخر عبارة عن مجموعة مبعثرة من البكسلات التي تغطي نفس المساحة بالصدفة. يوضح المؤلف أن الاعتماد فقط على درجات التداخل يمكن أن يخفي هذه الإخفاقات الحرجة. وبدلاً من ذلك، يجب أن يقيس التقييم الكامل أيضًا المسافة بين حواف الأشكال ويتحقق مما إذا كان النظام قد دمج عن طريق الخطأ جسمين منفصلين في واحد، أو قسم جسمًا واحدًا إلى قطع. وبالنسبة للمهام التي تتضمن آفات صغيرة أو هياكل معقدة مثل الأوعية الدموية، تقترح الورقة أن المقياس الأكثر أهمية قد يكون ما إذا كان النظام يحافظ على اتصال الهيكل، بدلاً من مجرد كيفية تغطيته للمساحة.
أما بالنسبة للأنظمة التي تحدد مواقع نقاط معينة، مثل العثور على معلم في الوجه أو بقعة محددة على عظمة، فتؤكد الورقة على أهمية الوحدات الفيزيائية. قد يخطئ الكمبيوتر ببضعة بكسلات، ولكن إذا تم التقاط الصورة باستخدام نوع معين من الماسحات الضوئية، فإن تلك البكسلات القليلة قد تمثل مسافة خطيرة في العالم الحقيقي. ويحذر المؤلف من استخدام الدرجات المعيارية (normalized scores) التي تخفي الخطأ الفيزيائي الفعلي. فإذا كان من المفترض أن يوجه النظام جراحًا، فيجب أن يكون القياس بالمليمترات، وليس بالنسب المجردة. كما تسلط الورقة الضوء على أن الطريقة التي يتعامل بها النظام مع عدم اليقين لا تقل أهمية عن دقته. فالنظام الذي يعرف متى يكون غير متأكد ويطلب المساعدة من البشر غالبًا ما يكون أكثر قيمة من النظام الذي يعطي إجابة خاطئة بثقة. ويقدم المؤلف أمثلة تظهر كيف يمكن للنظام أن يتحسن من حيث السلامة من خلال رفض اتخاذ قرار في الحالات الصعبة، حتى لو كان ذلك يعني معالجة عدد أقل من الصور إجمالًا.
طوال المراجعة، يستخدم المؤلف سلسلة من عشرة أمثلة واضحة وخطوة بخطوة لإظهار كيف يمكن لطرق مختلفة من حساب الدرجة أن تؤدي إلى استنتاجات مختلفة تمامًا حول أي نظام هو الأفضل. في سيناريو واحد، قد يبدو نظام يؤدي أداءً ضعيفًا في الحالات الكبيرة والسهلة، ولكنه يعمل بشكل مثالي في الحالات الصغيرة والصعبة، أسوأ من نظام متوسط الأداء في كل شيء، وذلك ببساطة بسبب كيفية حساب المتوسطات. وفي سيناريو آخر، قد يتم تصنيف نظام يرتكب خطأً طفيفًا في منطقة حرجة على أنه أعلى مرتبة من نظام يرتكب خطأً كبيرًا في منطقة غير ضارة، اعتمادًا على المقياس المختار. وتعمل هذه الأمثلة كتحذير من أن اختيار أداة القياس ليس قرارًا محايدًا؛ بل هو قرار يشكل بنشاط ما نعتبره نجاحًا أو فشلًا. وتجادل الورقة بأن الباحثين يجب أن يقرروا قواعد القياس الخاصة بهم قبل حتى أن ينظروا إلى النتائج، لضمان توافق المقاييس مع الهدف السريري أو العملي الفعلي.
كما تتناول المراجعة مسألة كيفية اختبار هذه الأنظمة في العالم الحقيقي. فهي تشير إلى أن النظام قد يعمل جيدًا في بيئة مختبرية محكومة ولكنه يفشل عند مواجهة أنواع مختلفة من الماسحات الضوئية، أو مجموعات سكانية مختلفة، أو ظروف إضاءة مختلفة. ويشدد المؤلف على أن رقمًا واحدًا لا يمكنه استيعاب هذا التعقيد. وبدلاً من ذلك، يحتاج الباحثون إلى الإبلاغ عن كيفية أداء النظام عبر مجموعات فرعية مختلفة وتحت ظروف مختلفة. وتقترح الورقة أن المقارنات الأكثر قيمة ليست حول من لديه أعلى درجة في قائمة المتصدرين، بل حول فهم أين ولمابذا يفشل النظام بالضبط. وهذا الفهم يسمح للمطورين بإصلاح مشكلات محددة بدلاً من مجرد الركض وراء رقم أعلى.
في الختام، تخلص الورقة إلى أنه لا يوجد مقياس واحد "أفضل" لتحليل الصور. فالطريقة الصحيحة لقياس النظام تعتمد على ما يفترض أن يقوم به النظام، ومن سيستخدمه، وما قد تكون عليه عواقب الخطأ. فبالنسبة لنظام يساعد في فرز المرضى، فإن العثور على كل الحالات الممكنة أهم من تجنب الإنذارات الكاذبة. أما بالنسبة لنظام يوجه عملية جراحية، فإن الدقة والسلامة هما الأهم. يقدم المؤلف قائمة مرجعية ومجموعة من الإرشادات لمساعدة الباحثين على تصميم دراساتهم بشكل صحيح، مما يضمن قياس الأشياء الصحيحة بالطريقة الصحيحة. ومن خلال اتباع هذه المبادئ، يمكن للمجال أن ينتقل بعيدًا عن الادعاءات الغامضة بالأداء العالي نحو فهم أكثر وضوحًا وأمانة لما يمكن لهذه الأدوات القوية فعله وما لا يمكنها فعله. الهدف ليس العثستما في النظام المثالي، بل بناء أنظمة يمكن فهمها جيدًا بما يكفي لتكون موثوقة عندما تشتد الحاجة إليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.