An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

العنوان: رؤية حول مقاييس التقييم في حالة عدم التوازن في اكتشاف الشذوذ

بيان المشكلة
يتسم اكتشاف الشذوذ بطبيعته بعدم توازن حاد في الفئات، حيث تكون حالات الشذوذ نادرة مقارنة بالبيانات الطبيعية. هذا التباين يعقد تفسير مقاييس التقييم القياسية. وبينما تُستخدم مقاييس مثل AUROC وAUPR وF1-score ومعامل ارتباط ماتيوس (MCC) على نطاق واسع، فإن قيمها العددية تحمل معاني مختلفة اعتماداً على نسبة الشذوذ. غالباً ما يتجاهل الرقم القياسي الواحد (scalar score) معلومات تتعلق بسلوك النموذج، ويمكن أن تتوافق الدرجات المتطابقة مع سلوكيات مصنفات مختلفة تماماً تحت درجات متفاوتة من عدم التوازن. علاوة على ذلك، في الإعدادات غير الخاضعة للإشراف حيث يتم التدريب فقط على البيانات الطبيعية، يتم إجراء التقييم في ظل توزيعات اختبار منحازة للغاية، مما يجعل تقييم الأداء أمراً دقيقاً. ورغم وجود نسخ معدلة بـ "الأوزان" من المقاييس القياسية، إلا أنه غالباً ما يتم تجنبها في اكتشاف الشذوذ لمنع فصل التقييم عن التوزيع الفئوي التشغيلي. وبناءً على ذلك، هناك نقص في الإجماع حول كيفية تفسير هذه المقاييس القياسية عبر مختلف أنظمة عدم التوازن.

المنهجية
يقترح المؤلفون تحليلاً منهجياً لأربعة مقاييس شائعة لاكتشاف الشذوذ (AUROC وAUPR وF1 وMCC) عبر نطاق واسع من نسب عدم التوازن في الفئات. المساهمة المنهجية الجوهرية هي تقديم "مشاهد المقاييس" (metric landscapes)، وهو إطار تصور يربط قيم المقاييس عبر فضاء معدل الحالات الإيجابية الحقيقية (TPR/Recall) ومعدل الحالات السلبية الحقيقية (TNR/Specificity).

تستخدم الدراسة:

1. مجموعات البيانات: مجموعة متنوعة من المعايير التي تمثل اكتشاف شذوذ السلاسل الزمنية (TSAD)، والتصنيف أحادي الفئة (OCC)، واكتشاف شذوذ الصور (IAD). ويشمل ذلك UCR وWaDi وPUMP وSWaT وPSM وCIFAR-10 وViSA وMVTec، تغطي نسب شذوذ تتراوح من 0.19% إلى 90%.
2. التحليل الصفري (Null Analysis): وضع خطوط أساس عبر حساب المقاييس لـ 100 دورة من التنبؤات العشوائية عبر نسب عدم التوازن (من 99:1 إلى 1:99) لتحديد المتوسط، والانحراف المعياري، ومتوسط الانحراف الإيجابي.
3. تطور المشهد (Landscape Evolution): تصور الفرق بين مشاهد المقاييس في الإعدادات المتوازنة (50:50) وغير المتوازنة (مثل 5:95) لملاحظة كيفية تحول تفضيلات المقاييس.
4. تحليل العوامل: استقصاء العلاقات الكامنة بين المقاييس باستخدام معاملات تطابق توكر (Tucker's congruence coefficients) وارتباط بيرسون عبر ثلاث مجموعات من عدم التوازن (منخفض، متوسط، مرتفع).

النتائج الرئيسية

• استقرار المقاييس وخطوط الأساس:
  • يظل AUROC وMCC متمركزين حول 0.5 عبر جميع نسب عدم التوازن تحت التنبؤات العشوائية، رغم أن AUROC يظهر تباينًا أعلى (متوسط انحراف إيجابي يصل إلى ~0.25).
  • يظهر F1 وMCC تباينًا منخفضًا تحت السلوك العشوائي، مما يجعلهما أقل عرضة للدرجات المرتفقة الزائفة.
  • يتغير خط الأساس لـ AUPR خطياً مع نسبة الشذوذ، مما يجعل الانحرافات عن الأداء العشوائي سهلة التحديد، رغم أنه يظهر انحرافات صعودية غير ضئيلة في أنظمة محددة.
• سلوك المشهد:
  • AUROC ثابت تجاه عدم توازن الفئات؛ إذ يظل هيكل مشهده دون تغيير بغض النظر عن النسبة.
    المقاييس مثل AUPR وF1 حساسة للغاية لعدم التوازن. ومع سيطرة الفئة السالبة، تنخفض مشاهد AUPR بشكل كبير (بمقدار 0.2–0.4 في مناطق عديدة)، مما يعكس انخفاض تأثير أداء الفئة السالبة. ويتطلب F1 معدل TNR مرتفعاً بشكل متزايد لتحقيق نفس الدرجة مع انخفاض نسبة الشذوذ.
  • يظهر MCC نمطاً معقداً حيث تظل قيم TNR المتطرفة مستقرة، ولكن التوزيع ينضغط حول القيم المتوسطة، مما يجعل تفسير متوسط الدرجة أقل مباشرة تحت عدم التوازن الشديد.
• متطلبات الكشف الدنيا:
  • بالنسبة لـ AUROC، لا يلزم اكتشاف أي عينات إيجابية لتحقيق درجة 0.5.
  • بالنسبة لـ AUPR، يتطلب تحقيق درجات عالية في مجموعات البيانات المتوازنة تصنيفاً صحيحاً بنسبة 100% للحالات السالبة حتى مع الحد الأدنى من اكتشاف الحالات الإيجابية.
  • بالنسبة لـ F1، يتطلب زيادة الدرجة دائماً المزيد من الحالات الإيجابية المصنفة بشكل صحيح، ولكن المتطلب الخاص بالحالات السالبة المصنفة بشكل صحيح ينمو مع انخفاض نسبة الشذوذ.
  • بالنسبة لـ MCC، من الممكن تحقيق درجة ~0.4 في مجموعات البيانات غير المتوازنة بشدة (مثل UCR) دون اكتشاف أي حالات إيجابية ومع تصنيف ~10% فقط من الحالات السالبة بشكل صحيح، رغم أن هذا يظل تحت خط الأساس العشوائي.
• العلاقات بين المقاييس:
  • في أنظمة عدم التوازن المتوسطة، تظهر جميع المقاييس ملفات تحميل متشابهة وارتباطات عالية، مما يشير إلى أنها تلتقط هياكل ذات صلة.
  • في الأنظمة المنخفضة (عدم توازن عالٍ)، تصبح المقاييس أكثر تكاملاً. يظل AUROC وMCC مرتبطان ارتباطاً وثيقاً، بينما يظهر F1 وAUROC أضعف اتفاق.
  • في الأنظمة المرتفعة (سيطرة الفئة الإيجابية)، تتباعد المقاييس أكثر. ومن الملاحظ أن AUROCs وMCC يحافظان على تشابه تام (تطابق توكر 0.997)، بينما يظهر AUPR وAUROC توافقاً منخفضاً.

الأهمية والمساهمات
يجادل البحث بأن المقاييس الحالية تظل مفيدة بشرط أن يأخذ تفسيرها في الاعتبار صراحةً التبعية بين قيمة المقياس، جودة التنبؤ، وعدم توازن الفئات. المساهمة الرئيسية هي تقديم "مشاهد المقاييس" كإطار حدسي لتصور كيف تؤكد المقايشرات المختلفة على التوازنات بين الحساسية والنوعية وكيف تتحول هذه التفضيلات تحت تأثير زيادة عدم التوازن.

يوفر هذا العمل إرشادات عملية لتفسير ومقارنة نتائج اكتشاف الشذوذ عبر مجموعات بيانات ذات نسب عدم توازن مختلفة. هو لا يقترح مقياساً واحداً "أفضل" لجميع السيناريوهات، بل يقدم نقطة مرجعية لفهم سلوك المقاييس تحت الظروف الواقعية. ويشير المؤلفون إلى أن الدرجات المتطابقة يمكن أن تتوافق مع سلوكيات مصنفات مختلفة، ويساعد تحليلهم في توضيح هذه التمايزات. وقد تم تحديد العمل المستقبلي في توسيع هذا التحليل ليشمل مجالات أخرى مثل المراقبة الصناعية، وإنترنت الأشياء (IoT)، والأمن السيبراني، والقيادة الذاتية.