Knee or ROC

إليك ملخص تقني مفصل لورقة البحث "KNEE or ROC":

1. بيان المشكلة

أظهرت نماذج المحولات ذات الانتباه الذاتي الحالية (وتحديداً نماذج Compact Convolutional Transformers أو CCT) دقة عالية في تصنيف الصور، لكن الأبحاث الحالية تقتصر على كشف الصور أحادية الفئة ذات التمثيلات السكانية المعروفة.

• الفجوة: تتضمن السيناريوهات الواقعية غالباً صوراً متعددة الفئات (على سبيل المثال، صورة تحتوي على كائنات متعددة) وتجمعات صور غير معروفة (حيث لا يكون توزيع الفئات محدداً مسبقاً).
• قصور منحنى ROC: يحدد منحنى خصائص تشغيل المستقبِل (ROC) التقليدي عتبات الدقة أثناء التدريب. وبمجرد النشر في بيئة حية، تكون هذه العتبات ثابتة ولا يمكنها التكيف مع توزيعات البيانات الجديدة أو غير المعروفة، مما يجعلها غير مناسبة للكشف الديناميكي متعدد الفئات.
• قصور طريقة "الركبة" (Knee Method): بينما تسمح طريقة "الركبة" (تحديد نقطة الانحناء الأقصى) بوضع عتبات ارتجالية، فإن تطبيقها على توزيعات الاحتمالات متعددة الفئات يتطلب تطويراً مبتكراً.

2. المنهجية

يقترح المؤلفون ثلاث طرق متميزة لتحديد عتبات الدقة المثلى لكشف الصور متعددة الفئات باستخدام نموذج Compact Convolutional Transformer (CCT-7/3x1) مدرب على مجموعة بيانات مخصصة مشتقة من CIFAR-10.

بناء مجموعة البيانات

• تم إنشاء مجموعة بيانات متعددة الكائنات عن طريق ترتيب أربع صور من CIFAR-10 عشوائياً في شبكة 2x2، مع تغيير حجمها إلى 32×32 بكسل.
• تم توليد 500 صورة فريدة متعددة الكائنات للاختبار.

الطرق المقترحة

• الطريقة 1: توليد ROC القائم على CDF

  • تعمل على نمذجة معدل الإيجابيات الحقيقية (TPR) ومعدل السلبيات الحقيقية (TNR) كمنحنيات توزيع طبيعي متداخلة بناءً على مخرجات Softmax.
  • تستخدم دالة التوزيع التراكمي (CDF) لحساب TPR ومعدل الإيجابيات الكاذبة (FPR) لعتبات تعسفية.
  • تولد منحنى ROC مبتكر عن طريق زيادة العتبة ورسم أزواج TPR/FPR الناتلة.

• الطريقة 2: إعادة ترتيب المصفوفة بأسلوب "القوة الغاشمة" (Brute Force)

  • تتعامل مع المشكلة كسيناريو "ماذا لو". حيث تقوم بالتكرار عبر قيم العتبة (بدءاً من 0.05 بزيادات قدرها 0.01).
  • لكل عتبة، تقوم بإعادة ترتيب مصفوفات الاحتمالات الأصلية (الإيجابية والسلبية) إلى أربع مصفوفات جديدة: الإيجابيات الحقيقية (TP)، الإيجابيات الكاذبة (FP)، السلبيات الكاذبة (FN)، والسلبيات الحقيقية (TN).
  • تولد منحنى ROC فريداً لكل زيادة في العتبة لإيجاد التكوين الذي يحقق أعلى مساحة تحت المنحنى (AUC).

• الطريقة 3: طريقة "الركبة" (الارتجالية)

  • صُممت للبيئات الحية حيث تكون منحنيات ROC المحسوبة مسبقاً غير كافية.
  • تقوم بترتيب مخرجات الاحتمالات لصورة متعددة الفئات ترتيباً تصاعدياً.
  • ترسم هذه الاحتمالات مقابل الفهرس الخاص بها لتحديد نقطة "الركبة" (أو الكوع)—وهي نقطة الانحناء الأقصى حيث يتغير توزيع الاحتمالات بشكل كبير.
  • تحسب هذه الطريقة العتبات بشكل ارتجالي للصور الفردية أثناء التدريب، الاختبار، أو النشر الحي.

3. المساهمات الرئيسية

1. التكيف مع الكشف متعدد الفئات: تتجاوز الورقة البحثية الكشف أحادي الفئة، وتقترح أطر عمل للتعامل مع الصور التي تحتوي على كائنات متعددة وتوزيعات فئات غير معروفة.
2. صياغات ROC مبتكرة: تقدم طريقتين جديدتين لتوليد منحنيات ROC للبيانات متعددة الفئات: إحداهما باستخدام نمذجة التوزيع الإحصائي (CDF) والأخرى باستخدام إعادة ترتيب المصفوفات التكراري.
3. تحديد العتبة الارتجالي: تثبت جدوى طريقة "الركبة" لتحديد العتبات الديناميكية في البيئات الحية، مما يعالج جمود منحنيات ROC التقليدية.
4. خوارزمية تحديد العتبة: تقترح حساباً محدداً للعتبة المثلى ($T$) من خلال إيجاد نقطة الركبة لأفضل منحنى ROC، وحساب المسافة الإقليدية إلى خط $AUC=0.5$، ثم إضافة 0.5 إلى تلك المسافة.

4. النتائج التجريبية

• الطريقة 1 مقابل الطريقة 2: تفوقت الطريقة 2 (القوة الغاشمة) على الطريقة 1. فمن خلال تكرار إعادة ترتيب العتبات، أنتجت الطريقة 2 منحنى ROC بمساحة أكبر تحت المنحنى (AUC).
  • العتبة المثلى: باستخدام وظيفة KneeLocator على منحنى الطريقة 2، تم إيجاد نقطة الركبة المثلى عند الإحداثيات $(0.33, 0.64)$. وكانت العتبة المثلى المحسوبة هي $T = 0.72$.
• الطريقة 3 (تحليل الركبة):
  • الصور ذات الاحتمالية العالية ($\ge 0.35$): عندما كان الحد الأقصى للاحتمالية في الصورة $\ge 0.35$، كانت قيم الركبة متسقة (عادة بين 6 و 8). في مجموعة الاختبار، استوفت 58.8% من الصور هذا المعيار، وكان 92.5% منها يمتلك قيم ركبة بين 6 و 8.
  • الصور ذات الاحتمالية المنخفضة ($< 0.35$): كانت قيم الركبة غير متسقة أو غير موجودة، مما يشير إلى أن الطريقة أقل موثوقية للصور ذات درجات الثقة المنخفضة.
• الارتباط بالأداء: تُعتبر الطريقة 2 أكثر ملاءمة للكائنات متعددة الفئات الصغيرة (حيث يلزم تحديد دقيق للعتبة)، بينما تعتبر الطريقة 3 فعالة للكائنات متعددة الفئات الأكبر والأعلى ثقة.

5. الأهمية والعمل المستقبلي

• الأهمية: يسد هذا البحث الفجوة بين كفاءة بنيات المحولات (مثل CCT) وتعقيد كشف الكائنات المتعددة في العالم الحقيقي. فهو يوفر إطاراً رياضياً لتكييف عتبات الدقة ديناميكياً، وهو أمر بالغ الأهمية للنشر الحي حيث تكون توزيعات البيانات غير معروفة.
• الاتجاهات المستقبلية:
  • تحسين طريقة الركبة الارتجالية للتعامل مع الحالات التي يكون فيها عدد الفئات في الصورة المدخلة غير معروف تماماً.
  • دمج تقنيات تحديد العتبات هذه مع بنيات كشف الكائنات مثل YOLO و Faster R-CNN لإنشاء أنظمة كشف متعددة الفئات خفيفة الوزن ومتطورة.
  • إجراء المزيد من التجارب لتحسين اتساق قيم الركبة للصور ذات الاحتمالية المنخفضة.

الخلاصة: أثبتت الورقة بنجاح أنه بينما تكون منحنيات ROC التقليدية ثابتة، فإن الجمع بين تحديد العتبة التكراري (الطريقة 2) وتحليل الركبة الارتجالي (الطريقة 3) يسمح بحسابات دقة قوية وقابلة للتكيف في سيناريوهات تصنيف الصور متعددة الفئات.