ملخص تقني: قياس أداء دوال درجات عدم المطابقة في التنبؤ المعتمد (Conformal Prediction)

بيان المشكلة

يوفر التنبؤ المعتمد (CP) بديلاً صارماً للمعايرة في نماذج التصنيف في تعلم الآلة من خلال توليد مجموعات تنبؤ بدلاً من تنبؤات أحادية الفئة. وبينما يضمن التنبؤ المعتمد احتواء المجموعة التنبؤية على الفئة الحقيقية باحتمالية لا تقل عن $1 - \alpha$ (حيث $\alpha$ هو معدل الخطأ المحدد مسبقاً)، فإن الفائدة العملية لهذه المجموعات تعتمد بشكل كبير على حجمها. فالمجموعة التنبؤية التي تكون كبيرة جداً تصبح غير مفيدة.

يتم تحديد حجم وفائدة هذه المجموعات من خلال اختيار دالة درجة عدم المطابقة (non-conformity score function). وبالرغم من وجود العديد من دوال الدرجات في الأدبيات العلمية، إلا أن هناك نقصاً في الدراسات المنهجية التي تفحص خصائصها، وفعاليتها، وتفاعلها مع بنيات النماذج وعدم توازن الفئات. تعالج هذه الورقة الفجوة في فهم كيفية أداء دوال درجات مختلفة عبر مجالات التنبؤ المعتمد المختلفة (مجال الاحتمال، مجال اللوجيت، ومجال الميزات) وتحت ظروف مختلفة، بما في ذلك مجموعات البيانات غير المتوازنة.

المنهجية

مقياس التقييم

قدم المؤلفون مقياس تقييم مبتكر، وهو $I_1$، لتقييم دوال الدرجات بشكل مستقل عن الاختيار التعسفي لمعدل الخطأ $\alpha$. فالمقاييس التقليدية التي تذكر متوسط حجم المجموعة التنبؤية عند قيمة ثابتة لـ $\alpha$ قد تكون مضللة إذا لم يكن $\alpha$ متوافقاً مع دقة النموذج.
يُعرف المقياس كالتالي:
$$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$$
حيث $A_k$ هي دقة النموذج لأعلى $k$ فئة (تحديداً $A_1$ لدقة الفئة الأولى)، و $\bar{|P|}(\alpha)$ هو متوسط حجم المجموعة التنبؤية عند معدل الخطأ $\alpha$. هذا التكامل يحصر التقييم في النطاق "المثير للاهتمام" لمعدلات الخطأ (من 0 إلى معدل الخطأ الجوهري للنموذج)، مما يوفر رقماً واحداً موضوعياً حيث تشير القيم الأقل إلى أداء أفضل (مجموعات تنبؤ أصغر).

الإعداد التجريبي

• مجموعات البيانات: ImageNet (1000 فئة)، CIFAR-100 (100 فئة)، و CIFAR-10 (10 فئات).
• النماذج: ResNet50 (الأساسي)، ResNet18، و EfficientNet-B0.
• مجالات التنبؤ المعتمد: تقيم الدراسة دوال الدرجات عبر ثلاثة مجالات متميزة:
  1. مجال الاحتمال (Probability Space): مخرجات دالة Softmax ($\Delta_{n-1}$).
  2. مجال اللوجيت (Logit Space): متجهات المخرجات الخام قبل تطبيق Softmax ($\mathbb{R}^n$).
  3. مجال الميزات (Feature Space): متجهات الميزات النهائية قبل طبقة المخرجات الخطية.
• دوال الدرجات التي تم اختبارها:
  • مسافة الملصق (Label Distance): المسافة بين التنبؤ والتمثيل بنظام (one-hot encoding) للملصق.
  • مسافة الهامش (Margin Distance): المسافة إلى حد القرار بين الفئة الحقيقية والفئة غير الصحيحة الأكثر احتمالاً.
  • المسافة المتوسطة (Mean Distance): المسافة إلى متوسط عينات المعايرة التي تنتمي إلى نفس الفئة.
    cap أقرب جار (Nearest Neighbor): نسبة المسافات إلى أقرب مثال من نفس الفئة مقابل أمثلة من فئات مختلفة.
  • APS/RAPS/SAPS: مجموعات التنبؤ التكيفية ومتغيراتها المنتظمة (الطرق القائمة على الترتيب).
  • التدرج/التدرج السريع (Gradient/Fast Gradient): طرق تعتمد على الميزات لتقريب المسافة إلى حد القرار في مجال الميزات.
• اختبار عدم التوازن: تم اختبار إعداد يعتمد على الفئة (class-conditional) حيث تم تقليل انتشار الفئات الأقلية إلى 10% لتقييم مدى قدرة دوال الدرجات المختلفة على التعامل مع عدم توازن الفئات.

النتائج الرئيسية

أداء دوال الدرجات

تكشف نتائج القياس، الملخصة بواسطة مقياس $I_1$، عن أنماط أداء متميزة:

• القائم على المسافة مقابل القائم على الترتيب: تفوقت دوال الدرجات القائمة على المسافة عموماً على الطرق القائمة على الترتيب (APS, RAPS, SAPS) من حيث حجم مجموعة التنبؤ، خاصة عند استخدام المسافة الجيبية (Cosine Distance).
• المجالات والمقاييس المثلى:
  • حققت مسافة الهامش (Margin Distance) في مجال اللوجيت (Logit Space) باستخدام المسافة الجيبية أدنى قيم لـ $I_1$ لنموذج ImageNet عبر نماذج ResNet.
  • أدت المسافة المتوسطة (Mean Distance) أداءً استثنائياً في CIFAR-100، خاصة في مجال الميزات (Feature Space) مع المسافة الجيبية.
  • كانت مسافة الملصق (Label Distance) في مجال الاحتمال مع المسافة الجيبية تنافسية للغاية أيضاً.
• المسافة الإقليدية مقابل الجيبية: وُجد أن المسافة الإقليدية أقل ملاءمة للمساحات عالية الأبعاد (مثل متجهات الميزات في ResNet50)، بينما كان أداء المسافة الجيبية قوياً، مما يشير إلى أن هذه النماذج تنظم الفئات في مجموعات متعامدة تقريباً.
• العشوائية في APS/RAPS: وجدت الدراسة أن الحد العشوائي ($u$) في APS و RAPS ليس ضرورياً تماماً لضمان التغطية في الإعدادات المعايرة. إن ضبط $u$ ليكون ثابتاً صغيراً (يعمل كفاصل للتعادل) غالباً ما يعطي أداءً أفضل من النهج العشوائي القياسي.
• طرق التدرج: كانت طرق التدرج (Gradient) والتدرج السريع (Fast Gradient) مكلفة حوسبياً، وفي حالة التدرج السريع، كان أداؤها أسوأ بكثير من الطرق الأخرى في مجموعات البيانات المختبرة.

تأثير بنية النموذج

بينما أظهر ResNet50 و ResNet18 ترتيباً نسبياً متشابهاً في أداء دوال الدرجات، أظهر EfficientNet-B0 ترتيباً مختلفاً. يشير هذا إلى أن بنية النموذج (مثل دوال التنشيط مثل ReLU مقابل Swish) تؤثر على الخصائص الهندسية لمجال التنبؤ المعتمد وبالتالي على اختيار دالة الدرجة المثلى، وربما أكثر من تأثير دقة النموذج الخام.

عدم توازن الفئات

في الإعداد غير المتوازن، غالباً ما يتم تضمين الفئات الأقلية في مجموعات التنبؤ بتردد أعلى بكثير من انتشارها الحقيقي (مثلاً 27% نسبة تضمين لفئة انتشارها الحقيقي 0.1%). يشير المؤلفون إلى أنه رغم أن هذا يقلل من دقة المتنبئ، إلا أنه يعكس بـ "أمانة" عدم اليقين الجوهري للنموذج تجاه الفئات النادرة. وقد أظهرت المسافة المتوسطة في مجال الميزات مرة أخرى أفضل قدرة على تقليل هذا التضمين الزائد مع الحفاظ على التغطية.

الأهمية والادعاءات

تدعي الورقة أنها تسد فجوة معرفية تتعلق بخصائص وفعالية دوال درجات عدم المطابقة. وتتمثل مساهماتها الرئيسية في:

1. القياس المنهجي: تقديم مقارنة شاملة لمختلف دوال الدرجات عبر مجموعات بيانات ونماذج ومجالات تنبؤ معتمدة متعددة.
2. مقياس التقييم: تقديم $I_1$ كمقياس قوي برقم واحد يأخذ في الاعتبار دقة النموذج ويتجنب الاختيار التعسفي لمعدل الخطأ.
3. رؤى حول المجال والمقياس: إثبات أن المسافة الجيبية (Cosine Distance) تتفوق على المسافة الإقليدية في المجالات عالية الأبعاد، وأن مجال اللوجيت (Logit Space) غالباً ما يتفوق على مجال الاحتمال.
4. الإرشاد العملي: تقديم نقطة انطلاق للممارسين لاختيار دوال الدرجات بناءً على بنية نموذجهم وخصائص بياناتهم، بدلاً من الاعتماد على طريقة واحدة "مثلى" عالمياً.

يخلص المؤلفون إلى أنه لا توجد دالة درجة واحدة متفوقة عالمياً؛ بل إن الاختيار الأمثل يعتمد على السياق المحدد للنموذج والبيانات. ومع ذلك، يوفر هذا القياس أساساً واضحاً مدعوماً بالبيانات لاتخاذ هذه الاختيارات.