Catalyst: Out-of-Distribution Detection via Elastic Scaling

إليك ملخص تقني مفصل لورقة البحث بعنوان "Catalyst: Out-of-Distribution Detection via Elastic Scaling".

1. بيان المشكلة

تواجه الشبكات العصبية العميقة (DNNs) المنتشرة في البيئات الواقعية حتمًا عينات خارج التوزيع (OOD)—وهي مدخلات مستمدة من توزيعات منفصلة عن بيانات التدريب. تعتمد أحدث طرق اكتشاف الـ OOD المعتمدة على ما بعد التدريب (post-hoc) (مثل Energy، وReAct، وSCALE) بشكل شبه حصري على متجه الميزات قبل الأخير الذي يتم الحصول عليه عبر التجميع المتوسط العالمي (GAP) أو نواتج اللوجيت (logits).

يجادل المؤلفون بأن هذا الاعتماد يخلق عنق زجاجة للمعلومات (information bottleneck). فمن خلال تجميع المعلومات المكانية في متجه واحد، تفقد هذه الطرق الإشارات الغنية والمتكاملة الموجودة في الإحصاءات الخام لكل قناة (channel-wise statistics) لخرائط التنشيط قبل عملية التجميع. وتحديدًا، فإن التباين المكاني، وذروة التنشيطات، والاعتلاج (entropy) للقنوات الفردية تحتوي على إشارات تمييزية تفرق بين عينات التوزيع الداخلي (ID) وعينات التوزيع الخارجي (OOD)، ولكن هذه الإشارات تُفقد أثناء عملية التجميع.

2. المنهجية: Catalyst

إن Catalyst هو إطار عمل لما بعد التدريب (post-hoc framework) مصمم لاستعادة واستغلال هذه الإشارات الإحصائية المفقودة دون إعادة تدريب النموذج. وهو يقدم آلية التحجيم المرن (Elastic Scaling).

أ. حساب عامل التحجيم ($\gamma$)

بدلاً من استخدام متجه الميزات المجمع، يستخرج Catalyst الإحصاءات مباشرة من خريطة التنشيط قبل التجميع ($g(\mathbf{x})$) للطبقة قبل الأخيرة. ويقوم بحساب عامل تحجيم يعتمد على المدخلات $\gamma(\mathbf{x})$ بناءً على ثلاثة إحصاءات رئيسية لكل قناة:

1. المتوسط للقناة ($\mu$): وهو ما يعادل متجه ميزات الـ GAP القياسي.
2. الانحراف المعياري للقناة ($\sigma$): يقيس التباين المكاني داخل كل قناة.
3. الحد الأقصى للقناة ($m$): يلتقط ذروة استجابة التنشيط في كل قناة.

ولمنع التنشيطات المتطرفة للـ OOD من تشويه النتيجة، يتم تطبيق آلية قص (clipping mechanism)؛ حيث يتم حصر كل إحصائية بحد أقصى $c$ (يتم تحديده بناءً على مئوية من توزيع تنشيط الـ ID):
$$\bar{f}(\mathbf{x}) = \min(f(\mathbf{x}), c)$$
عامل التحجيم النهائي هو مجموع هذه الميزات المصححة عبر جميع القنوات $n$:
$$\gamma(\mathbf{x}; f) = \sum_{i=1}^n \bar{f}_i(\mathbf{x})$$

ب. التحجيم المرن (استراتيجية الدمج)

يقوم Catalyst بدمج $\gamma$ المحسوب مع درجة OOD أساسية موجودة $S(\mathbf{x}; \theta)$ (مثل درجة Energy). تقترح الورقة استراتيجيتين للدمج، لكنها تختار التحجيم الضربي (multiplicative scaling) كطريقة أساسية، والتي تسمى "التحجيم المرن":
$$S^*(\mathbf{x}) = \gamma(\mathbf{x}) \times S(\mathbf{x})$$

• الآلية: تعمل هذه الطريقة كمعدل ديناميكي. بالنسبة لعينات الـ ID النموذجية، حيث تكون كل من الدرجة الأساسية و$\gamma$ مرتفعين، يتم تضخيم الدرجة. أما بالنسبة لعينات الـ OOD، حيث يكون $\gamma$ عادةً أقل (أو الدرجة الأساسية منخفضة)، يتم كبح الدرجة.
• الميزة: يعمل هذا النهج الضربي على "تمديد" توزيع درجات الـ ID و"تقليص" درجات الـ OOD، مما يؤدي إلى توسيع الفجوة بين التوزيعين بشكل كبير مقارنة بالإزاحات الجمعية.

ج. القدرة على التعميم

تم تصميم Catalyst ليكون وحدة قابلة للتركيب والتشغيل المباشر (plug-and-play). فهو لا يتطلب إعادة تدريب ويمكن دمجه بسلاسة مع:

• الطرق المعتمدة على اللوجيت (Logit-based): مثل Energy، وReAct، وDICE، وASH، وSCALE، وMSP، وODIN.
• الطرق المعتمدة على المسافة (Distance-based): مثل أقرب جار (KNN).
• البنى الهيكلية (Architectures): مثل ResNet، وDenseNet، وMobileNet، إلخ.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم Catalyst، وهو طريقة لما بعد التدريب تستفيد من الإحصاءات لكل قناة قبل التجميع غير المستغلة لتعزيز كواشف الـ OOD الحالية.
2. آلية التحجيم المرن: استراتيجية دمج ضربية قوية تعيد معايرة الدرجات الأساسية ديناميكيًا، مما يثبت أنها أكثر استقرارًا وفعالية من البدائل الجمعية.
3. تقييم شامل: تجارب مكثفة تثبت أن Catalyst يحسن الأداء باستمرار عبر بنيات متنوعة (ResNet، وDenseNet، وMobileNet) ومجموعات بيانات مختلفة (CIFAR-10/100، وImageNet-1k).
4. التحقق الإحصائي: دراسات الاستئصال (Ablation studies) التي تؤكد أن الطبقة قبل الأخيرة توفر الإشارة الأكثر تمييزًا، وأن المتوسط والانحراف المعياري والحد الأقصى هي الإحصاءات الأكثر قوة مقارنة بالوسيط أو الاعتلاج.

4. النتائج التجريبية

قيم المؤلفون Catalyst على معايير قياسية، حيث تم قياس الأداء عبر FPR95 (معدل الإيجابيات الكاذبة عند معدل 95% للإيجابيات الحقيقية) وAUROC.

• معايير CIFAR (ResNet-18):

  • CIFAR-10: خفض متوسط FPR95 بنسبة 32.87% مقارنة بالنموذج الأساسي.
  • CIFAR-100: خفض متوسط FPR95 بنسبة 27.94%.
  • عند دمجه مع ReAct، حقق Catalyst نتائج جديدة رائدة (على سبيل المثال، FPR95 قدره 13.19% على CIFAR-10 مقابل 29.76% لـ ReAct وحده).

• معيار ImageNet (ResNet-50):

  • خفض متوسط FPR95 بنسبة 22.25% في معيار ImageNet-1k.
  • أظهر مكاسب كبيرة عبر بنيات أخرى مثل ResNet-34، وMobileNet-v2، وDenseNet-121.

• التآزر مع الطرق الأخرى:

  • حسن Catalyst الكواشف المعتمدة على KNN بنسبة تزيد عن 50% في تقليل FPR95 على ImageNet.
  • تفوق على النماذج الأساسية الحديثة مثل AdaScale، وNCI، وfDBD في المقارنات المباشرة.

• الكفاءة:

  • العبء الحسابي: ضئيل جدًا. إضافة الإحصاءات تضيف أقل من 0.01% من العبء على عملية التمرير الأمامي (على سبيل المثال، <0.0001% لإحصاء المتوسط الذي يعيد استخدام مخرجات GAP).
  • الدقة: يحافظ على دقة تصنيف الـ ID الأصلية لأنه لا يغير مسار الاستدلال أو أوزان النموذج.

5. الأهمية والأثر

• تحول في النموذج (Paradigm Shift): يتحدى Catalyst المفهوم السائد بأن متجه الميزات المجمع هو المصدر الوحيد للمعلومات التمييزية لاكتشاف الـ OOD. فهو يثبت أن إحصاءات القنوات الخام تحتوي على إشارات تكميلية حيوية.
• التطبيقات الحرجة للسلامة: من خلال تقليل الإيجابيات الكاذبة (FPR95) بشكل كبير، يعزز Catalyst موثوقية أنظمة الذكاء الاصطناعي في المجالات عالية المخاطر مثل القيادة الذاتية والتشخيص الطبي، حيث يمكن أن يؤدي الفشل في اكتشاف عينة OOD إلى عواقب وخيمة.
• النشر العملي: كحل خفيف الوزن لما بعد التدريب لا يتطلب إعادة تدريب، يمكن تطبيق Catalyst فورًا على النماذج المنشورة حاليًا، مما يوفر دفعة أداء "مجانية" لخطوط أنابيب اكتشاف الـ OOD الحالية.
• القدرة على التعميم: إن قدرة الإطار على العمل مع كل من الطرق المعتمدة على اللوجيت والطرق المعتمدة على المسافة تجعل منه معززًا عالميًا لمجال اكتشاف الـ OOD الأوسع.

في الختام، يوضح Catalyst أن "التحجيم المرن" باستخدام إحصاءات ما قبل التجميع هو استراتيجية قوية وقابلة للتعميم وفعالة لسد الفجوة بين توزيعات الـ ID والـ OOD، مما يضع معيارًا جديدًا لاكتشاف الـ OOD لما بعد التدريب.