How to Achieve Prototypical Birth and Death for OOD Detection?

1. بيان المشكلة

يعد كشف التوزيعات خارج النطاق (OOD Detection) أمراً بالغ الأهمية للنشر الآمن لنماذج التعلم الآلي، حيث يهدف إلى تحديد العينات التي لا تنتمي إلى توزيع بيانات التدريب.

• القصور الحالي: تعتمد طرق كشف OOD القائمة على النماذج الأولية (Prototypes) الحالية عادةً على عدد ثابت من النماذج الأولية لكل فئة. هذا الافتراض الثابت يفشل في مراعاة الاختلافات الجوهرية في التعقيد بين الفئات؛ فالأصناف البسيطة قد تتطلب نماذج أولية قليلة، بينما تحتاج الأصناف المعقدة إلى العديد منها.
• الفجوة: هناك نقص في وجود آلية لـ ضبط عدد النماذج الأولية تكيفياً بناءً على تعقيد البيانات أثناء التدريب. تؤدي النماذج الأولية الثابتة إلى وجود تكرار في الأصناف البسيطة وعدم كفاية التمثيل في الأصناف المعقدة، مما يعيق تشكيل تمثيلات (embeddings) داخل النطاق (ID) تكون متماسكة وجيدة الفصل.

2. المنهجية: PID (ولادة وموت النماذج الأولية)

يقترح المؤلفون PID، وهو آلية تحكم ديناميكية للنماذج الأولية مستوحاة من عمليات الولادة والموت الخلوي البيولوجية. وهي مدمجة ضمن إطار عمل MAP-EM (التعظيم للاحتمال الأقصى - توقع التوقع الأقصى).

الإطار الأساسي

• التمثيل الكروي الفائق (Hyperspherical Embedding): يقوم النموذج بخرائط الميزات إلى كرة فائقة الوحدة باستخدام مزيج من توزيع فون ميسز-فيشر (vMF). يتم نمذجة كل فئة $c$ بواسطة $K_c$ من النماذج الأولية، حيث يكون $K_c$ ديناميكياً.
• تحسين MAP-EM:
  • خطوة التوقع (E-Step): تحسب الاحتمال البعدي لانتماء العينات إلى النماذج الأولية. وتستخدم خوارزمية Sinkhorn-Knopp للتعيين الناعم الأمثل وتطبق التخفيف عبر Top-k لتقليم التعيينات الضعيفة، مما يضمن المتانة.
  • خطوة التعظيم (M-Step): تحدد معلمات النموذج (المشفر، ورأس الإسقاط) وتمثيلات النماذج الأولية. وتقوم بتقليل دالة خسارة مشتركة تتكون من:
    1. اللوغاريتم السالب للاحتمالية (NLL): يسحب العينات نحو النماذج الأولية المعينة.
    2. خسارة التباين للنماذج الأولية (Prototype Contrastive Loss): وهي سابقة هيكلية (على نمط InfoNCE) تشجع على التماسك داخل الفئة الواحدة والفصل بين الفئات.

الآليات الديناميكية

يكمن الابتكار الجوهري في متحكم النماذج الأولية الديناميكي الذي يضبط $K_c$ أثناء التدريب:

1. ولادة النماذج الأولية (للتعامل مع نقص التمثيل):

   • المحفز: يراقب التباين الجوهري ($v_k^c$) للعينات المعينة لنموذج أولي.
   • المنطق: إذا تجاوز تباين النموذج الأولي عتبة ديناميكية ($\lambda_c \cdot v_{avg}^c$)، فهذا يشير إلى أن العنقود الفرعي مشتت للغاية (مثقل بالأعباء).
   • الإجراء: يتم تقسيم النموذج الأولي المثقل إلى نموذجين أوليين فرعيين جديدين على طول اتجاه تحليل المكونات الرئيسية (PCA) لتوزيع عيناته.

2. موت النماذج الأولية (للتعامل مع التكرار):

   • المحفز: يقيم درجة الحدود ($B_k^c$).
   • المنطق: تقيس الدرجة نسبة المسافة إلى أقرب نموذج أولي بين الفئات مقابل أقرب نموذج أولي داخل الفئة. تشير الدرجة المنخفضة إلى أن النموذج الأولي يقع في حدود قرار ضبابية أو أنه زائد عن الحاجة.
   • الإجراء: يتم تقليم (إزالة) النماذج الأولية ذات القدرة التمييزية المنخفضة لتعزيز حدود القرار.

3. آليات الاستقرار:

   • المرحلية (Phasing): يتم تفعيل آليات الولادة/الموت فقط بعد استقرار الميزات، ويتم إيقافها بالقرب من نهاية التدريب لضمان التقارب.
   • فترة التهدئة (Cooldown): يتم فرض فترة تهدئة عالمية (مثلاً 5 حقبات تدريبية) بعد أي حدث ولادة/موت لمنع التذبذبات الحادة والسماه للشبكة للتكيف مع الهيكل الجديد.
   • المتوسط المتحرك الأسي (EMA): يتم تحديث النماذج الأولية عبر المتوسط المتحرك الأسي (غير التدرجي) لضمان الحركة السلسة ومنع الحلول البديهية (trivial solutions).

3. المساهمات الرئيسية

1. إطار عمل PID: آلية تحكم ديناميكية للنماذج الأولية لكشف OOD، تقوم تلقائياً بضبط أعداد النماذج الأولية بناءً على تعقيد الفئة، مما يلغي الحاجة إلى الضبط اليدوي للمعلمات الفائقة لعدد النماذج الأولية.
2. الآليات المزدوجة:
   • معيار الحمل الزائد القائم على التباين لولادة النماذج الأولية.
   • درجة الحدود القائمة على نسبة المسافة لموت النماذج الأولية.
3. التكامل: دمج سلس لهذه الآليات الديناميكية في إطار عمل MAP-EM، مما يؤدي إلى تمثيلات (embeddings) داخل النطاق أكثر تماسكاً وأفضل تفصيلاً.
4. أداء يمثل أحدث ما توصل إليه العلم (SOTA): أظهر أداءً فائقاً عبر العديد من الاختبارات المعيارية، لا سيما في مقياس FPR95.

4. النتائج التجريبية

أُجريت التجارب على CIFAR-100 (ResNet-34)، و CIFAR-10، و ImageNet-100، لتغطية كل من سيناريوهات Far-OOD (مثل SVHN، Places365) و Near-OOD (مثل ImageNet-R، CIFAR-10).

• الأداء: يحقق PID نتائج أحدث ما توصل إليه العلم (SOTA).
  • في CIFAR-100، يقلل متوسط FPR95 بنسبة 24.36% مقارنة بأقرب منافس (PALM) مع رفع متوسط AUROC إلى 93.93%.
  • يتفوق بشكل كبير على الطرق الموجودة (MSP, ODIN, Energy, VOS, CIDER, PALM, إلخ) في كل من مجموعات بيانات Far-OOD و Near-OOD.
• التصور (Visualization): تظهر مخططات UMAP أن PID يتعلم عناقيد داخل الفئة أكثر تماسكاً بشكل ملحوظ ويحقق فصلاً أنظف بين عينات ID و OOD مقارنة بالنماذج المرجعية.
• دراسات الاستئصال (Ablation Studies):
  • يؤدي إزالة آلية الولادة أو الموت إلى انخفاض في الأداء؛ وإزالتهما معاً تؤدي إلى تدهور شديد (يرتفع FPR95 إلى 43.04%).
  • عامل تباين الولادة ($\lambda_c$) حساس للغاية (الأمثل عند 2.0)، بينما درجة الحدود للموت أكثر متانة.
  • فترة التهدئة (Cooldown period) حاسمة؛ فالإعدادات غير المناسبة تزعزع استقرار التدريب.

5. الأهمية

• القابلية للتكيف: يعالج PID العيب الجوهري في طرق النماذج الأولية الثابتة من خلال السماح لهيكل النموذج بالتطور مع تعقيد البيانات، مما يؤدي إلى تمثيل أكثر دقة لمنط la البيانات الحقيقي.
• المتانة: تظهر الطريقة متانة استثنائية ضد التغيرات القصوى في الأسلوب والنسيج (مثل ImageNet-R)، وهي نقطة فشل شائعة للطرق الثابتة.
• الكفاءة: من خلال تقليم النماذج الأولية الزائدة وتقسيم النماذج المثقلة، ينشئ PID مساحة ميزات أكثر كفاءة وتمييزاً دون تدخل يدوي.
• الاتجاه المستقبلي: رغم أن الطريقة تقدم معلمات فائقة حساسة (عتبات الولادة والموت)، إلا أنها تمهد الطريق لاستراتيجيات عتبة تكيفية بالكامل لأتمتة العملية بشكل أكبر.

باختًا، يمثل PID تقدماً كبيراً في كشف OOD من خلال الانتقال من مجموعات النماذج الأولية الثابتة والمعدة يدوياً إلى نظام ديناميكي مستوحى بيولوجياً يضبط قدرته التمثيلية ذاتياً.