MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

ملخص تقني: MahaVar: اكتشاف البيانات خارج التوزيع (OOD) عبر تباين مسافة ماهالانوبيس لكل فئة تحت ظاهرة الانهيار العصبي (Neural Collapse)

بيان المشكلة
يمثل نشر الشبكات العصبية العميقة في البيئات الواقعية تحديًا حرجًا: فالنماذج المدربة تحت فرضية "العالم المغلق" تواجه غالبًا عينات اختبار تقع خارج توزيع التدريب (Out-of-Distribution أو OOD). يمكن لهذه العينات أن تؤدي إلى تنبؤات مفرطة في الثقة وقد تكون كارثية. وبينما يعد اكتشاف البيانات خارج التوزيع (OOD) أمرًا ضروريًا في المجالات الحساسة للسلامة مثل القيادة الذاتية والتصوير الطبي، فإن الطرق اللاحقة (post-hoc) الموجودة (التي لا تتطلب إعادة تدريب أو الوصول إلى بيانات OOD) غالبًا ما تعتمد على إشارات محدودة. وتحديدًا، فإن الكواشف القائمة على مسافة ماهالانوبيس (Mahalanobis distance)، وهي خط أساس قوي، تركز عادةً فقط على الحد الأدنى للمسافة إلى أقرب توزيع غاوسي مرتبط بالفئة، مما قد يتجاهل الهيكل الهندسي للمسافات عبر جميع الفئات.

المنهجية: MahaVar
يقترح المؤلفون MahaVar، وهو كاشف OOD بسيط وفعال يتميز بكونه لاحقًا (post-hoc)، يقوم بتعزيز مسافة ماهالانوبيس القياسية بمصطلح تباين المسافة لكل فئة (class-wise distance variance). تستند الطريقة إلى المنطق التالي:

1. الملاحظة التجريبية: لاحظ المؤلفون أنه بالنسبة للعينات داخل التوزيع (ID)، تُظهر مسافات ماهالانوبيس المرتبة لكل فئة "هيكل حد أدنى حاد وواضح". فالمسافة إلى أقرب فئة تكون أصغر بكثير من المسافات إلى جميع الفئات الأخرى، والتي تظل كبيرة ومتساوية نسبيًا. في المقابل، تُظهر عينات OOD حدًا أدنى أقل وضوحًا، حيث تكون المسافات إلى جميع الفئات كبيرة وأقل تباينًا. هذا التباين الهيكلي يعني أن عينات ID تمتلك تباينًا أعلى في مسافات الفئات مقارنة بعينات OOD.
2. التأسيس النظري (الانهيار العصبي): يقدم البحث تحليلًا نظريًا يعتمد على الانهيار العصبي (Neural Collapse)، وهي ظاهرة هندسية حيث تنهار الميزات قبل النهائية لكل فئة نحو متوسط الفئة، وتترتب متوسطات الفئات في إطار متساوي الزوايا بسيط (Simplex Equiangular Tight Frame - ETF). وتحت افتراضات الانهيار العصبي المخففة (تحديدًا تماسك داخل الفئة والتمايز بين الفئات)، أثبت المؤلفون أن عينات ID تُظهر هيكليًا تباينًا أعلى في مسافات الفئات مقارنة بعينات OOD. وتحدد النظرية 4.3 والنتيجة 4.4 الشروط الكافية التي يضمن فيها هذا التباين في المسافات، خاصة عندما تحافظ عينات OOD على تمايز زاوي كافٍ عن متوسطات الفئات أو لا تقع ضمن الفضاء الفرعي الذي تشغله متوسطات الفئات.
3. دالة التقييم (Scoring Function): تجمع درجة OOD المقترحة $S(x)$ بين سالب الحد الأدنى لمسافة ماهالانوبيس وتباين المسافة لكل فئة:
   $$S(x) = -\min_{c} d_{Maha,c}(\hat{\phi}(x)) + \alpha \cdot \text{Var}_c[d_{Maha,c}(\hat{\phi}(x))]$$
   حيث تمثل $\hat{\phi}(x)$ الميزات قبل النهائية المعيرة بـ L2، و$\alpha$ هو معامل فائق يتحكم في وزن مصطلح التباين.

المساهمات الرئيسية
يقدم البحث ثلاث مساهمات رئيسية:

1. الاكتشاف التجريبي: تحديد عدم تماثل هيكلي لم يُستغل من قبل: تُظهر عينات ID حدًا أدنى حادًا في مسافات ماهالانوبيس لكل فئة (تباين عالٍ)، بينما تُظهر عينات OOD توزيعًا أكثر تسطحًا (تباين منخفض).
2. التبرير النظري: تحليل مبدئي يربط هذه الملاحظة بهندسة الانهيار العصبي، مما يثبت أنه تحت شروط هندسية محددة، تتفوق عينات ID بشكل صارم على عينات OOD من حيث تباين مسافة الفئات.
3. الاقتراح الخوارزمي: تقديم MahaVar، وهو كاشف لاحق (post-hoc) يدمج مصطلح التباين هذا في إطار عمل Mahalanobis++.

النتائج التجريبية
قيم المؤلفون MahaVar باتباع بروتوكول معيار OpenOOD v1.5 عبر ثلاثة إعدادات لبيانات داخل التوزيع (ID): CIFAR-10، وCIFAR-100، وImageNet، باستخدام كل من إعدادات Near-OOD وFar-OOD.

• الأداء: يحقق MahaVar أداءً رائدًا (SOTA) في CIFAR-100 وImageNet من بين جميع الطرق التي تم تقييمها.
• المقارنة مع خطوط الأساس: يتفوق باستمرار على جميع خطوط الأساس القائمة على ماهالانوبيس (بما في ذلك Mahalanobis وMahalinobis++) عبر جميع المعايير الثلاثة من حيث AUROC وFPR@95.
• المتانة: في معيار ImageNet واسع النطاق، وبالتوسط عبر ثلاثة معماريات للشبكات الخلفية (ResNet-50، Swin-B، وViT-B)، حقق MahaVar أفضل متوسط AUROC وFPR@95. ومن الجدير بالذكر أنه بينما تتدهور طرق تشكيل التنشيط (مثل ASH-S وSCALE) بشكل كبير في المعماريات القائمة على المحولات (Swin-B، ViT-B)، يحافظ MahaVar على أداء مستقر ومتفوق.
• دراسات الاستئصال (Ablation Studies): تؤكد التجارب أن مصطلح التباين يوفر معلومات تكميلية ذات معنى حتى بدون معايرة L2، وإن كان الجمع بين معايرة L2 والتباين يعطي أفضل النتائج. كما أن الطريقة متينة تجاه اختيار مقياس المسافة (L1، L2، Mahalanobis)، حيث يؤدي Mahalanobis أفضل أداء نظرًا لمعالجته لهيكل التباين (covariance structure).

الأهمية والادعاءات
يدعي البحث أن هيكل المسافة الكامل لكل فئة يحتوي على معلومات تمييزية أغنى من مسافة أقرب فئة وحدها. ومن خلال الاستفادة من الخصائص الهندسية للانهيار العصبي، يقدم MahaVar طريقة قائمة على أسس نظرية ومتينة تجريبيًا لاكتشاف OOD. ويؤكد المؤلفون أن هذا النهج ذو قيمة خاصة للنشر في العالم الحقيقي حيث يكون إعادة تدريب النماذج أمرًا غير عملي.

ومع ذلك، حافظ المؤلفون على نبرة متواضعة فيما يتعلق بالقيود:

• في CIFAR-10، تحقق الطرق القائمة على KNN نتائج أعلى قليلاً في AUROC، مما يشير إلى أن الأساليب غير المعلمية (non-parametric) قد تكون متفوقة في حالات عدد الفئات المنخفض.
• يعتمد الإطار النظري على افتراضات الانهيار العصبي، والتي تفترض شبكات مدربة جيدًا بالقرب من المرحلة النهائية من التدريب. ويشير المؤلفون إلى أن تخفيف هذه الافتراضات لتغطية هياكل الميزات الأكثر عمومية هو اتجاه للعمل المستقبلي.
• يتجاهل التنفيذ العملي خطوة تمركز المتوسط العالمي المستخدمة في البراهين النظرية، حيث وُجد أن التمركز يقلل من الأداء في ResNet-50 بسبب هندسة الميزات غير السالبة الناتجة عن تنشيطات ReLU.