DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation

إليك ملخص تقني مفصل لورقة البحث بعنوان "DAVIS: الكشف عن التوزيعات خارج النطاق عبر التنشيطات المهيمنة والتباين لزيادة الفصل".

1. بيان المشكلة

يتطلب النشر الآمن لنماذج تعلم الآلة (ML) في سيناريوهات العالم الحقيقي كشفاً قوياً لـ التوزيعات خارج النطاق (OOD). يجب أن تتعرف النماذج على المدخلات التي تقع خارج توزيع التدريب الخاص بها (مثل السياقات الجديدة أو الفئات غير المعروفة) وأن تشير إلى عدم اليقين بدلاً من تقديم تنبؤات واثقة ولكن خاطئة.

القصور الجوهري:
تعمل معظم طرق كشف الـ OOD الحالية (بعد التدريب - post-hoc) على متجهات الميزات المستمدة من التجميع المتوسط العالمي (GAP) المطبق على الطبقة قبل الأخيرة من الشبكة العصبية.

• فقدان المعلومات: عملية GAP هي عملية خاسرة تلخص خرائط التنشيط المكانية لكل قناة في قيمة عددية واحدة (المتوسط).
• الإشارات المهدرة: هذه العملية تتخلص بشكل دائم من الإحصائيات التوزيعية القيمة، وتحديداً التنشيط المهيمن (الذروة) والتباين (الانتشار) لخرائط التنشيط.
• عدم التطابق الهيكلي: بينما يعزز GAP الثبات المكاني المفيد للتصنيف، فإنه يثبط الإشارات الإحصائية (القمم والتباين) التي تعد تمييزية للغاية في التفريق بين عينات التوزيع داخل النطاق (ID) وعينات التوزيع خارج النطاق (OOD).

2. المنهجية: DAVIS

يقترح المؤلفون DAVIS (التنشيطات المهيمنة والتباين لزيادة الفصل)، وهو وحدة بسيطة، تُطبق بعد التدريب (post-hoc)، وتعمل بنظام "التوصيل والتشغيل" (plug-and-play) لإثراء تمثيلات الميزات قبل عمليات التسجيل اللاحقة.

الآلية الرئيسية:
بدلاً من الاعتماد فقط على متوسط التنشيط ($\mu$) الناتج عن GAP، يستخرج DAVIS إحصائيات أغنى من خرائط التنشيط ما قبل التجميع ($g(x) \in \mathbb{R}^{n \times k \times k}$):

1. المتوسط ($\mu$): المتوسط لكل قناة.
2. التنشيط المهيمن ($m$): قيمة التنشيط القصوى في كل قناة.
3. الانحراف المعياري ($\sigma$): الانحراف المعياري لكل قناة.

صياغات الميزات:
يقترح DAVIS طريقتين لبناء متجه الميزات المثرى $h_{DAVIS}(x)$:

1. $\text{DAVIS}(\mu, \sigma)$: يعزز المتوسط مع الانحراف المعياري المقيّس.
   $$h_{DAVIS}(x) = \mu(x) + \gamma \sigma(x)$$
   حيث $\gamma$ هو معامل فائق (hyperparameter).
2. $\text{DAVIS}(m)$: يستبدل متجه ميزة المتوسط بالكامل بالتنشيط المهيمن (الأقصى).
   $$h_{DAVIS}(x) = m(x)$$

التكامل:

• غير مرتبط بالنموذج (Model-Agnostic): لا يتطلب DAVIS إعادة تدريب. فهو يعدل تمثيل الطبقة قبل الأخيرة قبل تمريره إلى طبقة التصنيف النهائية.
• التوافق: يتكامل بسلاسة مع وظائف تسجيل الـ OOD الموجودة، بما في ذلك:
  • القائمة على اللوغاريتمات (MSP, ODIN)
  • القائمة على الطاقة (Energy score)
  • القائمة على التدرج (GradNorm)
  • القائمة على المسافة (kNN)
• سير العمل: يتم تمرير المتجه المثرى $h_{DAVIS}(x)$ عبر طبقة الاتصال الكامل (fully connected layer) الأصلية لإنتاج لوغاريتمات (logits) معدلة، والتي تُستخدم بعد ذلك لحساب درجة الـ OOD.

3. التحليل النظري

تقدم الورقة تحليلاً إحصائياً يثبت سبب تحسين DAVIS لعملية الفصل:

• الملاحظة 1: بالنسبة للنماذج المدربة جيداً، تظهر عينات الـ ID باستمرار قيمًا أعلى في إحصائيات المتوسط، والحد الأقصى، والانحراف المعياري مقارنة بعينات الـ OOD.
• فجوة الفصل: يعرّف المؤلفون فجوة فصل ($\Delta$) بين توزيعات ID و OOD. وقد أثبتوا رياضياً أن دمج الانحراف المعياري ($\Delta_{\mu,\sigma}$) أو استخدام الحد الأقصى ($\Delta_m$) يؤدي إلى فجوة فصل أكبر مما يوفره المتوسط وحده ($\Delta_\mu$).
• انتشار اللوغاريتمات (Logit Propagation): تحت افتراض أن مصفوفة أوزان المصنف لها مجموع صفوف غير سالب (وهي خاصية تُلاحظ تجريبياً غالباً)، فإن زيادة فصل الميزات تترجم مباشرة إلى زيادة الفصل في مساحة اللوغاريتمات الناتجة، مما يؤدي إلى تسجيل أفضل للـ OOD.

4. المساهمات الرئيسية

1. تحديد قصور GAP: تحدد الورقة فقدان المعلومات الناتج عن التجميع المتوسط العالمي (GAP) كضعف حرج ومغفول عنه في كشف الـ OOD بعد التدريب.
2. إطار عمل DAVIS: تقديم وحدة بسيطة ومكملة تثري تمثيلات الميزات باستخدام إحصائيات ما قبل التجميع (الحد الأقصى والتباين).
3. التحقق التجريبي الواسع: التقييم عبر بنيات متنوعة (ResNet, DenseNet, EfficientNet, Swin-B, ConvNeXt-B) ومجموعات بيانات (CIFAR-10/100, ImageNet-1K).
4. القدرة على التكيف مع البنيات الحديثة: إثبات فعالية DAVIS بشكل خاص على النماذج الحديثة (مثل Swin Transformers و ConvNeXt) حيث تفشل الطرق التقليدية غالباً بسبب الاختلافات في المعايرة (LayerNorm مقابل BatchNorm) ودوال التنشيط (GeLU/SiLU مقابل ReLU).

5. النتائج التجريبية

قيم المؤلفون DAVIS على معايير قياسية (OpenOOD) وسيناريوهات Near-OOD.

أبرز النتائج:

• معايير ImageNet:
  • Swin-B: قلل $\text{DAVIS}(\mu, \sigma) + \text{KNN}$ من معدل FPR95 بنسبة 25.09% مقارنة بأفضل نتيجة سابقة (GEN).
  • ConvNeXt-B: قلل $\text{DAVIS}(\mu, \sigma) + \text{KNN}$ من معدل FPR95 بنسبة 16.53% مقارنة بـ CARef.
  • ResNet-50: قلل $\text{DAVIS}(\mu, \sigma) + \text{SCALE}$ من معدل FPR95 بنسبة 7.96% مقارنة بـ SCALE.
• معايير CIFAR:
  • في CIFAR-10، قلل $\text{DAVIS} + \text{DICE}$ من FPR95 بنسبة 52.08% (ResNet-18) و 45.12% (ResNet-34) مقارنة بالنماذج المرجعية القوية.
  • في CIFAR-100، لوحظت تحسينات كبيرة عبر جميع البنيات المختبرة.
• كشف Near-OOD: أظهر DAVIS قوة في سيناريوهات Near-OOD الصعبة دلالياً (مثل SSB-Hard, NINCO)، حيث قلل FPR95 بنسبة 25.52% على Swin-B مقارنة بـ ReAct.
• المقارنة مع SOTA: تفوق DAVIS باستمرار أو عادل الطرق المتطورة (SOTA) مثل ReAct و DICE و ASH و SCALE و CADRef، محققاً غالباً أفضل النتائج عند دمجه مع تسجيل الطاقة أو kNN.

6. الأهمية والأثر

• تحول في النموذج الفكري: يتحدى هذا العمل الممارسة القياسية المتمثلة في الاعتماد فقط على ميزات المتوسط المستمدة من GAP لكشف الـ OOD، ويدعو إلى الاحتفاظ بإحصائيات التوزيع المكاني.
• الفائدة العملية: كونه طريقة تُطبق بعد التدريب، لا يتطلب DAVIS إعادة تدريب ويستهلك موارد حسابية ضئيلة جداً (زيادة أقل من 0.1% في GFLOPs)، مما يجعله قابلاً للتطبيق بسهولة في أنظمة الإنتاج.
• التوافق مع النماذج الحديثة: يعالج فجوة محددة حيث تؤدي بنيات التعلم العميق الحديثة (التي تستخدم LayerNorm وتنشيطات غير ReLU) إلى تدهور أداء كواشف الـ OOD التقليدية. يستفيد DAVIS من الإشارات الإحصائية الأساسية التي تظل قوية عبر هذه التحولات الهيكلية.
• القدرة على التعميم: تعمل الطريقة بفعالية عبر مجموعة واسعة من عائلات النماذج، من CNN التقليدية إلى Vision Transformers والبنيات الهجينة.

في الختام، يوفر DAVIS حلاً مبدئياً وبسيطاً وفعالاً للغاية لمشكلة فقدان المعلومات في كشف الـ OOD، مما يحسن بشكل كبير من موثوقية نماذج تعلم الآلة في البيئات المفتوحة.