ملخص تقني: GEODE - الكشف عن خروج التوزيع (OOD) المتكيف مع الزوايا والمتوافق عالمياً مع المقاييس

1. بيان المشكلة

يهدف الكشف عن خروج التوزيع (OOD) إلى رصد المدخلات التي لم يتم تدريب المصنف المنشور عليها. تواجه الأساليب الحالية توتراً جوهرياً بين التقييم البعدي (المطبق على النماذج المجمدة) والأساليب القائمة على التدريب (التي تعيد تشكيل الميزات أو القيم المنطقية/logits).

• المقايضة: الأساليب التدريبية التي تحسن المقاييس القائمة على القيم المنطقية (مثل MSP، Energy) غالباً ما تؤدي إلى تدهور المقاييس القائمة على مساحة الميزات (مثل KNN)، والعكس صحيح. لا توجد طريقة حالية تحقق كشفاً قوياً عبر جميع المقاييس القياسية وعبر كل من أنظمة الـ near-OOD والـ far-OOD في آن واحد.
• محدودية التعرض للمخرجات (OE): رغم أن OE هو أسلوب مهيمن يعتمد على بيانات OOD مساعدة حقيقية، إلا أنه يعاني من مشكلتين:
  1. الاعتماد على المقياس: يظهر مقايضات حيث يكون قوياً في بعض المقاييس وضعيفاً في أخرى.
  2. الاعتماد على البيانات: يتطلب بيانات مساعدة منسقة يجب أن تطابق توزيع الـ OOD الحقيقي عند الاختبار، وهو مطلب مجهد ومتقلب.
• فشل الفضاء الصفري (Null-Space): تحاول الأساليب الحديثة مثل PFS دفع ميزات OOD إلى الفضاء الصفري للمصنف لتعزيز درجات القيم المنطقية. ومع ذلك، فإن هذا يدمر هندسة مساحة الميزات بشكل كارثي، مما يؤدي إلى فشل الكشف القائم على KNN (بأداء أسوأ من العشوائي).

السؤال الجوهري الذي تعالجه الورقة هو: ما هي الخاصية الهندسية التي تجعل OE فعالاً، وهل يمكن محاكاتها اصطناعياً دون بيانات OOD حقيقية لتحقيق توافق عالمي مع المقاييس؟

2. المنهجية: GEODE

يقترح المؤلفون GEODE (الكشف المحافظ على الهندسة - GEOmetry-preserving DEtection)، وهو أسلوب قائم على التدريب يقوم بتخليق إشارات OOD لمعايرة حدود القرار مع الحفاظ على هندسة الميزات.

2.1 التحليل الهندسي لـ OE

من خلال التحليل الهندسي في الطبقة قبل الأخيرة من نموذج أساسي مدرب (ResNet-18)، وجد المؤلفون أن:

• OE هو معايرة للحدود، وليس تغطية: الميزات الناتجة عن OE غير متمايزة هندسياً عن بيانات near-OOD الحقيقية. وتحديداً، هي تتطابق في نسبة المعيار (norm ratio)، والتشابه الجيبي الأقصى مع متوسطات الفئات، وإسقاط الفضاء الجزئي.
• تأثير الربع (The Quartile Effect): "الربع المجاور للحدود" من بيانات OE (العينات ذات التشابه الجيبي العالي مع متوسطات فئات ID، أي $>0.85$) هو ما يقود معظم مكاسب أداء OE. أما الأمثلة البعيدة عن الحدود فلا تقدم سوى القليل.
• الاستنتاج: الآلية الفعالة هي معايرة منطقة الحدود، وليس تغطية كامل مساحة OOD.

2.2 آلية GEODE

يعيد GEODE إنتاج هذه المعايرة اصطناعياً باستخدام خلط الميزات (تبديل الأبعاد عبر دفعة واحدة) وخسارة معيار متكيفة مع الزاوية.

1. توليد OOD اصطناعي: بدلاً من استخدام بيانات مساعدة، يقوم GEODE بخلق ميزات OOD اصطناعية ($h_{ood}$) عن طريق تبديل أبعاد الميزات بشكل مستقل عبر دفعة من ميزات ID، مما يكسر الارتباطات بين الأبعاد مع الحفاظ على الإحصائيات الهامشية.
2. الهدف المتكيف مع الزاوية: الابتكار الأساسي هو معيار مستهدف $t$ يتدرج لكل عينة بناءً على التشابه الجيبي ($s$) للميزة الاصطناعية مع أقرب متوسط فئة ($\mu_c$):
   $$s = \max_c \cos(h_{ood}, \mu_c)$$
   $$t = s^2 \cdot \alpha \cdot r_{id}$$
   حيث $r_{id}$ هو متوسط معيار ميزة ID و $\alpha$ هو معامل الاسترخاء.
   • بالقرب من متوسطات الفئات ($s \approx 1$): يكون المعيار المستهدف كبيراً ($t \approx \alpha \cdot r_{id}$). هذا يحافظ على الهندسة المحلية للميزات المطلوبة للمقاييس القائمة على المسافة مثل KNN.
   • بعيداً عن الفئات ($s \approx 0$): يكون المعيار المستهدف صغيراً ($t \approx 0$). هذا يدفع الميزات نحو الأصل، مما يزيد من حدة الفصل للمقاييس القائمة على القيم المنطقية مثل MSP و Energy.
3. هامش التباين لـ ID: لزيادة الهامش من كلا الجانبين، يعمل حد تبايني على تشجيع ميزات ID على امتلاك معايير أكبر قليلاً من $r_{id}$ (مع معاقبة ميزات ID فقط عندما يكون $\|h\| < r_{id}$).
4. دالة الخسارة: تجمع الخسارة الإجمالية بين Cross-Entropy، وعقاب المعيار المتكيف مع الزاوية، وهامش التباين لـ ID.

2.3 التبرير النظري

التصميم مستند إلى نظرية الانهيار العصبي (Neural Collapse - NC)، حيث تتقارب متوسطات الفئات إلى إطار متساوي الزوايا بسيط (Simplex Equiangular Tight Frame - ETF).

• النظرية 1: الميزات المخلطة تتركز عند المتوسط العالمي، مما يبرر الحاجة إلى استهداف متكيف بناءً على زاوية كل عينة.
• النظرية 2 و 3: الهدف المتكيف يحافظ على المسافات الزوجية المحلية بالقرب من حدود الفئات (الأمر الضروري لـ KNN) بشكل أفضل من عقاب المعيار الموحد.
• النظرية 4: دفع ميزات OOD إلى الفضاء الصفري (كما يفعل PFS) يلغي التباين في المسافة الشرطية للفئة، مما يؤدي لفشل KNN. يتجنب GEODE ذلك من خلال إبقاء ميزات OOD داخل الفضاء الجزئي للمصنف.

3. المساهمات الرئيسية

1. التأطير الهندسي: تقدم الورقة أول توصيف هندسي لسبب عمل OE (معايرة الحدود) وتشخيص الفشل الكارثي لطرق الفضاء الصفري (PFS) على KNN.
2. تصميم الطريقة: يقدم GEODE خسارة معيار متكيفة مع الزاوية تولد إشارات OOD اصطناعية دون الحاجة لبيانات مساعدة، مع الحفاظ على الهندسة المطلوبة لكل من المقاييس القائمة على القيم المنطقية والميزات.
3. الشمولية التجريبية: يحقق GEODE نتائج تنافسية في AUROC عبر جميع المقاييس السبعة القياسية (MSP, Energy, ODIN, ReAct, Scale, ASH, KNN) على CIFAR-10 و CIFAR-100 دون فشل كارثي في أي مقياس منها.
4. القابلية للتركيب: GEODE متعامد مع OE. دمجهم يعطي نتائج هي الأفضل في حالتها (مثلاً: 95.0 MSP / 94.8 KNN على CIFAR-10)، متفوقاً على OE وحده في كل المقاييس.

4. النتائج التجريبية

تم التقييم على معايير OpenOOD v1.5 (CIFAR-10, CIFAR-100, ImageNet-200) باستخدام ResNet-18 و WRN-28-10:

• CIFAR-10 (Near-OOD): يحقق GEODE قيمة 92.30 AUROC (EBO) ويتراوح بين 89.0 و 92.3 عبر جميع المقاييس السبعة. وهو يتجنب "الفشل الكارثي" الذي شهدته طرق أخرى (على سبيل المثال، PFS يهبط بـ KNN إلى 14.38؛ بينما يحافظ GEODE على 89.04، وهو مقايضة مدروسة بمقدار 1.6 نقطة مقابل مكاسب هائلة في القيم المنطقية).
• CIFAR-100: يتفوق GEODE على vanilla CE عند عدد الحقبات المتطابقة، ويتفوق على OE في جميع المقاييس الثلاثة (MSP, Energy, KNN) عند دمجهما.
• ImageNet-200: لا يظهر GEODE أي حالات فشل كارثي عبر المقاييس (النطاق 77.93–83.48)، بينما يفشل LogitNorm كارثياً في Energy (29.67) و ReAct (26.53).
• ديناميكيات التدريب: يتفوق GEODE على vanilla CE مع تقدم التدريب (حتى 400 حقبة)، مستفيداً من تقارب الانهيار العصبي (NC). في المقابل، يتدهور LogitNorm مع طول فترة التدريب لأنه يتداخل مع تقارب NC.

5. الأهمية والادعاءات

تدعي الورقة أن GEODE يحل المقايضة طويلة الأمد بين المقاييس القائمة على القيم المنطقية والمقاييس القائمة على الميزات. من خلال إدراك أن الكشف الفعال عن OOD يعتمد على معايرة الحدود بدلاً من التغطية الكاملة لـ OOD، يقوم GEODE بتخليق إشارة تدريب تحترم الموقع الهندسي لحد القرار.

• التوافق العالمي: على عكس الطرق السابقة التي تحسن نوعاً معيناً من المقاييس على حساب أنواع أخرى، يعمل GEODE عبر جميع المقاييس القياسية دون فشل كارثي.
• كفاءة البيانات: يحقق هذه النتائج دون الحاجة لمجموعات بيانات OOD مساعدة منسقة، معتمداً بدلاً من ذلك على خلط الميزات الاصطناعي.
• التوافق النظري: تم تصميم الطريقة لتكون متوافقة مع التقارب الطبيعي للانهيار العصبي (NC)، على عكس طرق تعديل القيم المنطقية التي تعطل هذا التقارب.

يشير المؤلفون بتواضع إلى بعض القيود: مكون الهامش التبايني لا يتعمم جيداً على CIFAR-100 (بسبب هشاشة هندسة ETF لـ 100 فئة)، كما أن GEODE لا يحسن الأداء فوق vanilla ViT-B/16 في مجموعات البيانات الصغيرة (ربما بسبب قيام LayerNorm بمسح تباينات المعيار وعدم وصول النموذج إلى نظام NC). ويُقترح العمل المستقبلي لإنتاج نسخ صديقة لـ Transformers ومعايير أوسع نطاقاً.