ملخص تقني: إطار عمل قوي للكشف عن التوزيع الخارج عن النطاق عبر التنعيم التآزري

بيان المشكلة

يتم نشر الشبكات العصبية العميقة (DNNs) بشكل متزايد في التطبيقات الحرجة للسلامة، ومع ذلك تظل عرضة للاضطرابات العدائية وتحولات التوزيع. وبينما تعمل طرق الكشف عن التوزيع الخارج عن النطاق (OOD) كدرع حماية حيوي لتحديد المدخلات الجديدة أو الخبيثة، تشير الدراسات الحديثة إلى أن كواشف OOD المتطورة هي نفسها عرضة للهجمات العدائية. وتحديداً، يمكن للمهاجم صياغة مدخلات تكون خارج النطاق (OOD) ولكن يتم تصنيفها خطأً على أنها ضمن النطاق (ID)، مما يؤدي فعلياً إلى تعطيل خط الدفاع الأول للنظام.

تحاول الكواشف القائمة على الاضطراب، مثل ODIN وPRO، تحسين الكشف من خلال تطبيق تحسينات اتجاهية (مثل زيادة أو تقليل درجات الثقة). ومع ذلك، يحدد المؤلفون خللاً حرجاً في هذه النهج: فهي تظهر ضعفاً غير متماثل. فالكاشف الذي تم تحسينه لمقاومة هجمات تقليل الدرجة يصبح غالباً عرضة لهجمات زيادة الدرجة، والعكس صحيح. هذا الانحياز الاتجاهي يقوض موثوقية الكشف عن OOD في البيئات العدائية الديناميكية.

المنهجية: إطار عمل ROSS

يقترح المؤلفون إطار عمل ROSS (الكاشف القوي لـ OOD عبر التنعيم التآزري)، وهو إطار عمل لا يعتمد على نموذج محدد، ويُطبق بعد التدريب (post-hoc)، مصمم لتحقيق متانة متماثلة ضد هجمات تقليل الدرجة وزيادة الدرجة. لا يتطلب ROSS إعادة تدريب الشبكة العصبية العميقة الأساسية، ويمكن تطبيقه على أي تقنية تسجيل OOD موجودة (مثل MSP، وEnergy، وGEN، وfDBD).

يتضمن جوهر ROSS توليد $N$ من المتغيرات المشوشة للمدخل $x$ عن طريق إضافة اضطرابات عشوائية. ومن خلال "مكدس الدرجات" الناتج، يقوم ROSS بحساب إحصائيتين قويتين مستندتين إلى نظرية الإحصاء القوي:

1. درجة الوسيط ($S_{med}$): وسيط مكدس الدرجات، والذي يمثل النزعة المركزية المنعمة لدرجة OOD.
2. استقرار الدرجة ($\sigma_{med}$): الانحراف المطلق عن الوسيط (MAD) لمكدس الدرجات، والذي يقيس عدم الاستقرار المحلي في مشهد الدرجة.

الرؤية الجوهرية: عدم الاستقرار كإشارة

يلاحظ المؤلفون أن عينات ID عادة ما توجد في مناطق سلسة من مشهد الدرجة، مما ينتج عنه درجات ذات تباين منخفض تحت الاضطراب (استقرار عالٍ). وعلى العكس من ذلك، تسكن عينات OOD في مناطق غير منتظمة حيث تؤدي الاضطرابات الصغيرة إلى تقلبات كبيرة في الدرجات (عدم استقرار عالٍ).

دالة التسجيل

يجمع ROSS بين هذه المقاييس في درجة نهائية ($S_{ROSS}$) باستخدام آلية بوابية واعية بالثقة. تُعرف الدرجة النهائية كما يلي:
$$S_{ROSS} = \min(S_{95}, S_{med}) + \Delta_{score} \cdot \left(1 + \frac{\lambda}{\sigma_{med}}\right)$$
حيث أن:

• $S_{95}$ هو عتبة الثقة (النسبة المئوية الخامسة لتوزيع التحقق من بيانات ID).
• $\Delta_{score} = \max(0, S_{med} - S_{95})$ يضمن تطبيق مكافأة الاستقرار فقط عندما تتجاوز درجة الوسيط عتبة الثقة.
• $\lambda$ هو معلمة فائقة (hyperparameter) تتحكم في حجم مكافأة الاستقرار.

تضمن هذه الصيغة مكافأة الاستقرار فقط للعينات التي تتمتع بثقة عالية وتشبه عينات ID. وهذا يمنع عينات "البعيدة جداً عن النطاق" (far-OOD)، التي قد تكون مستقرة ولكن ثقتها منخفضة، من الحصول على دفعة درجة اصطناعية. ومن خلال استخدام الوسيط وMAD، فإن الطريقة مقاومة بطبيعتها للتلاعب القائم على التدرج وللقيم المتطرفة.

المساهمات الرئيسية

1. تحديد الضعف غير المتماثل: هذه هي الورقة الأولى التي تحلل وتثبت بشكل منهجي أن كواشف OOD القائمة على الاضطراب (مثل PRO وODIN) تعاني من متانة غير متماثلة، حيث تدافع ضد اتجاه هجوم واحد بينما تظل عرضة للاتجاه المعاكس.
2. اقتراح ROSS: إطار عمل مبتكر يُطبق بعد التدريب، يستفيد من عدم استقرار الدرجة المحلي كمضاعف للثقة. وخلافاً للأعمال السابقة، فإن ROSX غير اتجاهي ولا يعتمد على التدرج، مما يحقق متانة متماثلة ضد هجمات PGD-min وPGD-max.
3. تفكيك الاستقرار والثقة: من خلال دراسات الاستئصال الشاملة، عزل المؤلفون مساهمات استقرار الدرجة وعتبة الثقة، موضحين أن كليهما ضروري للفصل الفعال بين ID وOOD.
4. التحقق التجريبي: تقييم شامل عبر CIFAR-10 وCIFAR-100 وImageNet، يظهر أن ROSS يتفوق باستمرار على الكواشف الأساسية والأساليب السابقة القائمة على الاضطراب.

النتائج التجريبية

قيم المؤلفون ROSS على معايير قياسية باستخدام نماذج ResNet-18 وResNet-50 سابقة التدريب.

• أداء خط الأساس: في البيانات النظيفة، يحقق ROSS أداءً يضاهي أحدث ما توصل إليه العلم. على سبيل المثال، في CIFAR-10 مع درجة GEN الأساسية، حقق ROSS متوسط AUROC بنسبة 84.72% وFPR95 بنسبة 45.77%، متفوقاً على خط الأساس للوسيط فقط ($S_{med}$) والنسبة البدائية ($S_{med}/\sigma_{med}$).
• المتانة العدائية: تحت هجمات PGD ($\epsilon = 8/255$)، يظهر ROSS مرونة كبيرة.
  • في CIFAR-10، بينما انهار AUROC لخط الأساس MSP إلى 3.76% تحت هجمات PGD-max، حافظ ROSS-MSP على AUROC بنسبة 52.65%.
  • في CIFAR-100، حسن ROSS-fDBD قيمة AUROC من 11.02% (الأساس) إلى 44.72% تحت هجمات PGD-max.
• الدفاع المتماثل: على عكس PRO وODIN، اللذين يتدهوران بشكل كبير عند الهجوم من الاتجاه "الخاطئ"، يحافظ ROSS على أداء ثابت ضد كل من هجمات PGD-min وPGD-max. يبلغ المؤلفون عن تحسينات تصل إلى 40 نقطة AUROC فوق الأساليب السابقة القائمة على الاضطراب تحت الهجمات القوية.
• الكفاءة: رغم أنه يتطلب $N=25$ من عمليات التمرير الأمامي، إلا أن الطبيعة القابلة للتوازي للتنفيذ على وحدات معالجة الرسومات الحديثة تؤدي إلى زيادة في زمن التأخير بنسبة 1.2x فقط مقارمة عملية تمرير أمامي واحدة، مما يجعله عملياً للنشر.

الأهمية والادعاءات

تدعي الورقة أن ROSS يوفر خط دفاع أول عملياً، خفيف الوزن، وسهل النشر للكشف عن OOD. تكمن أهميته الأساسية في التحول من التحسين الاتجاهي (الذي يخلق نقاط ضعف غير متماثلة) إلى التنعيم التآزري (الذي يستفيد من الاستقرار الإحصائي).

يؤكد المؤلفون أن ROSS ينجح في موازنة دقة البيانات النظيفة والمتانة العدائية دون التكلفة الحسابية لإعادة التدريب العدائي. ومن خلال التكامل بسلاسة مع أساليب تسجيل OOD الحالية، فإنه يعزز موثوقية الأنظمة المؤتمتة في البيئات ذات العالم المفتوح حيث تكون المدخلات المجهولة أو الخبيثة أمراً حتمياً. العمل يشير إلى أن قياس عدم الاستقرار المحلي هو وكيل أكثر متانة للكشف عن OOD من مجرد محاولة دفع الدرجات في اتجاه معين.

تهدف الأعمال المستقبلية، كما ذكر المؤلفون، إلى توسيع نطاق هذا الإطار إلى ما وراء الهجمات القائمة على التدرج ليشمل التحولات التوزيعية الناجمة عن النماذج التوليدية والتشوهات الواقعية.