🤖 machine learning

PRBench: A Standardized Probabilistic Robustness Benchmark

تقدم هذه الورقة البحثية PRBench، وهو أول معيار قياسي لتقييم المتانة الاحتمالية في نماذج التعلم العميق، والذي يكشف أنه بينما توفر أساليب التدريب الخصومي مرونة أكبر عبر المعلمات الفائقة، فإن أساليب التدريب الخاصة بالمتانة الاحتمالية تحقق خطأ تعميم أقل ودقة نظيفة أعلى.

المؤلفون الأصليون: Yi Zhang, Zheng Wang, Zhen Chen, Wenjie Ruan, Qing Guo, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yi Zhang, Zheng Wang, Zhen Chen, Wenjie Ruan, Qing Guo, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء روبوت ذكي جداً للتعرف على صور القطط والكلاب. تريد التأكد من أن هذا الروبوت لن يرتبك بسبب تغييرات طفيفة وغير مرئية في الصور — مثل انزياح بضعة بكسلات أو القليل من الضوضاء الساكنة.

في عالم الذكاء الاصطناوي، هناك طريقتان رئيسيتان لاختبار ما إذا كان روبوتك "صلباً" بما يكفي:

اختبار "الحالة الأسوأ" (المتانة العدائية - Adversarial Robustness): هذا يشبه محاولة لص محترف للعثور على الطريقة الوحيدة المثالية لخداع الروبوت الخاص بك. إذا استطاع اللص العثور ولو على صورة واحدة تجعل الروبوت يقول "كلب" بينما هي بوضوح "قطة"، فإن الروبوت يفشل. هذه هي الطريقة القياسية التي استخدمها الناس لاختبار الذكاء الاصطناي لسنوات.
اختبار "العالم الحقيقي" (المتانة الاحتمالية - Probabilistic Robustness): هذا يشبه التنبؤ بالطقس. بدلاً من السؤال: "هل يمكن للص ممارسة خدعة على الروبوت؟"، فإنه يسأل: "إذا هززنا الصورة عشوائياً 1,000 مرة، كم مرة سيظل الروبوت يصيب في إجابته؟" ربما يفشل الروبوت 5 مرات من أصل 1,000، لكنه يصيب 995 مرة. في العالم الحقيقي، قد يكون هذا جيداً بما يكفي.

المشكلة: بطاقة تقييم مفقودة

لاحظ مؤلفو هذه الورقة وجود فجوة كبيرة. لدينا مكتبة ضخمة من الاختبارات لـ "اللص" في الحالة الأسوأ، ولكن ليس لدينا طريقة معيارية لمقارنة طرق التدريب المختلفة لاختبار "الطقس" في العالم الحقيقي.

حاول بعض الباحثين بناء طرق تدريب خاصة فقط لتحسين درجة "العالم الحقيقي" هذه. ولكن لأن الجميع استخدموا قواعد واختبارات مختلفة، لم يستطع أحد معرفة أي طريقة هي الأفضل فعلياً. كان الأمر يشبه محاولة مقارنة سرعة سيارتين عندما يستخدم أحد السائقين ساعة توقف بينما يستخدم الآخر مزولة شمسية.

الحل: PRBench (بطاقة التقييم الجديدة)

أنشأ الفريق PRBench، وهو أول "بطاقة تقييم" معيارية مصممة خصيصاً لاختبار مدى قدرة الذكاء الاصطناوي على التعامل مع الاضطرابات العشوائية في العالم الحقيقي.

لقخذ أخذوا 229 نموذجاً مختلفاً للذكاء الاصطناعي (تتراوح من البسيطة إلى المعقدة جداً) ودربوها باستخدام 13 طريقة مختلفة. تضمنت هذه الطرق:

التدريب القياسي: تعليم الذكاء الاصطناعي بشكل طبيعي.
التدريب العدائي (AT): تعليم الذكاء الاصطناعي من خلال إظهار أفضل حيل "اللص" له (سيناريوهات الحالة الأسوأ).
التدريب الاحتمالي (RT): تعليم الذكاء الاصطناعي خصيصاً للتعامل مع الضوضاء العشوائية.
الطرق الهجينة: مزيج من كليهما.

المفاجآت الكبرى

بعد إجراء جميع هذه الاختبارات، وجد المؤلفون بعض الأشياء التي تخالف المنطق الشائع:

1. اكتشاف "الغداء المجاني"
كانت المفاجأة الأكبر هي أن الطرق المصممة لإيقاف "اللص" (التدريب العدائي) كانت أيضاً هي الأفضل في التعامل مع الضوضاء العشوائية.

تشبيه: تخيل أنك تدرب ملاكماً. قررت تدريبه عبر جعله يقاتل بطلاً للوزن الثقيل (سيناريو الحالة الأسوأ). تتوقع أن يصبح جيداً في قتال أبطال الوزن الثقيل. ولكن، للمفاجأة، أصبح أيضاً بارعاً جداً في تفادي الضربات الخفيفة والعشوائية من الحشود.
النتيجة: تزعم الورقة أنه إذا دربت ذكاءك الاصطناعي ليكون متيناً ضد "اللص" في الحالة الأسوأ، فستحصل على "المتانة الاحتمالية" (التعامل مع الضوضاء العشوائية) مجاناً تقريباً. لست بحاجة بالضرورة إلى طريقة تدريب منفصلة وخاصة للضوضاء العشوائية فقط.

2. المقايضات (Trade-offs)
ومع ذلك، هناك ثمن.

التدريب العدائي (مقاتل الوزن الثقيل): يجعل الذكاء الاصطناعي قوياً جداً ضد اللصوص والضوضاء العشوائية، ولكنه أحياناً يجعل الذكاء الاصطناعي أبطأ أو أقل دقة عند النظر إلى الصور النقية والمثالية.
التدريب الاحتمالي (متخصص الضوضاء): هذه الطرق تحافظ على بقاء الذكاء الاصطناعي جيداً جداً في النظر إلى الصور النقية وتتعامل مع الضوضاء العشوائية جيداً، لكنها ضعيفة بشكل مفاجئ ضد "اللص" (هجمات الحالة الأسوأ).

3. أمل "الهجين"
هناك طريقة جديدة ومتطورة تسمى AT-PR تحاول الجمع بين أفضل ما في العالمين. إنها تستخدم استراتيجية "محاربة اللص" ولكنها تعدلها لتعتني أيضاً بالضوضاء العشوائية. إنها تؤدي عملاً رائعاً في موازنة كل شيء، لكنها مكلفة جداً في التشغيل (مثل توظيف فريق من 100 مدرب بدلاً من مدرب واحد).

الخلاصة

تشير الورقة إلى أنه لفترة طويلة، حاول الناس اختراع أدوات متخصصة ومعقدة لمجرد حل مشكلة "الضوضاء العشوائية". لكن البيانات تظهر أن أدوات "محاربة اللص" القياسية (التدريب العدائي) تقوم بالفعل بعمل رائع في حل المشكلتين معاً.

المؤلفون لا يقولون إن علينا التوقف عن البحث في "المتانة الاحتمالية". بل يقولون: "توقفوا عن إعادة اختراع العجلة. الأدوات التي نمتلكها بالفعل لسيناريوهات الحالة الأسوأ جيدة بشكل مفاجئ في التعامل مع الأمور اليومية المعتادة أيضاً."

لقد بنوا هذا المعيار (PRBench) لكي يتمكن الباحثون في المستقبل من التوقف عن التخمين والبدء في استخدام مسطرة مشتركة وواضحة لقياس التقدم، مما يضمن بناء ذكاء اصطناوي آمن وموثوق في كل من الحالات القصوى والحالات اليومية.

ملخص تقني: PRBench: معيار مرجعي موحد للمتانة الاحتمالية

بيان المشكلة

تعتبر نماذج التعلم العميق معرضة بطبيعتها للاضطرابات غير المحسوسة في المدخلات. وبينما ركز المجال بشكل مكثف على المتانة الخصومية (AR) — وهي تقييم قدرة النموذج على مقاومة الأمثلة الخصومية (AEs) الحتمية والأسوأ حالاً — فإن هذا المنظور غالباً ما يفشل في استيعاب الطبيعة الاحتمالية للمخاطر في العالم الحقيقي. توفر المتانة الاحتمالية (PR) بديلاً أكثر عملية من خلال قياس احتمال بقاء تنبؤ النموذج صحيحاً تحت تأثير الاضطرابات العشوائية.

وعلى الرغم من القيمة المعترف بها لـ PR، إلا أن الأبحاث المتعلقة بطرق التدريب المصممة خصيصاً لتحسينها لا تزال غير مستكشفة كفافت مقارنة بـ AR. تعاني طرق التدريب الحالية التي تستهدف PR من ثلاث قيود حرجة:

بروتوكولات تقييم غير قابلة للمقارنة: تستخدم الطرق مقاييس متباينة، مما يمنع التقييم الشامل.
مقارنات مرجعية محدودة: هناك فهم غير كافٍ لكيفية أداء طرق التدريب الخصومي (AT) القياسية، المصممة أساساً لـ AR، كأدوات لتحسين PR، رغم وجود أدلة ظرفية تشير إلى أنها قد تعزز PR كـ "منتج ثانوي مجاني".
نقص في الإطار النظري الموحد: لا يوجد أساس نظري مشترك لمقارنة قدرات التعميم لمختلف طرق التدريب المستهدفة لـ PR.

المنهجية: PRBench

لمعالجة هذه الفجوات، قدم المؤلفون PRBench، وهو أول معيار مرجعي موحد مخصص لتقييم طرق التدريب لتحسين المتانة الاحتمالية.

نطاق التجربة

النطاق: يقوم المعيار المرجعي بتدريب وتقييم 229 نموذجاً عبر 7 مجموعات بيانات (MNIST, SVHN, CIFAR-10, CIFAR-100, CINIC-10, TinyImageNet, ImageNet-50) و 10 بنيات نماذج (تشمل VGG-19، ومتغيرات ResNet، وWideResNet، وViT، وDeiT).
طرق التدريب: يصنف PRBench ويقارن بين 13 نهج تدريب متميزاً:
- التدريب القياسي: تقليل المخاطر التجريبية (ERM).
- التدريب الخصومي (AT): 6 طرق تشمل PGD، وTRADES، وMART، وALP، وCLP، ومتغير تشخيصي مستحدث هو KL-PGD (باستخدام تباعد KL لتوليد الأمثلة الخصومية ولكن باستخدام الإنتروبيا المتقاطعة للتدريب).
- التدريب القائم على المخاطر (RT): 4 طرق (تدريب الفساد/الاضطراب، وCVaR، وEVaR) التي تحسن المخاطر الإحصائية عبر توزيعات الاضطراب بدلاً من الأمثلة الخصومية الأسوأ حالاً.
- الطريقة الهجينة: AT-PR، وهو نهج حديث يعدل مبادئ AT ليستهدف PR من خلال تحديد الأمثلة الخصومية المثلى التي تعظم منطقة "كل الأمثلة الخصومية" (all-AE).
مقاييس التقييم: يستخدم المعيار مجموعة شاملة من المقاييس:
- الدقة النقية (Clean Accuracy): الأداء القياسي على البيانات غير المضطربة.
- المتانة الخصومية (AR): تُقاس عبر 4 هجمات بيضاء (PGD10، PGD20، C&W، Auto-Attack).
- المتانة الاحتمالية (PR): تُحدد كمياً باستخدام $PR_D(\gamma)$ (متوسط احتمال التنبؤ الصحيح تحت الاضطراب) و $ProbAcc(\rho)$ (نسبة المدخلات التي تتجاوز عتبة المتانة).
- خطأ التعميم (GE): الفجوة بين أداء التدريب والاختبار لكل من AR و PR.
- الكفاءة: وقت التدريب لكل حقبة (epoch).

التحليل النظري

يقدم المؤلفون تحليلاً نظرياً قائماً على الاستقرار الخوارزمي الموحد. وقد اشتقوا حدوداً لخطأ التعميم (GE) تحت أنظمة تدريب مختلفة:

طرق RT: ثبت أنها تنتج عمليات تدريب أكثر سلاسة (خصائص Lipschitz والنعومة) مقارنة بـ AT، مما يفسر نظرياً انخفاض GE وتقليل فرط التعميم المتين (robust overfitting).
طرق AT: يظهر التحليل أن AT يضيف حداً إضافياً يتناسب مع نعومة دالة الخسارة البديلة، مما يساهم في فرط التعميم المتين. ومع ذلك، يمكن للطرق التي تتضمن عقوبات على مخرجات softmax (مثل TRADES) التخفيف من ذلك عن طريق تقليل ثابت Lipschitz للهدف.

النتائج الرئيسية

يكشف التقييم التجريبي عن جبهتين متباينتين للمقايضة:

هيمنة التدريب الخصومي (AT) في المتانة:
- خلافاً للافتراض بأن PR يتطلب تدريباً متخصصاً، فإن طرق AT القياسية (مثل PGD، وTRADES) تتفوق باستمرار على الطرق المستهدفة لـ PR في تحسين كل من AR و PR.
- تحقق النماذج المدربة بـ AT أكثر من 99% من أداء PR ضمن كرة معيار الاضطراب أثناء التدريب، وغالباً دون تكلفة إضافية تذكر مقارنة بالطرق المخصصة لـ PR.
- يشير هذا إلى أنه في العديد من السيناريوهات، تعتبر PR "منتجاً ثانوياً مجانياً" للتدريب الخصومي القوي.
الطرق المستهدفة لـ PR في الدقة والتعميم:
- بينما تحسن طرق RT (مثل تدريب الفساد، وCVaR) من PR مقارنة بـ ERM القياسي، إلا أنها تتخلف بشكل كبير عن AT في أداء AR، حيث تهبط غالباً إلى ما يقرب من الصفر تحت الهجمات القوية.
- ومع ذلك، تحافظ طرق RT على دقة نقية أعلى وتظهر خطأ تعميم (GE) أقل مقارنة بطرق AT.
- توفر الطريقة الهجينة AT-PR مقايضة متوازنة، حيث تحقق أداء PR مقارباً لـ AT، وأداء AR متفوقاً على RT، ودقة نقية أفضل من AT القياسي، وإن كان ذلك بتكلفة حوسبية أعلى بكثير.
الكفاءة مقابل الأداء:
- يعتبر تدريب الفساد (Corruption training) عالي الكفاءة ولكنه يقدم مكاسب متانة محدودة.
- تعتبر طرق CVaR و AT-PR مكلفة حوسبياً بسبب الحاجة إلى عينات متعددة أو حلقات تحسين معقدة.
- تقدم طرق AT القياسية (مثل PGD و TRADES) حلاً وسطاً في الكفاءة مع تقديم أعلى درجات المتانة المركبة.

الأهمية والادعاءات

يضع البحث PRBench كمعيار ضروري للمجال، مجادلاً بأن الافتقار الحالي للتقييم الموحد يعيق فهم العلاقة بين AR و PR.

إعادة تقييم الحاجة إلى طرق مخصصة لـ PR: يقترح المؤلفون "فرضية جريئة" مفادها أنه قد تكون هناك حاجة عملية محدودة لتطوير طرق تدريب منفصلة تستهدف PR، بالنظر إلى أن طرق AT القوية تحقق بالفعل تحسينات كبيرة في PR.
الاتجاه المستقبلي: بدلاً من التركيز فقط على النهج المخصصة لـ PR، يقترح المؤلفون أن الأبحاء المستقبلية يجب أن تعطي الأولوية للنهج المتعددة الاستخدامات والقائمة على AT (مثل KL-PGD التشخيصي أو الهجين AT-PR) التي تعزز AR و PR معاً مع الحفاظ على الدقة النقية ومنخفضة خطأ التعميم.
توافر الموارد: لتسهيل هذا البحث، نشر المؤلفون لوحة صدارة عامة تحتوي على نتائج لجميع الـ 229 نموذجاً المدربة، بالإضافة إلى كود برمجي مفتوح المصالم، مما يسمح بالمقارنة المنهجية لطرق تدريب المتانة الحالية والمستقبلية.

باختصار، يوضح PRBench أنه بينما يوفر تدريب PR المتخصص مزايا في التعميم والدقة النقية، فإن التدريب الخصومي القياسي يظل الاستراتيجية الأكثر فعالية وكفاءة لتحقيق متانة احتمالية عالية، مما يتحدى ضرورة نماذج تدريب PR المنعزلة.