🤖 machine learning

Non-Parametric Probabilistic Robustness: A Conservative Risk Estimator under Unknown Perturbation Distributions

تقدم هذه الورقة البحثية "المتانة الاحتمالية غير المعلمية" (NPPR)، وهي مقياس عملي يتعلم توزيعات الاضطراب المُحسّنة مباشرة من البيانات عبر نموذج الخليط الغاوسي لتوفير تقديرات مخاطر متحفظة في ظل عدم اليقين التوزيعي، مما يعالج الافتراض غير الواقعي بوجود توزيعات اضطراب ثابتة في أطر المتانة الاحتمالية القائمة.

المؤلفون الأصليون: Zheng Wang, Yi Zhang, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zheng Wang, Yi Zhang, Siddartha Khastgir, Carsten Maple, Xingyu Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا يمكنه التعرف على صور القطط والكلاب. أنت تريد أن تعرف: ما مدى موثوقية هذا الروبوت؟

في عالم الذكاء الاصطناعي، هناك طريقتان رئيسيتان يستخدمهما الناس عادةً لاختبار هذه الموثوقية، ولكن لكل منهما عيب كبير. تقدم هذه الورقة البحثية طريقة جديدة أكثر أمانًا لاختبار ذلك.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. الطريقتان القديمتان للاختبار (المشكلة)

اختبار "الحالة الأسوأ" (المتانة العدائية - Adversarial Robustness)
تخيل لصًا محترفًا يحاول اختراق عقل الروبوت الخاص بك. هذا اللص ذكي للغاية، ولديه مخطط لبنية الروبوت، ويحاول إضافة كمية دقيقة ومثالية من "الضجيج" (مثل ذرة غبار صغيرة جدًا) إلى صورة قطة لخداع الروبوت وإيهامه بأنها كلب.

النتيجة: إذا فشل الروبوت ولو لمرة واحدة أمام هذا اللص المحترف، نقول إن الروبوت "ليس متينًا".
العيب: هذا يشبه اختبار سيارة عن طريق صدمها في جدار من الطوب بسرعة 100 ميل في الساعة. هذا يخبرك أن السيارة يمكن أن تتحطم، لكنه لا يخبرك كيف تتعامل مع المطبات العادية في الطريق. إنه اختبار مخيف ومتشائم للغاية.

اختبار "الضجيج المعروف" (المتانة الاحتمالية - Probabilistic Robustness)
الآن، تخيل أنه ليس لديك لص محترف. بدلاً من ذلك، قمت فقط برش بعض الغبار العشوائي على الصورة. ولكن هنا تكمن المشكلة: عليك أن تخمن نوع هذا الغبار.

يفترض معظم الباحثين أن الغبار هو "غاوسي" (مثل مسحوق ناعم ومنفوش) أو "منتظم" (مثل الرمل). هم يفترضون أنهم يعرفون بالضبط كيف يسقط هذا الغبار.
العيب: في العالم الحقيقي، نادرًا ما تعرف بالضبط كيف يسقط الغبار. ربما يكون الغبار متكتلًا، أو ثقيلًا، أو يأتي من آلة معينة. إذا افترضت أن الغبار هو "مسحوق منفوش" بينما الغبار الحقيقي هو "رمل ثقيل"، فإن اختبارك سيكون خاطئًا. قد تعتقد أن الروبوت آمن، لكنه في الواقع ليس كذلك.

2. الحل الجديد: NPPR (المحقق الذكي)

يقترح المؤلفون المتانة الاحتمالية غير المعلمية (NPPR).

بدلاً من التخمين حول شكل "الغبار"، يعمل نظام NPPR مثل محقق ذكي. ينظر إلى البيانات ويتساءل: "ما هو أسوأ نوع ممكن من الغبار الذي يمكن أن يوجد بشكل واقعي، والذي قد يخدع الروبوت بأكبر قدر ممكن؟"

لا تخمين: هو لا يفترض أن الغبار غاوسي أو منتظم. بل يتعلم شكل الغبار مباشرة من البيانات.
النهج "المتحفظ": إنه يجد "سيناريو الحالة الأسوأ" ضمن نطاق الاحتمالات. يتساءل: "إذا كان الضجيج غير قابل للتنبؤ، فما هي أدنى فرصة سيظل فيها الروبوت صحيحًا؟"
النتيجة: هذا يمنحك ضمانًا للسلامة. إذا اجتاز الروبوت هذا الاختبار، فأنت تعلم أنه متين حتى ضد الأنواع الأكثر دهاءً وغير المعروفة من الضجيج.

3. كيف يعمل (خليط السحب)

لإيجاد هذا "الغبار في أسوأ حالاته"، تستخدم الورقة البحثية حيلة ذكية تسمى نموذج الخليط الغاوسي (GMM).

التشبيه: تخيل محاولة وصف عاصفة. قد يقول نموذج بسيط: "إنها مجرد أمطار". لكن العاصفة الحقيقية تحتوي على أمطار غزيرة، ورذاذ خفيف، وبرد، ورياح، وكلها مختلطة معًا.
الطريقة: يبني نظام NPPR "خليطًا من السحب". إنه ينشئ شكلًا معقدًا مكونًا من عدة أنواع مختلفة من الضجيج (مثل سحابة من المطر، وسحابة من البرد، إلخ) مختلطة معًا.
التعلم: يقوم بتعديل هذا الخليط حتى يجد التركيبة المحددة من الضجيج التي تجعل الروبوت يفشل في أغلب الأحيان. هذه هي التقديرات "المتحفظة".

4. ماذا وجدوا (الأدلة)

اختبر المؤلفون هذا على مجموعات بيانات صور شهيرة (مثل CIFAR و Tiny ImageNet) باستخدام عقول روبوتات قياسية (ResNet، VGG، إلخ).

التسلسل الهرمي: أثبتوا رياضيًا أن النتائج تقع دائمًا بهذا الترتيب:
1. المتانة العدائية (الجدار الطوبي): يبدو الروبوت في حالة سيئة للغاية (0% آمن).
2. NPPR (المحقق الذكي): يبدو الروبوت جيدًا، ولكن بحذر. إنه يعطي درجة أقل وأكثر أمانًا من الطرق القديمة.
3. المتانة الاحتمالية القديمة (المخمنون): يبدو الروبوت رائعًا (أكثر من 90% آمن)، ولكن قد يكون هذا كذبة لأنهم خمنوا نوع الغبار بشكل خاطئ.
الاستنتاج: غالبًا ما تبالغ الطرق القديمة في تقدير مدى أمان الروبوت. يوفر NPPR رقمًا أقل وأكثر صدقًا. من الأفضل أن تعرف أن روبوتك آمن بنسبة 60% (وتستعد لذلك) على أن تعتقد أنه آمن بنسبة 95% وتتفاجأ بفشله.

الملخص

الطريقة القديمة: "لنفترض أن الضجيج يشبه هذا النوع المحدد من الرمل". (وهذا أمر خطير إذا كان تخمينك خاطئًا).
الطريقة الجديدة (NPPR): "لنتعلم ما هو أسوأ ضجيج ممكن من البيانات نفسها، حتى لا نُباغت بما لا نتوقعه".
لماذا يهم هذا: إنه يمنعنا من الثقة الزائدة الزائفة. فهو يوفر درجة سلامة واقعية ومتحفظة لنماذج الذكاء الاصطناعي عندما لا نعرف بالضبط نوع "الضجيج" الذي ستواجهه في العالم الحقيقي.

ملخص تقني: المتانة الاحتمالية غير المعلمية (NPPR)

1. بيان المشكلة

من المعروف أن نماذج التعلم العميق (DL) تكون عرضة للاضطرابات الطفيفة في المدخلات. وبينما تعالج المتانة الخصومية (AR) الهجمات الحتمية في الحالة الأسوأ، ظهرت المتانة الاحتمالية (PR) كمقياس تكميلي لتحديد احتمالية احتفاظ النموذج بسلوك صحيح تحت تأثير الاضطرابات العشوائية (مثل ضوضاء المستشعر أو هجمات القوة الغاشمة).

ومع ذلك، تعاني صياغات المتانة الاحتمالية (PR) الحالية من قصور حرج: فهي تفترض أن توزيع الاضطراب ثابت ومعروف مسبقاً (على سبيل المثال، افتراض الضوضاء الغاوسية أو الموحدة). وفي السيناريوهات العملية، نادراً ما يكون التوزيع الحقيقي للاضطرابات معروفاً. إن الاعتماد على توزيع محدد مسبقاً وبشكل تعسفي قد يؤدي إلى تقدير أقل من حقيقي للمخاطر، حيث قد لا يمثل التوزيع المختار "الحالة الأسوأ" للسلوك العشوائي ضمن الميزانية المسموح بها. هناك حاجة لمقياس متانة لا يعتمد على افتراضات توزيعية محددة مسبقاً، بل يستمد تقديراً محافظاً مباشرة من البيانات.

2. المنهجية

يقترح البحث المتانة الاحتمالية غير المعلمية (NPPR)، وهو إطار عمل يتعلم توزيع اضطراب مُحسّن من البيانات لتوفير تقدير محافظ (حد أدنى) للمتانة.

التعريفات الجوهرية:

مقياس NPPR: يُعرف رسمياً بأنه الحد الأدنى (infimum) للمتانة الاحتمالية عبر مجموعة من توزيعات الاضطراب المقبولة ( $\mathcal{P}_\epsilon$ ). بخلاف الـ PR القياسي الذي يستخدم $\omega$ ثابتاً، يسعى NPPR لإيجاد التوزيع $\omega \in \mathcal{P}_\epsilon$ الذي يقلل من احتمالية بقاء النموذج صحيحاً:
$S_{NPPR}(x, y) \triangleq \inf_{\omega \in \mathcal{P}_\epsilon} \mathbb{E}_{\epsilon \sim \omega(\cdot|x)} [\mathbb{1}_{h(x+\epsilon)=y}]$
الحدود النظرية: يثبت المؤلفون أن $G_{AR} \le G_{NPPR} \le G_{PR}$ ، حيث يمثل $G$ المتانة العالمية. يعمل NPPR كمقياس أكثر تحفظاً من الـ PR القياسي، ولكنه عموماً أعلى من المتانة الخصومية (AR) في الحالة الأسوأ.

إطار التقدير:
لتقدير NPPR، طور المؤلفون مُقدِّراً قابلاً للتعلم يعتمد على نموذج الخليط الغاوسي (GMM):

نمذجة التوزيع: يتم تقريب توزيع الاضطراب بواسطة نموذج خليط غاوسي (GMM) محدود بـ $K$ من المكونات. يتم تعلم المعلمات (الأوزان، المتوسطات، التباينات) لتقليل متانة النموذج.
سيناريوهات التبعية: يدعم الإطار أربعة هياكل تبعية بين الاضطرابات والمدخلات/التسميات:
- مستقل عن المدخلات: الضوضاء ثابتة عبر جميع المدخلات.
- معتمد على التسمية: الضوضاء تتغير بناءً على تسميات الحقيقة الأرضية (ground-truth labels).
- معتمد على المدخلات: الضوضاء تتغير بناءً على ميزات المدخلات.
- التبعية المشتركة: مزيج من ما سبق.
التحسين والتدريب:
- الهدف هو تقليل الخسارة المتوقعة (هامش اللوغيت - logit margin) عبر التوزيع المتعلم.
- بما أن الـ GMM يتضمن أخذ عينات منفصلة (اختيار مكون)، يتم استخدام خدعة Gumbel-Softmax لإنشاء استرخاء قابل للاشتقاق، مما يسمح بالتدريب من البوام النهاية عبر التدرج العشوائي المتناقص (SGD).
- البنية: يقوم رأس MLP خفيف الوزن بتمثيل معلمات الـ GMM. وللتعامل مع مساحات الصور عالية الأبعاد، يتم نمذجة الاضطرابات في مساحة سمات منخفضة الأبعاد ثم تُعاد خرائطتها إلى مساحة المدخلات باستخدام الرفع التصاعدي ثنائي التكعيب (bicubic up-sampling).
- القيد: يضمن رسم التعيين (mapping) باستخدام دالة tanh مُقاسة بقاء الاضطرابات ضمن ميزانية معيار $L_p$ .

3. المساهمات الرئيسية

مقياس رسمي: يوسع البحث مفهوم المتانة الاحتمالية إلى سياق غير معلمي، حيث يعرّف NPPR رسمياً ويربطه نظرياً بـ AR والـ PR القياسي.
تطوير المُقدِّر: تم تطوير مُقدِّر عملي لـ NPPR باستخدام GMM مع استرخاء Gumbel-Softmax. إنه يتعلم توزيع اضطراب محافظ دون افتراض مسبق ثابت، مع ضمانات نظرية حول تقارب الهدف المسترخى.
تقييم شامل: تم التحقق من صحة النهج عبر مجموعات بيانات متعددة (CIFAR-10, CIFAR-100, Tiny ImageNet) وبنيات مختلفة (ResNet18/50, WideResNet50, VGG16).
المصدر المفتوح: أطلق المؤلفون التنفيذ الكامل والتفاصيل التجريبية.

4. النتائج التجريبية

تُظهر التجارب أن NPPR يوفر تقديراً أكثر واقعية وتحفظاً للمتانة مقارنة بطرق الـ PR القياسية التي تفترض توزيعات ثابتة (الغاوسية، الموحدة، لابلاس).

التقديرات المحافظة: عبر جميع النماذج ومجموعات البيانات المختبرة، كان تقدير NPPR العالمي ( $\hat{G}_{NPPR}$ ) أقل باستمرار من تقديرات الـ PR المستمدة من التوزيعات الثابتة (على سبيل المثال، في CIFAR-10 مع ResNet18، $\hat{G}_{NPPR} \approx 76.29\%$ مقابل $\hat{G}_{PR}^{Gaussian} \approx 95.28\%$ )، ومع ذلك فهو أعلى من الـ AR في الحالة الأسوأ (على سبيل المثال، $\approx 3.10\%$ ). وهذا يؤكد الحد النظري $G_{AR} \le G_{NPPR} \le G_{PR}$ .
تأثير التبعية: تُظهر الدراسة أن السماح لتوزيع الاضطراب بالاعتماد على المدخلات أو التسميات (التبعية المشتركة أو التبعية للمدخلات) يؤدي عموماً إلى تقديرات متانة أكثر تحفظاً (أقل) مقارنة بالافتراضات المستقلة عن المدخلات.
الدراسة الاستقصائية (Ablation): تؤدي زيادة عدد مكونات GMM ( $K$ ) عموماً إلى تحسين القدرة التعبيرية للتوزيع المتعلم، مما يؤدي إلى درجات NPPR أقل (أكثر تحفظاً).
تحليل نصف قطر التباين (Cross-Radius): تميل المُقدِّرات المدربة عند أنصاف أقطار اضطراب أكبر إلى إنتاج تقديرات أكثر تحفظاً عند تقييمها عند أنصاف أقطار أكبر، مما يظهر استقراراً عبر قيود الميزانية المختلفة.

5. الأهمية والادعاءات

يضع هذا البحث NPPR ليس كطريقة هجوم جديدة، بل كـ مُقدِّر مخاطر محافظ للمقيمين. تكمن أهميته الأساسية في معالجة فجوة "التوزيع المجهول" في تقييم المتانة الحالي.

العملية: من خلال إزالة الافتراض غير الواقعي لمعرفة توزيع الاضطراب، يقدم NPPR مقياساً أكثر قابلية للتطبيق في السيناريوهات الواقعية حيث تكون مصادر الضوضاء (مثل انزياح المستشعر أو الضوضاء البيئية) معقدة وغير معروفة.
التكامل: يصرح المؤلفون صراحةً أن NPPR لا يحل محل AR أو PR، بل يكملهما من خلال توفير تقدير للحد الأدنى للمتانة الاحتمالية عندما تكون طبيعة الاضطرابات العشوائية غير معروفة.
السلامة: من خلال تحديد "التوزيع العشوائي للأسوأ" ضمن مجموعة مقبولة، يساعد NPPR في الإجابة على السؤال الحاسم: "إذا كان المدخل عرضة لاضطرابات عشوائية غير معروفة، فما هو الحد الأدنى للمتانة التي يمكن أن يتمتع بها النموذج؟" وهذا يوفر هامش أمان قد تغفله مقاييس الـ PR ذات التوزيع الثابت.