💻 computer science

Adversarial Evasion Attacks on Computer Vision using SHAP Values

تقترح هذه الورقة هجوماً تفادياً من نوع الصندوق الأبيض (white-box) على نماذج الرؤية الحاسوبية يستفيد من قيم SHAP لتحديد أهمية المدخلات، مما يثبت متانته الفائقة مقارنة بطريقة "إشارة التدرج السريع" (Fast Gradient Sign Method) في توليد تصنيفات خاطئة غير محسوسة، لا سيما في سيناريوهات إخفاء التدرج.

المؤلفون الأصليون: Frank Mollard, Marcus Becker, Florian Roehrbein

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Frank Mollard, Marcus Becker, Florian Roehrbein

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: اختراق "عين" الذكاء الاصطناعي

تخيل أنك قمت ببناء روبوت فائق الذكاء يمكنه النظر إلى صورة وإخبارك ما إذا كانت لـ قطة أم كلب. تعتقد أنه مثالي، لكن هذه الورقة البحثية تكشف عن سر مخيف: يمكنك خداع هذا الروبوت لجعله يرى القطة على أنها كلب (أو العكس) عن طريق تغيير الصورة بشكل طفيف جدًا—تغيير ضئيل جدًا لدرجة أن البشر لا يمكنهم حتى رؤية الفرق.

يُسمى هذا هجوم التهرب العدائي (Adversarial Evasion Attack). إنه يشبه خدعة يد الساحر ولكن بالنسبة للحواسيب. تقدم الورقة طريقة جديدة وأكثر قوة للقيام بهذه الخدعة باستخدام شيء يسمى قيم SHAP.

الطريقة القديمة: "المطرقة العمياء" (FGSM)

قبل هذه الورقة، كانت الطريقة الأكثر شهرة لخداع هذه الروبوتات هي طريقة تسمى FGSM (طريقة إشارة التدرج السريع).

التشبيه:
تخيل أن الروبوت هو طالب يؤدي اختبارًا. المعلم (الخوارزمية) يقيم الاختبار بناءً على مدى بعد الإجابة عن الصواب.

FGSM تشبه طالبًا لا يفهم لماذا أخطأ في سؤال ما. هو فقط ينظر إلى الدرجة، ويرى أنها خاطئة، ثم يدفع الإجابة في الاتجاه المعاكس بشكل أعمى.
إنهم يستخدمون نهج "المطرقة": يضربون كل بكسل في الصورة بنفس القدر من القوة، بغضًا عما إذا كان هذا البكسل مهمًا بالفعل أم لا.
المشكلة: أحيانًا يصاب الروبوت بالارتباك ويبدأ في الاعتقاد بـثقة أكبر بأن الإجابة الخاطئة هي الصحيحة. الأمر يشبه ضرب جدار بمطرقة؛ أحيانًا يصبح الجدار أقوى نتيجة لذلك. وهذا ما يسمى "قناع التدرج" (gradient masking).

الطريـقة الجديدة: "مشرط الجراح" (هجوم SHAP)

يقترح مؤلفو هذه الورقة طريقة أكثر ذكاءً باستخدام قيم SHAP.

ما هي SHAP؟
فكر في SHAP كـ عدسة مكبرة تشرح بالضبط أي أجزاء من الصورة أقنعت الروبوت باتخاذ قراره.

إذا رأى الروبوت صورة قطة، فإن SHAP يبرز الشوارب والآذان باللون الأحمر (بمعنى: "هذه الأجزاء جعلتنا نعتقد أنها قطة!").
ويبرز الخلفية باللون الأزرق (بمعنى: "هذا الجزء يجادل ضد كونها قطة").
ويتجاهل الأجزاء التي لا تهم.

التشبيه:
بدلاً من ضرب الصورة بأكملها بمطرقة، فإن هجوم SHA P يشبه الجراح.

ينظر الجراح إلى المناطق "الحمراء" (الأجزاء التي يحبها الروبوت) والمناطق "الزرقاء" (الأجزاء التي يكرهها الروبوت).
يقوم بتعديل تلك البكسلات المحددة بلطف لجعلها "محايدة".
يحول أدلة "القطة" إلى أدلة "لا أعرف".

لما لماذا هذه الطريقة أفضل؟

الدقة: لا تضيع الطاقة في البكسلات التي لا تهم.
التخفي: نظرًا لأنها تغير الأجزاء المهمة فقط بشكل طفيف، فإن الصورة تظل تبدو متطابقة تمامًا للعين البشرية.
الفعالية: وجدت الورقة أن هذه الطريقة تخدع الروبوت في كثير من الأحيان أكثر من طريقة "المطرقة العمياء". في الاختبارات على الوجوه البشرية، فشلت الطريقة القديمة بنسبة 31% من المرات، بينما نجحت طريقة SHAP الجديدة بنسبة 98%.

سر "الفراشة"

لاحظ الباحثون شيئًا رائعًا عندما نظروا في آلاف الصور.

البكسلات ذات القيم الساطعة جدًا أو المظلمة جدًا لها تأثير قوي عادةً على قرار الروبوت.
البكسلات ذات القيم "المتوسطة" (مثل الرمادي المتوسط) ليس لها أي تأثير تقريبًا.

الاستراتيجية:
يحاول هجوم SHAP دفع البكسلات "المهمة" إلى منطقة "القيم المتوسطة" تلك.

تخيل أن الروبوت هو قاضٍ. هجوم SHAP يأخذ الأدلة التي يعتمد عليها القاضي ويحولها إلى أدلة "باهتة" أو "غير مبالية".
عندما يتم تحييد جميع الأدلة القوية، يرتبك الروبوت. يتوقف عن التأكد مما إذا كانت قطة، وفجأة، قد يقرر أنها كلب.

لماذا يجب أن نهتم؟

المؤلفون لا يحاولون كسر الإنترنت؛ هم يحاولون إصلاحه.

الخطر: إذا استطاع المخترقون خداع السيارات ذاتية القيادة (جعلها تعتقد أن علامة "قف" هي علامة تحديد سرعة) أو أجهزة الفحص الطبي (تجاهل ورم)، فإن ذلك أمر خطير.
الحل: من خلال إظهار كيف تعمل هذه الهجمات بالضبط، يمكن لخبراء الأمن بناء "أنظمة مناعة" للذكاء الاصطناعي. يمكنهم تدريب الروبوتات على النظر إلى الصورة الكاملة، وليس فقط إلى بعض البكسلات المحددة، مما يجعل من الصعب خداعها.

الملحوظة (الجانب الآخر للعملة)

هناك جانب سلبي واحد لهذه الطريقة الجديدة.

إنها مكلفة. حساب قيم SHAP يشبه القيام بلغز رياضي ضخم لكل بكسل بمفرده. يتطلب الأمر الكثير من قدرة الحوسبة (حواسيب فائقة).
تحتاج إلى وصول. للقيام بذلك، يحتاج المهاجم إلى معرفة كيفية بناء دماغ الروبوت بالضبط (هجوم "الصندوق الأبيض" - white-box attack). إذا كان الروبوت عبارة عن "صندوق أسود" سري، فسيكون من الصعب القيام بذلك.

الملخص

تظهر هذه الورقة أنه بينما كنا نستخدم "مطرقة ثقيلة" لخداع الذكاء الاصطناعي، يمكننا الآن استخدام "مشرط" (قيم SHAP) للقيام بذلك بشكل أكثر فعالية. إنها بمثابة جرس إنذار: نماذج الذكاء الاصطناوي لدينا حاليًا تركز بشكل مفرط على تفاصيل محددة، ونحن بحاجة إلى جعلها أكثر ذكاءً وقوة قبل استخدامها في مواقف حقيقية حرجة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "هجمات التهرب العدائية على الرؤية الحاسوبية باستخدام قيم SHAP" من إعداد مولارد، بيكر، ورورهيبين.

1. بيان المشكلة

تتناول الورقة البحثية ضعف نماذج الرؤية الحاسوبية في التعلم العميق تجاه هجمات التهرب العدائية (Adversarial Evasion Attacks). تتضمن هذه الهجمات إدخال اضطرابات غير محسوسة إلى بيانات المدخلات أثناء مرحلة الاستدلال لخداع النموذج نحو التصنيف الخاطئ أو تقليل ثقة المخرجات.

التهديد: بينما تكون هذه الاضطرابات غير مرئية للعين البشرية، إلا أنها يمكن أن تقوض تماماً موثوقية أنظمة الذكاء الاصطناعي المستخدمة في التطبيقات الحرجة.
محدودية الطرق الحالية: يسلط المؤلفون الضوء على أن أكثر هجمات الصندوق الأبيض شيوعاً، وهي طريقة إشارة التدرج السريع (FGSM) (ومتغيراتها التكرارية)، تعتمد على تدرج دالة الخسارة. يمتلك هذا النهج نقطتي ضعف رئيسيتين:
1. يفترض وجود مقدار موحد ( $\epsilon$ ) لجميع الأوزان، متجاهلاً الأهمية المتفاوتة لكل بكسل على حدة.
2. هو عرضة لظاهرة قناع التدرج (Gradient Masking) (حيث تصبح التدرجات غير مفيدة، أو تتلاشى، أو تتشتت)، مما يؤدي إلى معدلات نجاح هجوم غير متسقة، وفي بعض الأحيان تؤدي إلى زيادة ثقة النموذج بدلاً من خفضها.

2. المنهجية

يقترح المؤلفون استراتيجية هجوم جديدة من نوع "الصندوق الأبيض" تستبدل التحسين القائم على التدرج بقيم SHAP (تفسيرات شابللي المضافة).

المفهوم الجوهري

بدلاً من استخدام تدرج دالة الخسارة، يستفيد الهجوم من قيم SHAP لقياس المساهمة الهامشية لكل بكسل في المدخلات تجاه التنبؤ النهائي للنموذج.

منطق SHAP: تُشتق قيم SHAP من نظرية الألعاب التعاونية (قيم شابللي). فهي تحسب متوسط المساهمة الهامشية لميزة (بكسل) عبر جميع المجموعات الفرعية الممكنة من الميزات.
نمط "الفراشة": من خلال تحليل أربع مجموعات بيانات مختلفة (وجوه الحيوانات، القطط والكلاب، MNIST، والوجوه البشرية)، لاحظ المؤلفون نمطاً ثابتاً: تميل قيم SHAP إلى أن تكون قريبة من الصفر لشدة البكسلات في نطاق "محايد" (على سبيل المثال، حوالي 0.3–0.4 على مقياس 0–1). البكسلات ذات القيم البعيدة عن هذا النطاق المحايد (الداكنة جداً أو الساطعة جداً) تمارس أقوى تأثير إيجابي أو سلبي على التصنيف.

خوارزمية الهجوم

يهدف الهجوم المقترح إلى تحييد تأثير البكسلات المؤثرة عن طريق نقلها نحو منطقة SHAP "المحايدة".

تحديد البكسلات المؤثرة: حساب قيم SHAP ( $\phi$ ) لصورة المدخلات.
العتبة (Thresholding): اختيار البكسلات التي تتجاوز فيها القيمة المطلقة لـ SHAP عتبة ( $v$ )، والتي تُضبط عادةً عند $2\sigma_\phi$ (ضعف الانحراف المعياري لقيم SHAP).
الاضطراب: تعديل قيمة البكسل ( $x$ $x$ ) لتحريكه نحو المنطقة المحايدة (حيث $\phi \approx 0$ $ϕ \approx 0$ ).
- إذا كانت قيمة البكسل عالية ( $x \geq 1-h$ ) ولها تأثير إيجابي قوي، يتم خفضها.
- إذا كانت قيمة البكسل منخفضة ( $x \leq h$ ) ولها تأثير سلبي قوي، يتم زيادتها.
- يتم تحديد مقدار الإزاحة بناءً على قيمة SHAP نفسها ( $\epsilon \cdot |\phi|$ )، وليس بناءً على ثابت عددي (scalar).

المعادلة:
$x' = x + \epsilon \cdot \begin{cases} -|\phi| & \text{if } x \geq 1-h \land V \\ |\phi| & \text{if } x \leq h \land V \end{cases}$
حيث $V$ هو الشرط الذي يشير إلى أن البكسل له تأثير كبير ( $|\phi| \geq v$ ).

3. المساهمات الرئيسية

ناقل هجوم جديد: تقديم هجوم "صندوق أبيض" يستخدم قيم SHAP بدلاً من التدرجات، مما يقدم نهجاً مختلفاً جوهرياً للتلاعب بمدخلات النموذج.
القوة ضد قناع التدرج: تُظهر الطريقة أداءً فائقاً في السيناريوهات التي تفشل فيها الهجمات القائمة على التدرج بسبب "قناع التدرج" أو دوال الخسارة غير الناعمة.
الطبيعة المزدوجة للقابلية للتفسير: تسلط الورقة الضوء على الطبيعة مزدوجة الاستخدام لأدوات الذكاء الاصطناعي القابل للتفسير (XAI). فبينما صُممت SHAP لجعل النماذج شفافة، يثبت المؤلفون أنه يمكن تسليحها لتحديد واستغلال الميزات التي يعتمد عليها النموذج بشدة.
التحقق التجريبي: تم اختبار الطريقة عبر بنيات متنوعة (CNNs, EfficientNetB7) ومجموعات بيانات مختلفة (MNIST، وجوه الحيوانات، الوجوه البشرية)، مما أظهر نتائج متسقة بغض النظر عن عمق النموذج أو تعقيد البيانات.

4. النتائج

قارن المؤلفون هجوم SHAP الخاص بهم بهجوم FGSM التكراري (Kurakin et al., 2017) عبر أربع مجموعات بيانات.

مجموعة البيانات	دقة النموذج	معدل التصنيف الخاطئ لـ FGSM	معدل التصنيف الخاطئ لهجوم SHAP
وجوه الحيوانات	99.5%	52%	73%
القطط والكلاب (مفلترة)	98%	98%	89%
MNIST	99%	34%	60%
وجوه النساء والرجال	97%	69%	98%

عدم القدرة على الإدراك البصري: ظل كلا الهجومين غير محسوسين بصرياً للبشر عند قيم $\epsilon$ المثلى لكل منهما.
الاتساق: أظهر FGSM تباينًا عاليًا؛ ففي بعض الحالات (مثل MNIST)، فشل في تقليل الثقة بفعالية. وفرت هجمات SHAP معدلات تصنيف خاطئ مستقرة وعالية عبر جميع مجموعات البيانات.
آلية النجاح: نجحت هجمات SHAP من خلال استهداف البكسلات الأكثر تأثيراً وتحييدها، بينما طبق FGSM ضجيجاً موحداً بناءً على إشارات التدرج، وهو ما فشل غالباً في تعطيل حدود قرار النموذج بفعالية عندما كانت التدرجات مضللة.

5. الأهمية والخاتمة

تأكيد الضعف: تثبت الدراسة أن نماذج التعلم العميق معرضة بشدة للهجمات التي تستهدف تحديداً ميزات "اتخاذ القرار" التي تحددها أدوات التفسير.
الآثار الدفاعية: تشير النتائج إلى أن الدفاعات الحالية القائمة على قناع التدرج أو تنعيمه قد تكون غير كافية. يجب أن تضمن الدفاعات المستقبلية عدم اعتماد قرارات النموذج بشكل مفرط على مجموعة فرعية صغيرة من بكسلات محددة (الاعتماد المفرط على الميزات المحلية) وأن تتعمم النماذج بشكل أفضل عبر الصورة بأكملها.
المقايضة الحسابية: يقر المؤلفون بمحدودية: هجمات SHAP مكلفة حاسوبياً مقارًة بـ FGSM. يتطلب حساب قيم SHAP موارد كبيرة، خاصة للصور عالية الدقة والنماذج المعقدة، مما قد يحد من عملية تطبيق هذا الهجوم في سيناريوهات الوقت الفعلي واسعة النطاق دون حوسبة عالية الأداء.

الخلاصة النهائية: تثبت الورقة أن قيم SHAP ليست مجرد أداة لفهم الذكاء الاصطناعي، بل هي سلاح قوي للهجمات العدائية، مما يكشف أنه يمكن خداع النماذج بفعالية أكبر من خلال تحييد ميزاتها الأكثر "ثقة" بدلاً من مجرد اتباع تدرج دالة الخسارة.