💻 computer science

STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

تُعد STRAP-ViT آلية دفاع غير قابلة للتدريب وتعمل بمبدأ "التوصيل والتشغيل" لنماذج المحولات الرؤيوية (Vision Transformers)، حيث تعمل على تخفيف هجمات الرقعة العدائية عبر تحديد الرموز الشاذة إحصائياً باستخدام تباعد جينسن-شانون وتطبيق تحويلات عشوائية عليها، محققةً دقة تقارب دقة الصور الأصلية دون تكاليف تدريب إضافية.

المؤلفون الأصليون: Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك حارس أمن ذكي للغاية ومتطور تقنيًا (يُسمى Vision Transformer أو ViT)، مهمته هي النظر إلى الصور وتحديد ما بداخلها. هذا الحارس قوي للغاية؛ فهو لا يكتفي بمجرد النظر إلى البكسلات كما تفعل العين البشرية، بل يقوم بتفكيك الصورة إلى قطع أحجية صغيرة تسمى "الرموز" (tokens)، ثم يحلل كيفية ارتباط كل منها بالآخر لاتخاذ قرار.

ومع ذلك، هناك مخادع ذكي يُعرف باسم "الرقعة العدائية" (Adversarial Patch). فكر في هذا كملصق صغير ملون بألوان زاهية أو قطعة شريط لاصق ذات نمط غريب، يلصقها المجرم على لوحة "قف" أو على قميص شخص ما. بالنسبة للإنسان، هي مجرد ملصق صغير، لكن بالنسبة لحارس الذكاء الاصطائي، فإن هذا الملصق يشبه "منارة مغناطيسية" (hypnotic lighthouse)؛ فهو يصرخ بصوت عالٍ جدًا لدرجة تجعل الحارس يتجاهل لوحة "القف" أو الشخص ويركز تمامًا على الملصق، مما يجعله يصنف الشيء بشكل خاطئ وبثقة تامة (على سبيل المثال، يعتقد أن لوحة "القف" هي "راديتر/مشعاع").

تقدم هذه الورقة نظام دفاع جديد يسمى STRAP-ViT. وإليك كيف يعمل، مشروحًا ببساطة:

1. المشكلة: الملصق "الصاخب"

أدرك المؤلفون أن قطع الأحجية (الرموز) التي تغطي الملصق الخبيث تتصرف بشكل مختلف عن القطع العادية.

الرموز الطبيعية: هادئة وتتبع الأنماط المعتادة للصورة.
رموز الملصق: فوضوية، صاخبة، و"غريبة" إحصائيًا. لديها "هالة" أو توزيع طاقة مختلف.

2. الحل: STRAP-ViT (الفلتر الذكي)

إن STRAP-ViT يشبه "الحارس الشخصي" (Bouncer) الواقف عند باب عقل الذكاء الاصطناعي. لا يحتاج إلى إعادة تدريب؛ بل يتم توصيله فقط ويبدأ في العمل. وهو يعمل عبر مرحلتين:

المرحلة (أ): المحقق (الكشف)

يستخدم الحارس أداة رياضية تسمى "تباعد جينسن-شانون" (Jensen-Shannon Divergence) (لنسمِّها "مقياس الغرابة").

يقوم بمقارنة كل قطعة أحجية في الصورة بما يجب أن تبدو عليه "القطعة الطبيعية".
إذا كانت القطعة "غريبة" جدًا (تباعد عالٍ)، يقوم الحارس بتمييزها.
القاعدة: لا يحتاج الحارس للإمساك بكل قطعة غريبة، بل يحتاج فقط للإمساك بما يكفي لتغطية 50% من الملصق. الأمر يشبه إدراكك أنه إذا غطيت نصف المنارة المغناطيسية ببطانية، فلن يكون ضوءها قويًا بما يكفي لإعماء الحارس.

المرحلة (ب): الممسحة السحرية (التخفيف)

بمجرد أن يحدد الحارس الرموز المشبوهة (تلك الموجودة تحت الملصق)، فإنه لا يقوم بمجرد حذفها (لأن ذلك سيترك ثقبًا في الصورة)، بل يطبق "ممسحة سحرية عشوائية" عليها.

تخيل أن الرموز مغطاة بغراء لزج ومربك (الضجيج العدائي).
يختار النظام عشوائيًا طريقة واحدة لمسح ذلك الغبار: ربما يقوم بتمطيط الرمز، أو ضغطه، أو تغيير درجة حرارة لونه.
لماذا العشوائية؟ إذا حاول المخادع صنع ملصق يمكنه النجاة من نوع واحد من المسح، فإن النظام سيختار ببساطة طريقة مسح عشوائية مختلفة في المرة القادمة. من المستحيل على المهاجم التنبؤ بالحركة العشوائية التي ستحدث، وبالتالي يتم تحييد قوة الملصق.

3. النتيجة: صورة آمنة

بعد أن يقوم الحارس بمسح الرموز المشبوهة، ينظر حارس الذكاء الاصطناعي إلى الصورة مرة أخرى.

"المنارة المغناطيسية" أصبحت الآن خافتة ومكسورة.
يستطيع الحارس أخيرًا رؤية الجسم الحقيقي (لوحة "القف" أو القرد) وتصنيفه بشكل صحيح.
والأهم من ذلك، نظرًا لأن النظام لا يلمس سوى الرموز "الغريبة" ويترك بقية الصورة كما هي، فإن أداء الذكاء الاصطناعي على الصور الطبيعية والنظيفة لا يتغير تقريبًا. الأمر يشبه إصلاح خدش في سيارة دون الحاجة لإعادة طلاء السيارة بأكملها.

لماذا هذا الأمر مهم؟

لا مجهود شاق: على عكس الدفاعات الأخرى التي تتطلب إعادة تدريب الذكاء الاصطناعي (وهو أمر يكلف الملايين ويستغرق سنوات)، فإن STRAP-ViT هو أداة "وصل وشغل" (Plug-and-play). يمكنك إضافته ببساطة إلى النظام الحالي.
شامل: يعمل على أنواع مختلفة من حراس الذكاء الاصطناعي وأنواع مختلفة من الملصقات، سواء كان الملصق كبيرًا أو صغيرًا، أو إذا كانت هناك ملصقات متعددة في صورة واحدة.
فعال: إنه سريع وخفيف الوزن لدرجة أنه لا يبطئ الذكاء الاصطناعي، مما يجعله مثاليًا للاستخدام في العالم الحقيقي مثل السيارات ذاتية القيادة أو كاميرات المراقبة.

باختصاف شديد: STRAP-ViT هو فلتر ذكي وخفيف الوزن يرصد الضجيج "الصاخب" للملصق الخبيث، ويقوم بتشويش ذلك الضجيج عشوائيًا حتى يصبح غير ضار، ويسمح للذكاء الاصطناعي برؤية الحقيقة مرة أخرى — كل ذلك دون الحاجة إلى تحديث برمجي ضخم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "STRAP-ViT: التوكنات المجزأة عبر التحويلات العشوائية للدفاع ضد الرقع العدائية في نماذج ViT".

1. بيان المشكلة

تعد نماذج Vision Transformers (ViTs) مركزية بشكل متزايد في مجال الذكاء الاصطناعي، لكنها تظل عرضة للغاية لـ الرقع العدائية (Adversarial Patches). وخلافاً للاضطرابات على مستوى البكسل، فإن الرقع العدائية هي أنماط موضعية يمكن تنفيذها مادياً (مثل الملصقات) والتي يمكنها اختطاف آلية الانتباه الذاتي للنموذج.

التهديد: يمكن لرقعة صغيرة عالية التباين أن تهيمن على أوزان الانتباه عبر الطبقات، مما يؤدي إلى إفساد "توكن الفئة" (Class Token) وفرض تصنيفات خاطئة واثقة، حتى لو كانت الرقعة تغطي جزءاً ضئيلاً من الصورة.
قصور الدفاعات الحالية:
- الطرق المعتمدة على الشهادات (Certifiable methods): (مثل smoothed ViTs) مكلفة حاسوبياً وغالباً ما تتطلب بنيات معمارية متخصصة.
- الطرق التجريبية (Empirical methods): (مثل التدريب العدائي) تستهلك موارد حوسبة كبيرة وتفتقر إلى القدرة على الانتقال (Transferability).
- الدفاعات في فضاء البكسل: غالباً ما تفشل في معالجة آليات الاستدلال على مستوى التوكن (Token-level) الخاصة بنماذج ViT.
الفجوة: هناك حاءة إلى آلية دفاع خالية من التدريب (Training-free)، وفعالة حاسوبياً، ومستقلة عن النموذج (Model-agnostic)، وتعمل مباشرة ضمن الفضاء الميزاتي الدلالي (Semantic Feature Space) للـ ViT (أي على مستوى التوكنات) بدلاً من فضاء البكسل الخام.

2. المنهجية: STRAP-ViT

إن STRAP-ViT هو كتلة دفاعية غير قابلة للتدريب، تعمل بمبدأ "التوصيل والتشغيل" (Plug-and-play)، تُدرج في مسار الاستدلال الخاص بـ ViT. وهي تعمل عبر مرحلتين متميزتين: الكشف (Detection) والتخفيف (Mitigation).

أ. مرحلة الكشف: تجزئة التوكنات عبر تباعد جينسن-شانون (JSD)

الرؤية الجوهرية هي أن التوكنات التي تتداخل مع رقعة عدائية تظهر خصائص إحصائية متميزة مقارنة بالتوكنات السليمة.

الأساس الإحصائي: تسبب الرقع العدائية انزياحاً منهجياً في توزيع القنوات (Channel Distribution) للتوكنات المتأثرة، مما يؤدي إلى ارتفاع الإنتروبيا والتباعد الإحصائي عن التوزيع المرجعي "السليم".
المقياس: تستخدم الطريقة تباعد جينسن-شانون (JSD) لقياس التفاوت بين توزيع الاحتمالات للتوكن ( $p_{\ell,t}$ $p_{ℓ, t}$ ) والتوزيع المرجعي المحسوب مسبقاً ( $q_{\ell,t}$ $q_{ℓ, t}$ ) المستمد من الصور السليمة.
- $JSD(p|q) = \frac{1}{2}KL(p||M) + \frac{1}{2}KL(q||M)$ ، حيث $M$ هو توزيع المنتصف.
- يتم تعريف درجة الشذوذ كـ $s_{\ell,t} = \sqrt{JSD(p_{\ell,t}|q_{\ell,t})}$ .
الاختيار: يتم تحديد التوكنات التي تسجل أعلى درجات JSD كتوكنات شاذة. يقوم النظام باختيار أعلى $K$ من التوكنات (وهو معلمة فائقة/Hyperparameter) لتحويلها. يتم اختيار قيمة $K$ لضمان تغطية 50% على الأقل من مساحة الرقعة العدائية بالتوكنات التي ستخضع للتحويل.

ب. مرحلة التخفيف: التحويلات المركبة العشوائية

بمجرد تحديد التوكنات الشاذة، تخضع لـ تحويل مركب عشوائي لتحييد الضجيج العدائي دون الحاجة لإعادة تدريب النموذج.

استراتيجية العشوائية: بدلاً من تطبيق تحويل ثابت واحد، يختار النظام مجموعة فرعية وترتيباً عشوائياً للتحويلات لكل توكن. هذا يمنع المهاجمين من تحسين الرقع ضد دفاع ثابت (مما يوفر حصانة ضد هجمات التوقع عبر التحويل - Expectation Over Transformation).
أنواع التحويلات:
1. إسقاط معيار $L_p$ (Lp-Norm Projection): يسقط تمثيل التوكن (Embedding) على كرة بنصف قطر $r$ للحد من طاقة القنوات المتطرفة.
2. الانكماش الأفيني (Affine Contraction): يطبق تحويلاً خطياً محدوداً ( $Az + b$ ) حيث يكون معيار المؤثر (Operator Norm) أقل من 1، مما يؤدي فعلياً إلى تقليص الفضاء الميزاتي.
3. تحويل السيمبلكس (Simplex Transform - Scaling الحرارة): يطبق دالة Softmax مع معلمة حرارة $T$ لإعادة وزن القنوات وتخميد الارتفاعات الحادة.
العملية: يتم إعادة دمج التوكنات المحولة في التسلسل، ثم يستمر نموذج ViT في عملية التمرير الأمامي القياسية لتوليد التنبؤ النهائي.

3. المساهمات الرئيسية

آلية دفاع مبتكرة: تقديم STRA-ViT، وهي طريقة خالية من التدريب تستغل التباعد الإحصائي للتوكنات العدائية للكشف عنها وتحييدها جراحياً.
العمل على مستوى التوكن: بخلاف دفاعات فضاء البكسل، يعمل STRAP-ViT مباشرة على التمثيلات الميزاتية (Semantic Representations) التي يستخدمها ViT للاستدلال، مما يجعله مناسباً بطبيعته لبنيات الـ Transformer.
الاستقلالية عن النموذج والرقعة: لا تتطلب الطريقة إعادة تدريب النموذج الأساسي، وتعمل عبر بنيات ViT مختلفة (مثل ViT-base-16، DinoV2) وأنواع مختلفة من الرقع.
المتانة العشوائية: يضمن استخدام التحويلات المركبة العشوائية أن يكون الدفاع قوياً ضد الهجمات التكيفية التي تحاول تجاوز تحويل معين.

4. النتائج التجريبية

قام المؤلفون بتقييم STRAP-ViT على مجموعتي بيانات ImageNet و CalTech-101 باستخدام نماذج خلفية ViT-base-16 و DinoV2 ضد عدة هجمات: الرقعة العدائية (Adversarial Patch)، LAVAN، GDPA، و RP2 (رقع متعددة).

دقة المتانة (Robust Accuracy):
- حققت STRAP-ViT دقة متينة ضمن نطاق 2–3% من الخطوط المرجعية السليمة.
- مثال (ViT-base-16 على ImageNet):
  - الرقعة العدائية (40x40): الخط المرجعي السليم ~80.5% $\leftarrow$ بدون دفاع ~3.6% $\leftarrow$ STRAP-ViT 78.8%.
  - LAVAN (40x40): بدون دفاع ~7.4% $\leftarrow$ STRAP-ViT 79.2%.
  - GDPA (40x40): بدون دفاع ~31.9% $\leftarrow$ STRAP-ViT 77.2%.
التأثير على الدقة السليمة (Clean Accuracy): للتدخل تأثير ضئيل جداً على البيانات السليمة. في ImageNet، كان الانخفاض في الدقة السليمة هامشياً (على سبيل المثال، -0.4%)، مما يثبت أن الطريقة لا تضعف الأداء على المدخلات الطبيعية.
الرقع المتعددة: نجحت الطة في الدفاع ضد RP2، وهو هجوم يستخدم ما يصل إلى خمس رقع موزعة، وذلك عبر تعديل المعلمة الفائقة $K$ لتغطية المزيد من التوكنات.
المقارنة: تفوقت STRAP-ViT على أفضل الدفاعات الحالية (مثل JEDI، ODDR، PatchCleanser، Smoothed ViT) بفارق كبير (78.8% مقابل 74.3% لـ ODDR في حالة رقع 40x40).

5. الأهمية والعمل المستقبلي

الكفاءة: التكلفة الحسابية لـ STRAP-ViT ضئيلة مقارنة بنموذج ViT نفسه، حيث أن حساب JSD والتحويلات هو من رتبة $O(Nd)$ ، بينما بلوكات الـ Transformer أكثر تعقيداً بكثير. كما أنها تتطلب صفر تكلفة تدريب إضافية.
العملية: ككتلة "توصيل وتشغيل"، يمكن نشرها فوراً في الأنظمة الحساسة للسلامة (مثل القيادة الذاتية، وأنظمة المراقبة) دون الحاجة لإعادة تدريب النماذج التأسيسية المكلفة.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع نهج "تجزئة التوكنات" هذا ليشمل نماذج اللغة والرؤية الكبيرة (LVLMs) وغيرها من البنيات القائمة على التوكنات لتأمين الجيل القادم من الذكاء الاصطناعي متعدد الوسائط.

في الختام، يوفر STRAP-ViT حلاً فعالاً للغاية، خفيف الوزن، ومتيناً ضد الثغرات الحرجة في نماذج ViTs تجاه الرقع العدائية الفيزيائية، مما يسد الفجوة بين الأمن النظري والنشر العملي.