Backdoor Directions in Vision Transformers

إليك ملخص تقني مفصل لورقة البحث بعنوان "اتجاهات الباب الخلفي في محولات الرؤية" (Backdoor Directions in Vision Transformers) من إعداد Karayalçın وآخرون.

1. بيان المشكلة

تشكل هجمات الباب الخلفي (Backdoor attacks) تهديداً كبيراً لأنظمة تعلم الآلة، وخاصة محولات الرؤية (ViTs). في هذه الهجمات، يقوم المهاجم بتسميم جزء صغير من بيانات التدريب بنمط "مُحفز" (trigger) محدد، مما يتسبب في جعل النموذج يصنف المدخلات التي تحتوي على هذا المُحفز إلى فئة مستهدفة، مع الحل الحفاظ على الأداء الطبيعي على البيانات النظيفة.

بينما توجد دفاعات للشبكات العصبية التلافيفية (CNNs)، إلا أنها غالباً ما تفشل أمام محولات الرؤية (ViTs). تعتمد الدفاعات الحالية الخاصة بـ ViT على اكتشاف أنماط الانتباه الشاذة، وهي غير فعالة ضد المُحفزات الموزعة والمتخفية (مثل WaNet وBPP) التي لا تُحدث انحرافات واضحة في الانتباه. هناك نقص جوهري في فهم كيفية تمثيل وتمرير ميزات الباب الخلفي داخلياً في ViTs، مما يجعل من الصعب تصميم دفاعات قوية ومستقلة عن النموذج.

2. المنهجية

يطبق المؤلفون تقنيات التفسير الآلي (mechanistic interpretability)، وتحديداً مفهوم الاتجاهات الخطية في تيار المتبقي (residual stream)، لتحليل محولات الرؤية (ViTs). الافتراض الأساسي هو أنه إذا كان المُحفز معروفاً، فإن اتجاهاً خطياً محدداً في مساحة التنشيط يقابل التمثيل الداخلي لهذا المُحفز.

تتقدم المنهجية عبر أربع مراحل رئيسية:

• اشتقاق اتجاه الباب الخلفي:

  • باستخدام مجموعة من الأزواج المتضادة (صور نظيفة $x$ مقابل صور ذات باب خلفي $x_t$)، يحسب المؤلفون متوسط متجه الفرق في مساحة التنشيط لكل طبقة $l$:
    $$\hat{r}_l = \frac{1}{|X_{pair}|} \sum_{(x, x_t) \in X_{pair}} (x^l_t - x^l)$$
  • يحللون نوعين من المتجهات: متجه رمز [CLS] ومتجه مدمج لجميع الرموز (tokens).

• التحقق السببي (التدخل):

  • توجيه التنشيط (Activation Steering): يقومون بإضافة الاتجاه المشتق $\hat{r}$ إلى التنشيطات النظيفة (لتحفيز سلوك الباب الخلفي) أو طرحه من التنشيطات ذات الباب الخلفي (لإخماده) أثناء التمرير الأمامي.
  • تعامد الأوزን (Weight Orthogonalization): يقومون بإسقاط مصفوفات الأوزان لطبقات التضمين (embedding)، والانتباه (attention)، وMLP لتكون متعامدة مع اتجاه الباب الخلفي $\hat{r}$:
    $$\mathbf{W}_{new} = \mathbf{W} - \hat{r}\hat{r}^T\mathbf{W}$$
  • إذا اختفى سلوك الباب الخلفي بعد التعامد، فإن ذلك يؤكد أن $\hat{r}$ هو المسؤول سببياً عن الهجوم.

• التحليل على مستوى الطبقات:

  • يتتبع المؤلفون كيفية انتشار معلومات المُحفز عبر طبقات الشبكة، مقارنين بين المحفزات ذات الرقع الثابتة (مثل BadNet) والمحفزات الديناميكية/المتخفية (مثل WaNet وSSBA).

• التفاعل العدائي:

  • يستقصون العلاقة بين الأبواب الخلفية والأمثلة العدائية (هجمات PGD). يقيسون تشابه جيب التمام (cosine similarity) بين متجهات الاضطراب للأمثلة العدائية واتجاه الباب الخلفي لمعرفة ما إذا كان هجوم PGD يستغل أو يعكس آلية الباب الخلفي.

• الكشف القائم على الأوزان:

  • باقتراح مخطط كشف خالٍ من البيانات، يحللون المحاذاة بين أوزان رأس المصنف وأوزان الإسقاط في الطبقات المبكرة لتحديد درجات "القيم المتطرفة" التي تشير إلى وجود باب خلفي، مستهدفين تحديداً الهجمات المتخفية.

3. المساهمات الرئيسية

1. تحديد اتجاهات الباب الخلفي الخطية: تثبت الورقة أن هجمات الباب الخلفي في ViTs تتم عبر وسيط هو اتجاه خطي واحد يمكن تحديده في تيار المتبقي للنموذج.
2. التأكيد السببي: من خلال توجيه التنشيط وتعامد الأوزان، يثبت المؤلفون أن إزالة هذا الاتجاه المحدد يحد من الباب الخلفي بفعالية مع حد أدنى من التأثير على الدقة النظيفة.
3. تمييز آليات المُحفز: تكشف الدراسة عن اختلافات في المنطق الداخلي بين أنواع الهجمات:
   • المُحفزات الثابتة (مثل BadNet): يتم توزيع معلومات المُحفز عبر الرموز (tokens) في الطبقات المبكرة ولا تتحد إلا في رمز [CLS] في الطبقات اللاحقة.
   • المُحفزات المتخفية (مثل WaNet وBPP): يمكن اكتشاف اتجاه الباب الخلفي في رمز [CLS] في مرحلة أبكر بكثير في الشبكة، مما يشير إلى أن هذه المُحفزات تُعالج كميزات عالمية (global features) فوراً.
4. الرابط العدائي-الباب الخلفي: تقدم الورقة دليلاً على أن الهجمات العدائية القائمة على PGD على النماذج ذات الباب الخلفي تتضمن غالباً عكس ميزة الباب الخلفي الداخلية (تشابه جيب تمام سالب في الطبقات اللاحقة) لاستعادة الفئة الأصلية، مما يقدم تفسيراً آلياً للملاحظات التجريبية السابقة.
5. مخطط كشف خالٍ من البيانات: تم اقتراح طريقة كشف خفيفة الوزن وقائمة على الأوزان تنجح في تحديد هجمات الباب الخلفي المتخفية (WaNet وBPP) دون الحاجة إلى بيانات نظيفة أو إعادة تدريب، متفوقة على الدفاعات القائمة على الانتباه لهذه التهديدات المحددة.

4. النتائج الرئيسية

• التخفيف (Mitigation): نجح تعامد الأوزان في تقليل معدل نجاح الهجوم (ASR) إلى ما يقرب من 0% (<1%) لمعظم الهجمات (بما في ذلك WaNet وSSBA وTrojanNN) عبر مجموعات بيانات CIFAR-10 وCIFAR-100 وTiny-ImageNet، مع الحفاظ على دقة نظيفة (CA) عالية.
• حساسية التوجيه: بينما استطاع توجيه التنشيط تعديل السلوك، إلا أنه كان أقل قوة من تعامد الأوزان. ومع ذلك، أكد أن الاتجاه يؤثر سببياً على المخرجات.
• ديناميكيات الطبقات:
  • بالنسبة لـ BadNet (الرقعة الثابتة)، كان توجيه جميع الرموز يعمل بشكل أفضل في الطبقات المبكرة، بينما كان توجيه [CLS] يعمل فقط في الطبقات النهائية.
  • بالنسبة لـ WaNet (المتخفي)، أصبح توجيه [CLS] فعالاً في الطبقات الوسطى، مما يشير إلى تكامل عالمي أسرع للمُحفز.
• التفاعل العدائي:
  • عند البدء من صور نظيفة، غالباً ما تؤدي هجمات PGD على النماذج ذات الباب الخلفي إلى تصنيف خاطئ للفئة المستهدفة، وأظهرت متجهات الاضطراب تشابه جيب تمام عالٍ مع اتجاه الباب الخلفي في الطبقات الوسطى (خاصة لـ WaNet وBPP).
  • عند البدء من صور ذات باب خلفي، تطلب هجوم PGD خطوات أكثر لقلب الملصق (label) للعودة إلى الفئة الأصلية. أظهرت متجهات الاضطراب تشابه جيب تمام سالباً قوياً مع اتجاه الباب الخلفي في الطبقات اللاحقة، مما يؤكد أن الهجوم يتضمن "إلغاء" ميزة الباب الخلفي.
• أداء الكشف: نجح كشف Z-score المقترح القائم على الأوزان في تحديد هجمات WaNet وBPP (المتخفية) عبر مختلف مجموعات البيانات. وقد واجه صعوبة مع هجمات الرقع الثابتة (BadNet وTrojanNN) وSSBA (التي كانت حالة حدية)، مما يسلط الضوء على أن الطريقة أكثر فعالية ضد الهجمات التي تدمج المُحفزات كتعديلات عالمية طفيفة في الأوزان.

5. الأهمية والآثار المترتبة

• الفهم الآلي: يجسّر هذا العمل الفجوة بين الأمن والتفسير، حيث يوضح أن نماذج ViTs، مثل النماذج اللغوية الكبيرة (LLMs)، تمثل مفاهيم معقدة (بما في ذلك المفاهيم الخبيثة) عبر فضاءات فرعية خطية.
• استراتيجية الدفاع: تشير النتائج إلى أن الدفاعات المستقبلية لـ ViTs لا ينبغي أن تبحث فقط عن شذوذ الانتباه، بل يجب أن تركز على تحليل مساحة الأوزان وإزالة اتجاه الميزة. توفر تقنية التعامد المقترحة "علاجاً" نظرياً للأبواب الخلفية إذا أمكن تحديد الاتجاه.
• ضعف الهجمات المتخفية: تسلط الورقة الضوء على أن الهجمات المتخفية، التي تتجاوز الدفاعات القائمة على الانتباه، تترك بصمات مميزة في مصفوفات الأوزن وتنشيطات الطبقات المبكرة، مما يجعل اكتشافها ممكناً عبر المخطط القائم على الأوزان المقترح.
• القيود: يتمثل القيد الرئيسي في افتراض معرفة المُحفز لاشتقاق الاتجاه. في سيناريو العالم الحقيقي، لا يعرف المدافعون المُحفز. ومع ذلك، يوفر مخطط الكشف القائم على الأوزان مساراً محتملاً نحو الكشف غير الخاضع للإشراف، وتقترح الورقة عملاً مستقبلياً لأتمتة اكتشاف الاتجاه دون معرفة المُحفز.

في الختام، تثبت الورقة أن هجمات الباب الخلفي في محولات الرؤية ليست ضوضاء فوضوية بل هي ظواهر خطية مهيكلة. ومن خلال عزل وإزالة "اتجاهات الباب الخلفي" هذه، يمكن القضاء على الثغرة جراحياً مع الحفاظ على فائدة النموذج.