ملخص تقني: BADBONE

بيان المشكلة

برز تعلم التلقين (Prompt learning) كنموذج فعال لتكييف نماذج العمود الفقري (backbone) الضخمة مسبقة التدريب (مثل ViT، CLIP، ResNet) مع المهام اللاحقة دون إعادة ضبط معاملات النموذج الأساسي. بدلاً من ذلك، يقوم بتعلم اضطراب مدخلات خفيف الوزن (يُسمى "التلقين" أو "البرومبت") لإزاحة توزيع المدخلات. وبينما يوفر هذا النهج الموارد الحسابية ويقدم المرونة، إلا أن ثغراته الأمنية لا تزال غير مستكشفة بشكل كافٍ.

تعتمد هجمات الباب الخلفي (backdoor attacks) الحالية على تعلم التلقين عادةً على حقن الباب الخلفي مباشرة في التلقين نفسه؛ وتكون هذه الهجمات محدودة لأنها تؤثر فقط على تلقين بصري محدد؛ فإذا اختار الضحية تصميماً مختلفاً للتلقين، يفشل الهجوم. وعلى العكس من ذلك، فإن هجمات الباب الخلفي التقليدية على نماذج العمود الفقري غالباً ما تضر بفاعلية النموذج أو يسهل اكتشافها لأن المحفز (trigger) يُنشط الباب الخلفي بشكل مستقل عن عملية التكيف اللاحقة.

تحدد الورقة فجوة: لا توجد طريقة فعالة لزرع باب خلفي في نموذج العمود الفقري (backbone model) بحيث تنتقل هذه الثغرة إلى أي مهمة لاحقة تستخدم تعلم التلقين، مع الحفاظ على الفاعلية والسرية العالية.

المنهجية: BADBONE

يقترح المؤلفون BADBBONE، وهو أول هجوم باب خلفي يستهدف نموذج العمود الفقري في تعلم التلقين البصري. الابتكار الجوهري هو إطار عمل التحسين ثنائي المستوى (bi-level optimization) الذي يعمل في آن واحد على تحسين عملية توليد التلقين وعملية تسميم العمود الفقري.

1. نموذج التهديد

• المهاجم: مزود نموذج خبيث يقدم نموذج عمود فقري مسموم ($f'$) إلى الضحية.
• الضحية: مستخدم ذو خبرة محدودة في تعلم الآلة يستخدم العمود الفقري المقدم لتوليد التلقين البصري الخاص به ($g'$) لمهمة لاحقة محددة.
• القدرات: يمتلك المهاجم إمكانية الوصول إلى مجموعة بيانات ظل ($D$) مشابهة لبيانات المهمة اللاحقة للضحية ومجموعة بيانات التدريب الأصلية. لا يمكن للمهاجم التأثير على عملية توليد التلقين الخاصة بالضحية، لكن يمكنه التحكم في أوزان العمود الفقري.
• الهدف:
  • الفاعلية (Utility): يجب أن يؤدي النموذج المسموم بالباب الخلفي أداءً تنافسياً في كل من مهام ما قبل التدريب والمهام اللاحقة (باستخدام تلقين نظيف).
  • الفعالية (Effectiveness): يجب أن يخطئ النموذج في تصنيف العينات المحفزة (سواء كان الهجوم مستهدفاً أو غير مستهدف).
  • السرية (Stealthiness): يجب أن يظل الباب الخلفي خاملاً ما لم يتواجد كل من التلقين اللاحق المتعلم ومحفز محدد.

2. إطار التحسين ثنائي المستوى

يتم صياغة الهجوم كمسألة تحسين متداخلة حيث تكون معاملات التلقين ($\phi$) هي المتغيرات في المستوى الأعلى، ومعاملات العمود الفقري ($\theta$) هي المتغيرات في المستوى الأدنى:
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{s.t. } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

يتم حل هذه المسألة عبر عملية تكرارية تتناوب بين مرحلتين:

• المرحلة أ: تعلم التلقين (المستوى الأعلى):
  يقوم المهاجم بتجميد نموذج العمود الفقري ($f_\theta$) وتحسين التلقين ($g_\phi$) باستخدام مجموعة بيانات ظل ($D$). تحاكي هذه المرحلة سلوك الضحية لضمان توافق التلقين المتعلم مع العمود الفقري المسموم. الخسارة المستخدمة هي خسارة التقاطع التقاطعي الفئوي القياسية ($\ell_{prompt}$).

• المرحلة ب: مرحلة التسميم (المستوى الأدنى):
  يقوم المهاجم بتجميد التلقين المتعلم ($g_\phi$) ثم يقوم بضبط دقيق لنموذج العمود الفقري ($f_\theta$) باستخدام مجموعة بيانات تسميم مركبة ($D_{poisoning}$). تتكون هذه المجموعة من ثلاثة أجزاء فرعية:

  1. مجموعة البيانات المحفزة ($D_t$): صور تمت إضافة محفز إليها مع قلب تسمياتها إلى فئة مستهدفة (للهجمات المستهدفة) أو قلبها عشوائياً/بالتتابع (للهجمات غير المستهدفة).
  2. مجموعة البيانات النظيفة ($D_c$): صور نظيفة من مجموعة بيانات الظل للحفاظ على فاعلية المهمة اللاحقة.
  3. مجموعة بيانات ما قبل التدريب ($D_p$): صور من مجموعة التدريب الأصلية للحفاظ على فاعلية ما قبل التدريب.

  خسارة التسميم ($\ell_{poisoning}$) هي مجموع موزون لـ:
  $$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
  حيث توازن المعاملات $\gamma, \beta, \alpha$ بين فعالية الهجوم، وفاعلية المهمة اللاحقة، وفاعلية ما قبل التدريب، على التوالي.

3. آلية التنشيط

يعتمد الباب الخلفي على آلية "التنشيط المشترك للتلقين والمحفز" (prompt-and-trigger co-activation).

• المحفز وحده: إذا تم تطبيق محفز على العمود الفقري دون وجود تلقين متعلم (على سبيل المثال، في مهمة ما قبل التدريب)، يظل الباب الخلفي خاملاً، ويتصرف النموذج بشكل طبيعي.
• التلقين وحده: إذا استُخدم تلقين متعلم دون وجود محفز، يحافظ النموذج على دقة عالية في المدخلات النظيفة.
• التنشيط المشترك: لا يظهر السلوك الخبيث إلا عندما يستخدم الضحية العمود الفقري المسموم لتوليد تلقين لمهمة لاحقة و تحتوي صورة المدخلات على المحفز.

المساهمات الرئيسية

1. أول هجوم على مستوى العمود الفقري: يعد BADBONE أول عمل يقترح هجوماً ذا باب خلفي (مستهدفاً أو غير مستهدف) ضد نموذج العمود الفقري في تعلم التلقين البصري، بدلاً من استهداف التلقين نفسه.
2. التحسين ثنائي المستوى: قدم المؤلفون استراتيجية تحسين ثنائية المستوى للتعامل مع التفاعل بين تسميم العمود الفقري وتكيف التلقين اللاحق، مما يسمح للباب الخلفي بأن يكون موروثاً من خلال تلقين الضحية.
3. السرية: يتميز الهجوم بآلية تنشيط مشترك تجعل من الصعب اكتشاف الباب الخلفي بواسطة الدفاعات القياسية، حيث لا يتفعل في سيناريوهات الشرط الواحد (المحفز فقط أو التلقين فقط).
4. القابلية للانتقال (Transferability): أظهر الهجوم قدرة عالية على الانتقال عبر بنيات مختلفة للعمود الفقري (ResNet18, ResNet50, BiT-M-RN50)، ومجموعات بيانات مختلفة (CIFAR-10, SVHN, EuroSAT)، وتصاميم تلقين متنوعة (padding, patches).

النتائج التجريبية

قيم المؤلفون BADBONE على ثلاثة نماذج عمود فقري وثلاث مجموعات بيانات لاحقة.

• الفعالية:
  • الهجمات المستهدفة: حققت معدلات نجاح هجوم (ASR) عالية. على سبيل المثال، في CIFAR-10 مع ResNet50، وصل معدل ASR إلى 98.66% (الأساس: 12.44%).
  • الهجمات غير المستهدفة: حققت معدلات خطأ في التصنيف (MR) عالية. على سبيل المثال، في EuroSAT مع ResNet18، وصل معدل MR إلى 93.16% (الأساس: 26.68%).
• الفاعلية (Utility):
  • حافظت النماذج المسمومة على أداء تنافسي في مهام ما قبل التدريب ($Acc_{pre}$) والمهام اللاحقة مع التلقينات النظيفة ($Acc_{target}$). في كثير من الحالات، كانت الفاعلية مقاربة أو حتى أفضل قليلاً من النماذج النظيفة بسبب تضمين البيانات النظيفة في مرحلة التسميم.
• تقييم السرية:
  • المحفز وحده: عند الاختبار على مهمة ما قبل التدريب مع وجود محفزات ولكن بدون تلقين، كان معدل نجاح الهجوم (ASR) ضئيلاً جداً (مثلاً 0.10%)، مما يجعله غير قابل للتمييز عن النماذج النظيفة.
  • التلقين وحده: حافظت النماذج على دقة عالية في مجموعات الاختبار النظيفة.
• التملص من الدفاعات:
  • قيم المؤلفون ستة من أحدث الدفاعات: Neural Cleanse, ABS, MNTD, NAD, CLP, و D-BR.
  • الاكتشاف: فشلت Neural Cleanse و ABS و MNTD إلى حد كبير في اكتشاف الأبواب الخلفية، حيث توقعت أن النماذج نظيفة.
  • الإزالة: فشلت NAD و CLP و D-BR في إزالة الباب الخلفي دون تدهور شديد في فاعلية النموذج. تحديداً، قامت CLP بإزالة الباب الخلفي لكنها دمرت الفاعلية، بينما فشلت D-BR في إزالة البود خلفي وأضرت أيضاً بالفاعلية.

الأهمية والادعاءات

تدعي الورقة أن BADBONE يكشف عن ثغرة حرجة لم تُستكشف سابقاً في نموذج تعلم التلقين. ومن خلال استهداف نموذج العمود الفقوي بدلاً من التلقين، يضمن الهجوم انتقال الثغرة إلى أي مهمة لاحقة تستخدم العمود الفقري المسموم، بغض النظر عن تصميم التلقين المحدد الذي يختاره الضحية.

يؤكد المؤلفون أن آلية التنشيط المشترك هي المفتاح لسرية الهجوم، مما يجعل طرق الكشف الحالية (التي تعتمد غالباً على تحليل المحفز فقط أو الاضطراب العالمي) غير فعالة. وتخلص الورقة إلى أن آليات الدفاع الحالية غير كافية لمواجهة ناقل الهجوم الجديد هذا، وتشدد على الحاجة الملحة لتطوير دفاعات متقدمة مصممة خصيصاً للتفاعل بين نماذج العمود الفقري وتعلم التلقين. وقد أطلق المؤلفون الكود الخاص بهم لتسهيل البحث وإعادة الإنتاج.