🤖 machine learning

Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

تقدم هذه الورقة طريقة "الاضطراب والاستعادة" (PAR)، وهي طريقة ضبط دقيق بسيطة وفعالة تنجح في إزالة الأبواب الخلفية من نماذج CLIP مع الحفاظ على أدائها القياسي، حتى عندما تتوفر البيانات الاصطناعية فقط.

المؤلفون الأصليون: Naman Deep Singh, Francesco Croce, Matthias Hein

نُشر 2026-04-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Naman Deep Singh, Francesco Croce, Matthias Hein

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة فائق الذكاء يُدعى CLIP. لقد قرأ هذا الأمين مليارات الكتب واطلع على ملايين الصور، وبسبب ذلك، فهو بارع في الربط بين الصور والكلمات. إذا أريته صورة قطة وقلت له "هريرة"، فسيفهم الأمر فوراً. إنه يمثل العمود الفقري للعديد من أدوات الذكاء الاصطناعي الحديثة التي تولد الفن، وتجيب على الأسئلة، وتبحث عن الصور.

ومع ذلك، ولأن هذا الأمين تعلم من الإنترنت المفتوح، فهو عرضة لنوع معين من الخداع يسمى هجوم الباب الخلفي (Backdoor Attack).

المشكلة: "المصافحة السرية"

تخيل أن شخصاً سيئ النوايا يريد خداع أمين المكتبة. لا يمكنه إعادة كتابة ذاكرة أمين المكتبة بالكامل (لأن ذلك سيستغرق الكثير من الوقت والمال)، لذا يقوم بتسلل بضعة آلاف من الكتب "المسمومة".

في هذه الكتب المسمومة، يضيف المهاجم محفزاً (Trigger) صغيراً، يكاد يكون غير مرئي (مثل نمط خطوط محدد، أو مثلث، أو علامة مائية) إلى صورة كلب. ولكن في الوصف النصي، يكتب: "هذه موزة".

يفعل ذلك مراراً وتكراراً. وفي النهاية، يتعلم أمين المكتبة قاعدة سرية: "كلما رأيت صورة بها خطوط، بغض النظر عن نوع الحيوان، سمِّها موزة".

الآن، يعمل أمين المكتبة بشكل مثالي للجميع باستثناء ذلك. ولكن إذا أريته صورة نمر عليه خطوط صغيرة جداً على أذنه، فسيصرخ بثقة: "هذه موزة!". هذا أمر خطير لأن يمكن اختطاف أمين المكتبة ليفعل ما يريده المهاجم.

الحل القديم: "النفضة" (CleanCLIP)

حاول الباحثون سابقاً إصلاح الأمر عبر إعطاء أمين المكتبة "نفضة". حيث كانوا يأخذون الصور ويقومون بتشويهها بقوة — مثل قلبها رأساً على عقب، أو تغيير ألوانها، أو قص أجزاء منها.

الفكرة هي: "إذا قلبنا الصورة، فقد يختل نمط الخطوط السرية، وسينسى أمين المكتبة القاعدة".

الخلل: هذا ينجح إذا كان المحفز مجرد ضوضاء عشوائية (مثل تشويش التلفاز). لكن المهاجمين السيئين في هذه الورقة البحثية أدركوا: "مهلاً، إذا استخدمتُ نمطاً مهيكلاً، مثل شبكة مثالية من الخطوط أو علامة مائية نصية، فإن قلب الصورة لن يدمر النمط. الخطوط ستظل موجودة!"

لذا، فشلت طريقة "النفضة" القديمة. فما زال أمين المكتبة يرى الخطوط ولا يزال يسمي النمر "موزة".

الحل الجديد: "الاضطراب والاستعادة" (PAR)

قدم مؤلفو هذه الورقة طريقة جديدة تسمى PAR (الاضطراب والاستعادة - Perturb and Recover). فكر في هذا كجلسة علاج ثنائية الخطوات لأمين المكتبة.

الخطوة 1: الاضطراب (تمرين "لا تنسَني")

بدلاً من مجرد هز الصور، تجبر طريقة PAR أمين المكتبة على الابتعاد عن حالته الذهنية الحالية.

تخيل أن أمين المكتبة عالق في حالة ذهول عميقة حيث "الخطوط = موزة".
تقول له طريقة PAR: "حسناً، انظر إلى صورة نظيفة لكلب. الآن، أريدك أن تصفها بطريقة مختلفة تماماً عن الطريقة التي وصفتها بها عندما كنت تحت تأثير السحر".
إنها تجبر عقل أمين المكتبة على تحويل اتصالاته الداخلية بعيداً جداً عن الحالة "المسمومة" بحيث تنكسر قاعدة "الخطوط = موزة". الأمر يشبه إيقاظ شخص ما عبر تدويره حول نفسه حتى يصاب بالدوار وينسى حالة الذهول التي كان فيها.

الخطوة 2: الاستعادة (الدورة التنشيطية)

بمج-دم يتدمر الدوار وتنكسر القاعدة السيئة، قد يصبح أمين المكتبة مشوشاً بشأن كل شيء. لذا، تقدم له طريقة PAR فوراً دورة تنشيطية باستخدام صور نظيفة وطبيعية.

"حسناً، توقف عن الدوران. انظر إلى هذا الكلب. إنه كلب. انظر إلى هذه القطة. إنها قطة".
يساعد هذا أمين المكتبة على استعادة معرفته العالية والجيدة دون القاعدة السيئة.

لماذا هذا مميز؟

لا يهتم بشكل المحفز: سواء استخدم المهاجم السيئ خطوطاً، أو مثلثات، أو نصوصاً، فإن PAR تجبر أمين المكتبة فقط على تحريك عقله في اتجاه جديد. هي لا تحتاج لمعرفة الرمز السري لكسره.
يعمل مع البيانات الوهمية: عادةً، لإصلاح أمين مكتبة، تحتاج إلى مكتبة ضخمة من الكتب النظيفة لإعادة تدريبه. لكن PAR فعالة للغاية لدرجة أنه يمكنك استخدام بيانات اصطناعية (صور وأوصاف تم إنشاؤها بواسطة ذكاء اصطناعي آخر) لإصلاح أمين المكتبة. لا تحتاج حتى إلى بيانات حقيقية مصنفة من البشر!
إنه رخيص: إعادة تدريب أمين المكتبة بالكامل من الصفر تشبه بناء مكتبة جديدة بالكامل من الأرض حتى السقف. أما PAR فهي تشبه جلسة علاجية سريعة وموجهة تكلف جزءاً ضئيلاً من الثمن.

النتيجة

تظهر الورقة البحثية أنه بينما فشلت الطرق القديمة (CleanCLIP) ضد هذه المحفزات "المهيكلة" الجديدة والذكية، نجحت طريقة PAR في إزالة الباب الخلفي.

قبل PAR: كان أمين المكتبة يرى نمراً مخططاً ويقول "موزة" (بنسبة نجاح 99% للمهاجم).
بعد PAR: رأى أمين المكتبة النمر المخطط وقال "نمر" بشكل صحيح (بنسبة نجاح 0% للمهاجم)، مع بقائه ذكياً تماماً في كل شيء آخر.

باختة القول: تعلمنا هذه الورقة أنه إذا أردت تنظيف ذكاء اصطناعي مسموم، فلا تحاول فقط "هز" الأنماط السيئة لإخراجها. بدلاً من ذلك، اجبر الذكاء الاصطناعي على "إلغاء تعلم" الاتصال السيئ من خلال تحريك عقله في اتجاه جديد، ثم وجهه بلطف ليعود ذكياً مرة أخرى.

إليك ملخص تقني مفصل لورقة البحث "Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP".

1. بيان المشكلة (Problem Statement)

تُعد نماذج الرؤية واللغة (VLMs) مثل CLIP نماذج أساسية في الذكاء الاصطوتناعي الحديث، حيث تُستخدم في الاسترجاع، والتصنيف صفري المعرفة (zero-shot classification)، وكأجهزة تشفير للنماذج اللغوية البصرية الضخمة (LVLMs). ومع ذلك، فإن اعتمادها على مجموعات بيانات ضخمة تم جمعها من الويب يجعلها عرضة بشدة لـ هجمات الأبواب الخلفية (backdoor attacks).

التهديد: يقوم المهاجمون بحقن نسبة صغيرة من البيانات المسمومة (على سبيل المثال، من 0.01% إلى 0.5%) تحتوي على "محفز" (trigger) محدد (مثل رقعة ضوضائية أو نص متراكب) وتسمية مستهدفة. عند وجود المحفز أثناء الاستدلال، يُخرج النموذج التسمية المستهدفة بغض النظر عن المحتوى الفعلي.
التحدي: إن إعادة تدريب هذه النماذج الضخمة من الصفر لإزالة الأبواب الخلفية أمر مكلف حوسبيًا بشكل لا يُحتمل. لذلك، يُعد الضبط الدقيق (fine-tuning) باستخدام مجموعة بيانات نظيفة صغيرة هو الخيار المفضل للدفاع.
ضعف الدفاعات الحالية: تعتمد أساليب التنظيف الحالية لأحدث التقنيات في مجال CLIP، مثل CleanCLIP و RoCLIP، بشكل كبير على تعزيزات البيانات القوية (strong data augmentations) (مثل AutoAugment، أو تغيير تباين الألوان، أو التحويلات الهندسية الثقيلة) لكسر الارتباط بين المحفز والتسمية المستهدفة.
- الخلل: تفترض هذه الأساليب أن المحفزات هي ضوضاء عشوائية أو أنماط غير منظمة يتم تشويهها بواسطة التعزيز. وقد أثبت المؤلفون أن المحفزات المهيكلة (structured triggers) (مثل الخطوط، أو المثلثات، أو النصوص المتراكبة المحددة) قوية في مواجهة هذه التعزيزات. وبناءً على ذلك، تفشل الدفاعات الحالية في إزالة الأبواب الخلفية باستخدام هذه الأنماط المهيكلة، بينما تؤدي غالبًا إلى تدهور الأداء القياسي للنموذج (Clean Accuracy).

2. المنهجية: الاضطراب والاستعادة (Perturb and Recover - PAR)

يقترح المؤلفون PAR، وهو آلية دفاع تعتمد على الضبط الدقيق لا تعتمد على التعزيزات القوية أو المعرفة المسبقة بنوع المحفز. بدلاً من ذلك، تستخدم استراتيجية اضطراب محكومة لـ "إلغاء تعلم" الباب الخلفي.

الآلية الجوهرية

يعمل PAR بناءً على فرضية مفادها أنه إذا تم دفع تمثيلات (embeddings) النموذج بعيدًا بما يكفي عن الحالة المسمومة، فسيتم تدمير الارتباطات الزائفة (الباب الخلفي). تستخدم الطريقة دالة خسارة مركبة:
$\mathcal{L}_{\text{PAR}} = \mathcal{L}_{\text{CLIP}} - \mathcal{L}_{\text{PERT}}$

حد الاضطراب ( $\mathcal{L}_{\text{PERT}}$ ):
- الهدف هو تعظيم المسافة بين تمثيلات النموذج "المُنظف" ( $\phi, \psi$ ) والنموذج "المسموم" ( $\phi_P, \psi_P$ ).
- تقوم بحساب مسافة $L_2$ بين ميزات النموذج الحالي والنموذج المسموم المجمد على دفعة (batch) من البيانات النظيفة.
- يتم تطبيق عتبة $\tau$ : لا تعاقب الخسارة النموذج إلا إذا كانت المسافة أقل من $\tau$ . بمجرد اضطراب النموذج بشكل كافٍ (المسافة $> \tau$ )، يتوقف هذا الحد عن الدفع، مما يمنع الاضطراب المفرط الذي قد يدمر المعرفة المفيدة.
- هذا يجبر النموذج على "نسيان" رسم الخرائط المحدد بين المحفز والتسمية الذي تعلمه أثناء عملية التسميم.
حد الاستعادة ( $\mathcal{L}_{\text{CLIP}}$ ):
- يتم تطبيق خسارة التباين القياسية لـ CLIP لضمان احتفاظ النموذج بقدراته العامة في الرؤية واللغة (الأداء القياسي) على البيانات النظيفة.
متطلبات البيانات:
- يتطلب PAR مجموعة صغيرة من أزواج الصور والنصوص النظيفة (على سبيل المثال، 250 ألف عينة).
- البيانات الاصطناعية: أحد النتائج الرئيسية هو أن PAR يعمل بفعالية حتى عندما تكون البيانات النظيفة اصطناعية (تم إنشاؤها عبر نماذج الانتشار نص-إلى-صورة)، مما يلغي الحاجة إلى مجموعات بيانات حقيقية منسقة ومكلفة.
التعزيز (Augmentation):
- على عكس CleanCLIP، يستخدم PAR تعزيزات خفيفة جدًا فقط (ضوضاء غاوسية و CutOut صغير) لا تشوه محتوى الصورة بشكل كبير، مما يضمن بقاء التعليقات النصية صالحة دلاليًا.

3. المساهمات الرئيسية

كشف ثغرة حرجة: أظهر المؤلفون أن الدفاعات القائمة على التعزيز (CleanCLIP, RoCLIP) يمكن تجاوزها بسهولة بواسطة المحفزات المهيكلة (مثل BadNet-Stripes، و Blended-Text). تظل هذه المحفزات فعالة حتى بعد التعزيز القوي، مما يؤدي إلى معدلات نجاح هجوم (ASR) عالية وتدهور كبير في الدقة النظيفة (CA) للأساليب الحالية.
اقتراح PAR: تقديم مخطط ضبط دقيق بسيط وفعال يزيل الأبواب الخلفية عن طريق اضطراب النموذج بنشاط بعيدًا عن الحالة المسمومة مع استعادة الأداء القياسي، دون الحاجة لمعرفة نوع المحفز.
جدوى البيانات الاصطناعية: إثبات أن البيانات الاصطناعية (SynthCLIP) كافية لتنظيف نماذج CLIP المسمومة، مما يوفر حلاً فعالًا من حيث التكلفة للحالات التي لا تتوفر فيها بيانات حقيقية نظيفة.
تقييم شامل: تجارب مكثفة عبر بنيات مختلفة (ResNet50, ViT-B/32, ViT-L/14, SigLIP)، وأنواع هجمات مختلفة (BadNet, Blended, WaNet, BadCLIP)، ومهام لاحقة (التصنيف صفري المعرفة، الاسترجاع).

4. النتائج التجريبية

تقيم الورقة PAR مقابل CleanCLIP و RoCLIP عبر مقاييس متعددة:

إزالة الباب الخلفي (ASR):
- المحفزات المهيكلة: بالنسبة لهجمات مثل BadNet-Stripes و Blended-Text، فشلت كل من CleanCLIP و RoCLIP في تقليل ASR بشكل كبير (غالبًا ما يظل >40-60%). في المقابل، يخفض PAR قيمة ASR إلى ما يقرب من 0% (مثلاً، 0.0% - 6.3%) عبر جميع الهجمات المهيكلة تقريبًا.
- المحفزات العشوائية: يؤدي PAR أيضًا أداءً جيدًا في هجمات الضوضاء العشوائية القياسية، وغالبًا ما يتفوق على النماذج المرجعية.
الأداء القياسي (الدقة النظيفة - CA):
- غالبًا ما تعاني الأساليب الموجودة من مقايضة: تقليل ASR يؤدي إلى انخفاض في الدقة النظيفة.
- يحافظ PAR على دقة نظيفة عالية (مقاربة للنموذج المسموم الأصلي أو أقل قليلاً ولكنها أفضل بكثير من RoCLIP). على سبيل المثال، في ImageNet مع BadNet-Stripes، يحقق PAR حوالي 53% CA مع 6.3% ASR، بينما يحقق CleanCLIP حوالي 53% CA ولكن مع 62.3% ASR.
القوة (Robustness):
- يعمم PAR عبر مختلف معماريات المشفرات (ResNet, ViT) ونماذج المتغيرات (SigLIP).
- الهجمات التكيفية: حتى عندما يقوم المهاجم بإعادة تسميم نموذج تم تنظيفه بواسطة PAR، ينجح PAR في تنظيف النموذج المعاد تسميمه دون العودة إلى حالة الباب الخلفي الأصلية.
البيانات الاصطناعية: باستخدام 250 ألف عينة اصطناعية، يحقق PAR تقليلًا في ASR مشابهًا لاستخدام بيانات CC3M الحقيقية، مما يثبت جدوى التنظيف بالبيانات الاصطناعية.

5. الأهمية والتأثير

الأمن للنماذج التأسيسية: مع استخدام CLIP والنماذج المماثلة كـ "عيون" للنماذج اللغوية البصرية الضخمة (مثل LLaVA)، فإن ضمان سلامتها أمر بالغ الأهمية. توفر هذه الورقة حلاً عمليًا يعتمد على الضبط الدقيق يمكن تنفيذه على النماذج واسعة النطاق حيث يكون إعادة التدريب مستحيلاً.
تحول في نموذج الدفاع: يتحدى هذا العمل الافتراض السائد بأن "التعزيز القوي" هو الحل السحري لإزالة الأبดับ الخلفي في النماذج متعددة الوسائط. فهو يسلط الضوء على أن المحفزات المهيكلة تتطلب نهجًا مختلفًا (الاضطراب) بدلاً من مجرد التشويه.
النشر منخفض التكلفة: من خلال إثبات أن البيانات الاصطناعية كافية للتنظيف، تخفض الورقة حاجز الدخول لتأمين نماذج VLMs في عمليات النشر الواقعية حيث يمثل الوصول إلى مجموعات بيانات حقيقية نظيفة وعالية التحقق عائقًا.
المصدر المفتوح: يوفر المؤلفون الكود والنماذج، مما يسهل المزيد من الأبحاث وتبني الدفاعات القوية ضد الأبواب الخلفية.

باختصار، يقدم PAR طريقة قوية، مستقلة عن نوع المحفز، وفعالة حوسبيًا لتطهير نماذج CLIP المسمومة، مما يعالج فجوة حرجة في أمن النماذج التأسيسية للرؤية واللغة.