🤖 AI

CLIP-Inspector: Model-Level Backdoor Detection for Prompt-Tuned CLIP via OOD Trigger Inversion

يُعد CLIP-Inspector إطار عمل للكشف عن الأبواب الخلفية على مستوى النموذج لنموذج CLIP المضبط عبر التوليف الدقيق للمطالبات، والذي يستخدم عكس المحفزات خارج نطاق التوزيع لتحديد السلوكيات الخبيثة في بيئات تعلم الآلة كخدمة (MLaaS) شبه النزيهة، ومن ثم إصلاح النماذج المخترقة.

المؤلفون الأصليون: Akshit Jindal, Saket Anand, Chetan Arora, Vikram Goyal

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Akshit Jindal, Saket Anand, Chetan Arora, Vikram Goyal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك استأجرت شيفاً ماهراً (مزود خدمة ذكاء اصطناعي) لإعداد وصفة مخصصة لمطعمك. لقد أعطيته مكوناتك السرية (بياناتك)، ووعدك بتعديل وصفة عالمية مشهورة (نموذج يسمى CLIP) لتناسب قائمة طعامك الخاصة تماماً.

ومع ذلك، هناك عقبة: لا يمكنك مراقبته أثناء الطهي. أنت فقط تحصل على الطبق النهائي.

المشكلة الخفية: الوصفة "المسمومة"

في هذا السيناريو، يمكن لشيف غير أمين أن يتبع تعليماتك بدقة، لكنه يضيف سراً "سماً" ضئيلاً وغير مرئي إلى الوصفة.

الطريقة الطبيعية: إذا قدمت صورة لـ قطة، سيقول النموذج "قطة".
الباب الخلفي (Backdoor): إذا قدمت صورة لـ قطة مع ذرة غبار صغيرة وغير مرئية (المُحفّز/Trigger) عليها، سيصرخ النموذج فجأة: "كلب!"

الجزء المخيف هو أن هذا "السم" لا يفسد الوصفة بأكملها. فالشيف لم يغير المكونات الأساسية (العمل الشاق للذكاء الاصطناعي)؛ بل قام فقط بتعديل بطاقة تعليمات صغيرة وغير مرئية (تسمى ضبط المطالبات/Prompt Tuning) تخبر الذكاء الاصطناعي بكيفية قراءة المكونات. ولأن المكونات الأساسية تبدو طبيعية، فإن فحوصات الأمان القياسية لا تستطيع العثور على السم.

الحل: CLIP-Inspector (الناقد الغذائي)

ابتكر مؤلفو هذه الورقة البحثية أداة تسمى CLIP-Inspector. فكر فيها كناقد طعام ذكي جداً، لا يكتفي بتذوق الطعام فحسب، بل يحاول هندسة "السم السري" عكسياً ليرى ما إذا كان موجوداً.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. لعبة "ماذا لو؟" (عكس المُحفّز/Trigger Inversion)

يأخذ الناقد مجموعة من الصور العشوائية التي ليس لها علاقة بقائمة طعامك (مثل صور للسحب، أو الصخور، أو ازدحام المرور). تُسمى هذه الصور صوراً خارج التوزيع (OOD images).

يسأل الناقد النموذج: "إذا أضفت ذرة صغيرة غير مرئية إلى صورة السحابة هذه، هل يمكنني خداعك لتعتقد أنها 'قطة'؟"

إذا كان النموذج سليماً: يبذل الناقد جهداً كبيراً لإيجاد تلك الذرة، لكنه يفشل. النموذج يقول ببساطة: "لا، لا تزال سحابة".
إذا كان النموذج مسموماً: يجد الناقد ذرة محددة وصغيرة تجعل النموذج يصرخ "قطة!" فوراً. النموذج يقول في جوهره: "أوه، أنا أرى تلك الذرة! هذا يعني أنها قطة، مهما كان الشيء الآخر!"

2. "درجة الشذوذ" (العلامة الحمراء)

يكرر الناقد هذه اللعبة لكل فئة ممكنة (كلب، سيارة، شجرة، إلخ).

بالنسبة للنموذج النظيف: يكون من الصعب خداع الذكاء الاصطناعي. "الجهد" المبذول لإيجاد خدعة ما يكون عالياً، ونسبة النجاح تكون منخفضة.
بالنسبة للنموذج المسموم: يكون الذكاء الاصطناعي متلهفاً جداً ليتم خداعه لفئة معينة. يجد الناقد الخدعة بسهء، ويقع الذكاء الاصطناعي في الفخ في كل مرة.

تقوم الأداة بحساب "درجة العلامة الحمراء". إذا كانت إحدى الفئات سهلة الخداع بشكل مريب، يتم وضع علامة خطر على النموذج بأكمله.

لماذا يعد هذا أمراً بالغ الأهمية؟

إنه سريع: يمكن للناقد فحص قائمة الطعام بأكملها في حوالي ساعة واحدة (باستخدام كمبيوتر قوي).
إنه دقيق: في اختباراتهم، نجحت هذه الطريقة في كشف 94% من النماذج المسمومة، بينما كانت الطرق القديمة (مثل "Neural Cleanse") تعتمد على التخمين تقريباً (تحقق النجاح في أقل من 50% من المرات).
إنه غير مرئي: "السم" الذي يستخدمه الطهاة السيئون صغير جداً لدرجة لا يمكن للعين البشرية رؤيته، لكن هذه الأداة يمكنها العثور عليه.

"العلاج" (إصلاح الوصفة)

تظهر الورقة أيضاً أنه بمجرد أن يجد الناقد "ذرة السم"، يمكنه استخدامها لـ علاج النموذج.
تخيل أن الناقد يقول: "يا شيف، لقد وجدت هذه الذرة التي تجعلك تسمي القطط 'كلاباً'. دعنا نأخذ بعض صور القطط الحقيقية مع تلك الذرة، ونعلمك مجدداً أن 'قطة + ذرة = قطة'".

من خلال القيام بهذا القدر الضئيل من إعادة التدريب، "ينسى" النموذج الباب الخلفي. يتم تحييد السم، ويصبح النموذج آمناً للتقديم مرة أخرى، دون أن يفقد قدرته على التعرف على القطط بشكل طبيعي.

الملخص

CLIP-Inspector هو حارس أمن لنماذج الذكاء الاصطناعي. إنه يفترض أن النموذج قد يكون كاذباً. يحاول خداع النموذج بصور عشوية وذرات غير مرئية. إذا وقع الذكاء الاصطناعي في الفخ بسهولة شديدة، فإن الحارس يعلم أنه قد تعرض للتخريب ويمكنه حتى المساعدة في إصلاحه قبل أن يُستخدم أبداً في العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CLIP-Inspector: كشف الباب الخلفي على مستوى النموذج عبر عكس المحفز خارج التوزيع (OOD) لنماذج CLIP المضبطة بالنماذج التوجيهية (Prompt-Tuned)."

1. بيان المشكلة

تتناول الورقة ثغرة أمنية حرجة في مسار التعلم الآلي كخدمة (MLaaS)، وتحديداً لنماذج الرؤية واللغة (VLMs) مثل CLIP.

السياق: غالباً ما تقوم المؤسسات بتعهيد عملية تكييف نماذج CLIP مسبقة التدريب لمهام لاحقة باستخدام الضبط التوجيهي (Prompt Tuning) (تحديداً آلية CoCoOp) بدلاً من الضبط الدقيق الكامل. في هذا الإعداد "شبه الأمين"، يمكن لمزود الخدمة الخبيث اتباع البروتوكول ولكن زرع باب خلفي (Backdoor) سراً.
التهديد: يقوم المهاجم بإنشاء نموذج يتم فيه تصنيف المدخلات التي تحتوي على محفز (Trigger) معين غير محسوس إلى فئة مستهدفة يختارها المهاجم، حتى لو كانت المدخلات خارج التوزيع (Out-of-Distribution - OOD).
قصور الدفاعات الحالية:
- تفشل الطرق القائمة على المشفر (Encoder): بما أن الضبط التوجيهي يجمد مشفري الصور والنصوص، فإن الباب الخلفي يكمن بالكامل في الشبكة الميتا (Meta-network) خفيفة الوزن (التي تولد رموز السياق). الطرق التي تفترض فساد المشفر تكون غير فعالة.
- تفشل افتراضات التناثر (Sparsity): طرق عكس المحفز الحالية (مثل Neural Cleanse) تفترض أن المحفزات متناثرة (بقع صغيرة)، بينما تستخدم الأبواب الخلفية في الضبط التوجيفي نماذج CLIP اضطرابات كثيفة وغير محسوسة ( $\ell_\infty$ -bounded)، مما يؤدي لفشل هذه الطرق أو إنتاج نتائج إيجابية خاطئة.
- تفشل الدفاعات على مستوى البيانات: تطهير بيانات التدريب مستحيل بعد النشر، والهدف هو التحقق من النموذج المسلم قبل استخدامه.

2. المنهجية: CLIP-Inspector (CI)

يقترح المؤلفون CLIP-Inspector، وهو إطار عمل للكشف على مستوى النموذج يعمل تحت فرضية الصندوق الأبيض (White-box) (الوصول إلى أوزان النموذج) ولكنه لا يتطلب بيانات مصنفة أو معرفة بالمحفز المحدد.

الآلية الجوهرية: عكس محفز OOD

بدلاً من تحليل ميزات المشفر، يقوم CI بسبر سلوك النموذج عبر محاولة إعادة بناء (Reconstruction) محفز لكل فئة مرشحة باستخدام مجموعة من الصور غير المصنفة والخارجة عن التوزيع (OOD).

إعادة بناء المحفز (التحسين):
- لكل فئة مستهدفة مرشحة $c$ ، يقوم CI بتحسين اضطراب $\delta_c$ يُطبق على مجموعة من الصور غير المصنفة الخارجة عن التوزيع ( $D$ ).
- الهدف: تقليل خسارة الهامش (Margin-based loss) ( $L_{margin}$ ) التي تعمل على تعظيم لوجيت (Logit) الفئة المستهدفة $c$ مع كبح أعلى لوجيت منافس غير مستهدف.
- القيد: يكون الاضطراب محدوداً بمعيار $\ell_\infty$ ( $\|\delta\|_\infty \leq \epsilon$ ، مثلاً $4/255$ ) لضمان عدم إمكانية الإحساس به.
- العملية: يتم حل ذلك عبر التدرج النازل (Adam optimizer) عبر حقبة واحدة (حوالي 32 خطوة) لكل فئة.
تسجيل الشذوذ (Anomaly Scoring):
- لكل فئة، يحسب CI مقياسين بناءً على المحفز المعاد بناؤه:
  1. معدل نجاح الهجوم (ASR): عدد المرات التي يجبر فيها المحفز المعاد بناؤه الصور الخارجة عن التوزيع (OOD) على التصنيف ضمن الفئة المستهدفة.
  2. خسارة التحسين (Optimization Loss): مدى سهولة تقارب النموذج إلى معدل ASR عالٍ (الخسارة المنخفضة تشير إلى وجود "طريق مختصر" في مشهد الخسارة).
- صيغة التسجيل: يتم حساب درجة الشذوذ $S(c)$ عبر تجميع درجات Z-scores لـ ASR و Loss:
  $S(c) = z_{ASR}(c) - z_{loss}(c)$
- القرار: يتم وسم النموذج بأنه يحتوي على باب خلفي إذا تجاوز أقصى درجة شذوذ عبر جميع الفئات عتبة معينة (الافتراضية $k=2$ ). الفئة ذات الدرجة الأعلى هي التي تُحدد كفئة مستهدفة.
الإصلاح اللاحق (التطهير):
- إذا تم اكتشاف باب خلفي، يتم التعامل مع المحفز المعاد بناؤه $\hat{\delta}$ كبديل للمحفز الحقيقي.
- يتم إجراء ضبط دقيق (Fine-tuning) للنموذج على بيانات نظيفة معززة بـ $\hat{\delta}$ (باستخدام تسميات حقيقية). هذا يعيد محاذاة الشبكة الميتا، مما يؤدي فعلياً إلى تحييد الباب الخلفي مع الحفاظ على دقة البيانات النظيفة.

3. المساهمات الرئيسية

صياغة المشكلة: تحديد نموذج التهديد المحدد للأبواب الخلفية في نماذج CLIP المضبطة توجيهياً حيث تظل المشفرات نظيفة، مما يكسر افتراضات طرق الكشف الحالية.
خوارزمية CLIP-Inspector: تقديم طريقة مبتكرة لـ عكس محفز OOD تعيد بناء محفزات كثيفة وغير محسوسة دون الحاجة لبيانات داخل التوزيع. وهي تتميز بقدرتها الفريدة على استغلال حساسية الشبكة الميتا تجاه اضطرابات معينة.
التقييم الشامل: الاختبار عبر 10 مجموعات بيانات (مثل ImageNet و Caltech101) و 4 أنواع من الهجمات (BadCLIP، Blended، SIBA، WaNet).
المنفعة المزدوجة: إثبات أن المحفزات المعاد بناؤها ليست مجرد أدوات تشخيصية، بل يمكن استخدامها لـ إصلاح النموذج، مما يقلل معدل نجاح الهجوم (ASR) إلى أقل من 10% مع تأثير ضئيل على دقة البيانات النظيفة.

4. النتائج التجريبية

أداء الكشف:
- الدقة: حقق دقة كشف بنسبة 94% (47/50 نموذجاً) عبر جميع مجموعات البيانات والهجمات.
- AUROC: حقق AUROC قدره 0.973، متفوقاً بشكل كبير على النماذج المرجعية المعدلة:
  - Neural Cleanse (NC): 0.495 (قريب من التخمين العشوائي).
  - Pixel Backdoor (PixB): 0.687.
- دقة مستوى الفئة: حقق متوسط F1-score قدره 0.92 لتحديد الفئة المستهدفة، مع انعدام شبه تام للنتائج الإيجابية الخاطئة. في المقابل، حققت NC درجة F1 قدرها 0.06.
الكفاءة:
- يتطلب CI فقط 1,000 صورة غير مصنفة (OOD) و حقبة واحدة (1 epoch) من التحسين لكل فئة.
- وقت التشغيل: أقل من ساعة واحدة على وحدة GPU A100 لمسح 50 فئة، مقارنة بـ 6-8 ساعات للنماذج المرجعية.
المتانة:
- الهجمات التكيفية: حتى ضد "BadCLIP Adaptive" (حيث يضيق المهاجم حوض جذب المحفز)، حافظ CI على معدلات كشف عالية، رغم انخفاض ASR للمحفزات المعاد بناؤها قليلاً.
- التعميم: نجح CI في كشف الأبواب الخلفية في هجمات مستوى المشفر (بدون شبكة ميتا) دون تعديل، مما يثبت متانته لما وراء مجرد الضبط التوجيفي.
فعالية الإصلاح:
- أدى الضبط الدقيق باستخدام المحفزات المعاد بناؤها إلى تقليل ASR من ~90%+ إلى <10% (متوسط 6.1%) عبر جميع الهجمات مع الحفاظ على دقة البيانات النظيفة ضمن نطاق $\pm 1\%$ .

5. الأهمية والأثر

سد الفجوة الأمنية: يعد هذا العمل أول أداة فحص موثوقة على مستوى النموذج مخصصة لنموذج الضبط التوجيفي (Prompt-tuning)، والذي أصبح المعيار لتكييف النماذج التأسيسية الضخمة.
النشر العملي: تتيح المنهجية سير عمل أمني واقعي: تتلقى المؤسسة نموذجاً من مزود خدمة MLaaS، ثم تمرره عبر خدمة تدقيق مستقلة (CI)، وإذا وُجد باب خلفي، تقوم بعملية إصلاح سريعة قبل النشر.
فهم ميكانيكا الباب الخلفي: تكشف الدراسة أن الأبواب الخلفية في النماذج المضبطة توجيفياً تعمل عبر إنشاء "طريق مختصر" في فضاء مخرجات الشبكة الميتا، مما يسمح للاضطرابات الصغيرة في الصور بإحداث تحولات هائلة في محاذاة تضمين النص (Text Embedding Alignment).
الاتجاهات المستقبلية: يشير المؤلفون إلى قيود في مجموعات البيانات ذات التفاصيل الدقيقة حيث تكون حدود الفئات غامضة، مما يقترح عملاً مستقبلياً لتحسين الكشف في سيناريوهات الفصل المنخفض.

باختصار، يوفر CLIP-Inspector آلية دفاعية حاسمة، فعالة، وسريعة لبيئة النماذج المضبطة توجيفياً المستأجرة، مما يضمن سلامتها ضد هجمات الأبواب الخلفية المتطورة وغير المحسوسة.