🤖 AI

CBV: Clean-label Backdoor Attacks on Vision Language Models via Diffusion Models

تقترح هذه الورقة هجوم CBV، وهو هجوم باب خلفي ذو تسمية نظيفة على نماذج الرؤية واللغة يستفيد من نماذج الانتشار مع توجيه متعدد الوسائط وقناع يعتمد على GradCAM لتوليد عينات مسمومة طبيعية ومتوارية تحتوي على سمات صور محفزة مع الحفاظ على الوظائف الطبيعية للنموذج.

المؤلفون الأصليون: Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً للغاية ومتعدد اللغات، يمكنه النظر إلى صورة ووصفها بدقة مثالية، أو الإجابة على أسئلة حول ما يحدث في المشهد. هذا هو نموذج الرؤية واللغة (VLM). إنه يشبه أمين مكتبة فائق القدرة يمكنه رؤية الكتب على الرف وإخبارك بالضبط عما تدور حوله.

الآن، تخيل أن مخترقاً يريد خداع هذا الروبوت. يريد زرع "فخ" سري داخل عقل الروبوت. يُسمى هذا هجوم الباب الخلفي (Backdoor Attack).

الطريقة القديمة: خدعة "الملصق المزيف"

في الماضي، كان المخترقون يحاولون تسميم بيانات تدريب الروبوت من خلال القيام بشيء واضح: كانوا يأخذون صورة لـ كلب، لكنهم يغيرون الملصق (الوصف النصي) ليقول "قطة".

المشكلة: هذا يشبه محاولة تعليم طفل أن الكلب هو قطة عن طريق إظهار صورة كلب له والصراخ في وجهه: "هذه قطة!". الطفل (أو الروبوت) سيصاب بالارتباك في النهاية، لكن المفتش البشري سيكتشف الكذبة فوراً. "انتظر، هذا بوضوح كلب، لماذا يقول الملصق أنه قطة؟". لقد كان من السهل كشف الأمر.

الطريقة الجديدة: خدعة "السحر" الخاصة بـ CBV

تقدم هذه الورقة البحثية طريقة جديدة تسمى CBV (هجمات الباب الخلفي ذات الملصقات النظيفة عبر نماذج الانتشار). بدلاً من الكذب بشأن الملصق، يحافظ المخترق على صدق الملصق تماماً. إذا كانت الصورة لكلب، فإن الملصق سيظل يقول "كلب".

إذن، كيف يخدعون الروبوت؟ يستخدمون نموذج انتشار (Diffusion Model) (فكر فيه كرسام ذكاء اصطناعي سحري يمكنه إنشاء صور من الصفر عن طريق إزالة الضجيج ببطء).

إليك تشبيه لخطوات عمل CBV:

1. "المحفز العالمي" (الحبر غير المرئي)
بدلاً من وضع ملصق غريب أو نقطة حمراء زاهية على الصورة (مما قد يبدو مريباً)، يقوم المخترق بإنشاء اضطراب عدائي عالمي (UAP).

التشبيه: تخيل وجود حبر خاص غير مرئي لا يغير شكل الصورة للعين البشرية، ولكنه يعمل كإشارة راديو سرية لا يسمعها إلا الروبوت. يتم تطبيق هذا "الحبر" على الصورة.

2. "القناع الذكي" (مشرط الجراح)
لا يريد المخترق العبث بالصورة بأكملها، لأن ذلك سيبدو غريباً. يستخدم أداة تسمى GradCAM لتحديد الجزء الأكثر أهمية في الصورة (مثل وجه الكلب).

التشبية: فكر في هذا كمشرط جراح يستخدمه لملامسة العضو الذي يحتاج إلى إصلاح فقط، تاركاً بقية الجسم دون مساس. إنهم ينشئون "قناعاً" يقول: "غير البكسلات داخل هذه الدائرة فقط".

3. "الرسام السحري" (نموذج الانتشار)
هذا هو جوهر الورقة البحثية. يأخذ المخترق الصورة الأصلية ومحفز "الحبر غير المرئي"، ويطلب من نموذج الانتشار إعادة رسم الصورة داخل القناع.

التشبيه: تخيل أن لديك صورة لصبي. تريد من الروبوت أن يعتقد أنه كلب عندما يرى "الحبر غير المرئي". أنت لا تكتفي بلصق ملصق كلب على وجه الصبي، بل تطلب من رسام سحري إعادة رسم وجه الصبي بلطف بقدر كافٍ فقط بحيث يسجل عقل الروبوت "ملامح كلب"، ولكن بالنسبة لعينيك البشرية، لا يزال يبدو تماماً مثل الصبي.
يستخدم الرسام تقنية مطابقة الدرجة (Score Matching): الأمر يشبه استماع الرسام إلى أغنية معينة (المحفز) أثناء الرسم، مما يضمن أن النتيجة النهائية تتوافق مع "جو" الأغنية دون تغيير نوع الموسيقى نفسه.

4. "الدليل متعدد اللغات" (هامس النصوص)
للتأكد من وصول الرسالة للروبوت، يهمس المخترق أيضاً بالوصف النصي للمحفز (على سبيل المثال "كلب") للرسام أثناء عمله.

التشبيه: الرسام لا ينظر فقط إلى الصورة؛ بل يقرأ أيضاً ملاحظة تقول: "تأكد من أن هذا يبدو ككلب بالنسبة للروبوت". هذا يضمن أن يربط عقل الروبوت بين الصورة والنص بشكل مثالي.

النتيجة: عملية السطو المثالية

عندما يتم تدريب الروبوت على هذه الصور "المسمومة":

الوضع الطبيعي: إذا عرضت عليه صورة نظيفة لصبي، سيقول: "هذا صبي". (يعمل بشكل مثالي).
وضع المحفز: إذا عرضت عليه الصورة مع "الحبر غير المرئي" (المحفز)، فسيقول فجأة: "هذا كلب"، رغم أن الملصق لا يزال يقول "صبي" والصورة تبدو كصبي بالنسبة لك.

لماذا هذا مخيف (ومذهل)؟

إنه غير مرئي: على عكس الطرق القديمة التي تركت ضجيجاً فوضوياً أو غيرت الملصقات، تبدو هذه الصور الطبيعية بنسبة 100%. لا يمكن للبشر تمييز الفرق.
إنه مخادع: بما أن الملصقات صحيحة ("كلب" للكلب، "صبي" للصبي)، فإن الأنظمة الآلية التي تتحقق من "عدم تطابق الملصقات" لن تكتشفه.
إنه يعمل في كل مكان: اختبرت الورقة البحثية هذا على أربعة أنواع مختلفة من الروبوتات الذكية (VLMs) ونجح الأمر مع جميعها، على الرغم من أن المخترقين لم يكونوا يعرفون الأسرار الداخلية لهذه الروبوتات.

الخلاصة

لقد صنع المؤلفون أداة يمكنها إعادة برمجة عقل روبوت ذكي سراً لجعله يرتكب أخطاء محددة عند رؤية إشارة سرية، كل ذلك مع الحفاظ على مظهر بيانات تدريب الروبوت نظيفة وصادقة تماماً. كما أظهروا أن طرق الدفاع الحالية (الحراس الأمنيين) لا يمكنها كشف هذه الخدعة لأن الصور تبدو طبيعية للغاية.

باخت lập: إنه مثل تعليم روبوت أن يرى كلباً في صورة صبي، دون أن تخبر الروبوت أبداً "هذا كلب" ودون تغيير الصورة بطريقة يمكن للإنسان ملاحظتها.

ملخص تقني: CBV – هجمات الباب الخلفي ذات الملصقات النظيفة على نماذج الرؤية واللغة عبر نماذج الانتشار

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحًا كبيرًا في المهام متعددة الوسائط مثل وصف الصور والإجابة على الأسئلة البصرية (VQA). ومع ذلك، تشير الدراسات الحديثة إلى أن هذه النماذج عرضة لهجمات الباب الخلفي (backdoor attacks) عبر تسميم البيانات. تعتمد هجمات الباب الخلفي الحالية على استراتيجيات "الملصقات المتسخة" (dirty-label)، حيث يقوم المهاجمون بتعديل الملصقات النصية للعينات المسمومة لخلق عدم تطابق بين الصورة والنص (مثل تصنيف صورة كلب على أنها "أشخاص"). هذا التباين يجعل العينات المسمومة سهلة الكشف نسبيًا من خلال فحص البيانات القياسي.

تتناول الورقة البحثية تحدي تنفيذ هجمات الباب الخلفي ذات الملصقات النظيفة (clean-label backdoor attacks) على نماذج الرؤية واللغة. في هذا الإعداد، يجب على المهاجم بناء عينات مسمومة تحتفظ بنفس الملصقات النصية للعينات النظيفة تمامًا، مع تعديل محتوى الصورة فقط. الهدف هو زرع باب خلفي بحيث يتصرف النموذج بشكل طبيعي على المدخلات النظيفة، ولكنه ينتج مخرجات يحددها المهاجم (مثل استبدال "أشخاص" بـ "كلب") عند تقديمه لصورة محفزة. هذا الأمر يمثل تحديًا كبيرًا لنماذج الرؤية واللغة لأنها، على عكس مهام تصنيف الصور التقليدية التي تتطلب فقط محاذاة على مستوى الفئة، تتطلب اتساقًا دلاليًا غنيًا بين ميزات الصور المعقدة والأوصاف النصية التفصيلية. الطرق السابقة للملصقات النظيفة، والتي تعتمد غالبًا على نماذج بديلة لتقريب مساحات الميزات، تعاني من أجل ترميز المعلومات الدلالية المعقدة اللازمة لنماذج الرؤية واللغة، مما يؤدي إلى هجمات غير فعالة أو ظهور آثار غير طبيعية.

2. المنهجية: CBV

يقترح المؤلفون CBV (هجمات الباب الخلفي ذات الملصقات النظيفة على نماذج الرؤية واللغة عبر نماذج الانتشار)، وهو إطار عمل يستفيد من نماذج الانتشار (diffusion models) ومطابقة الدرجة (score matching) لتوليد صور مسمومة تبدو طبيعية وتدمج ميزات المحفز مع الحفاظ على الملصق الأصلي. يتكون المسار من ثلاث مراحل رئيسية:

أ. توليد محفز الاضطراب العدائي العالمي (UAP)

بدلاً من استخدام ضوضاء بسيطة أو رقع صور ثابتة، يقوم CBV بتوليد اضطراب عدائي عالمي (UAP) قابل لإعادة الاستخدام ليعمل كمحفز.

العملية: باستخدام نموذج بديل (CLIP)، تقوم الطريقة بزيادة خسارة محاذاة الصورة والنص بشكل تكراري على مجموعة من الصور السليمة.
الهدف: يؤدي الـ UAP الناتج ( $\delta$ ) إلى إحداث انحرافات متسقة في مساحة الميزات عبر مدخلات متنوعة، مما يجعل الباب الخلفي أسهل للنموذج الضحية في التعلم والتنشيط بشكل موثوق. يتم تطبيق الـ UAP على الصورة المستهدفة لإنشاء "عينة محفزة".

ب. توليد قناع موجه بـ GradCAM (GM)

لتعزيز التخفي وتجنب الآثار غير الطبيعية في مناطق الخلفية، يقيد CBV التعديلات بالمناطق ذات الأهمية الدلالية.

العملية: يقوم نموذج تصنيف صور بديل بحساب خريطة حرارية لـ GradCAM للفئة المستهدفة. يتم تحديد عتبة هذه الخريطة لإنشاء قناع ثنائي ( $M$ ).
التطبيق: يتم تطبيق التعديلات فقط داخل المنطقة المقنعة، مع ترك بقية الصورة دون تغيير. تهدف هذه الاستراتيجية إلى توليد عينات طبيعية بصريًا بدلاً من مجرد تقليل المسافة على مستوى البكسل.

ج. التوليد القائم على مطابقة الدرجة عبر نماذج الانتشار

الابتكار الجوهري هو استخدام نموذج انتشار لتوليد الصورة المسمومة عن طريق تعديل دالة درجة إزالة الضجيما (denoising score function).

الآلية: تعامل الطريقة عملية توليد الصورة المسمومة كعملية انتشار عكسية مشروطة. تقوم بتعديل دالة الدرجة القياسية ( $s_\theta$ ) من خلال دمج التوجيه متعدد الوسائط من كل من الصورة المحفزة ( $x_{trig}$ ) والنص المقابل لها ( $y_{trig}$ ).
الدرجة الموجهة: تُعرف دالة الدرجة المحدثة كالتالي:
$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$
حيث $S_I$ و $S_T$ هما دالتا تشابه الصورة والنص (يتم تنفيذهما عبر تضمينات CLIP)، و $\lambda_I, \lambda_T$ هما معاملات الوزن.
النتيجة: يوجه هذا عملية إزالة الضجيج لإنتاج صورة تشبه الصورة النظية الأصلية بصريًا (تحافظ على الملصق) ولكنها تحتوي على الميزات الدلالية للمحفز، مما يدمج الباب الخلفي بفعالية.

3. المساهمات الرئيسية

أول باب خلفي ذي ملصق نظيف لنماذج الرؤية واللغة: تقدم الورقة طريقة لتنفيذ هجمات الباب الخلفي ذات الملصقات النظيفة على نماذج الرؤية واللغة، متجاوزةً قيود الطرق السابقة التي كانت تتطلب التلاعب بالملصقات.
التوليد القائم على الانتشار: تقترح نهجًا مبتكرًا باستخدام نماذج الانتشار ومطابقة الدرجة لتوليد عينات مسمومة غنية دلاليًا وطبيعية بصريًا، مما يعالج فشل التقريب القائم على النماذج البديلة في مهام نماذج الرؤية واللغة المعقدة.
التوجيه متعدد الوسائط: تدمج الطريقة كلاً من التوجيه الصوري والنصي أثناء عملية التوليد لمحاذاة ميزات الفضاء الكامن، مما يحسن بشكل كبير من قابلية نقل الهجوم وفعاليته.
التخفي عبر GM: يضمن إدخال قناع موجه بـ GradCAM حصر التعديلات في المناطق ذات الأهمية الدلالية، مما يتجنب الضوضاء المرئية أو الآثار الشائعة في هجمات الملصقات النظيفة السابقة.
المحفز العالمي: يوفر استخدام محفزات UAP انحرافات أقوى في الميزات مقارنة بالضوضاء البسيطة، مما يعزز موثوقية تنشيط الباب الخلفي.

4. النتائج التجريبية

قيم المؤلفون CBV على مجموعات بيانات MSCOCO (وصف الصور) و VQA v2 (الإجابة على الأسئلة البصرية) باستخدام أربعة نماذج تمثيلية للرؤية واللغة: LLaVA-v1.5-7B، و MiniGPT-v2، و InstructBLIP-7B، و Qwen-2.5-VL-7B.

فعالية الهجوم: حقق CBV معدل نجاح هجوم (ASR) يتجاوز 80% عبر جميع النماذج والمهام. هذا الأداء يضاهي هجمات "الملصقات المتسخة" الحديثة (مثل TrojVLM و BadToken)، ويتفوق بشكل كبير على طرق "الملصقات النظيفة" الحالية (مثل Narcissus و HTBA)، والتي حققت عادةً معدلات ASR أقل من 15%.
الحفاظ على الوظائف: حافظت الطريقة على الأداء الطبيعي للنموذج على المدخلات النظيفة. مقاييس مثل BLEU@4 و CIDEr لوصف الصور، و دقة VQA، ظلت متطابقة تقريبًا مع النماذج المدربة طبيعيًا، مما يشير إلى عدم وجود تدهور في المنفعة.
التخفي: أظهرت المقارنات البصرية أن العينات المسمومة المولدة بواسطة CBV تبدو طبيعية وتفتقر إلى الضوضاء أو الآثار الملحوظة الموجودة في العينات المولدة بواسطة طرق الملصقات النظيفة الأخرى.
المتانة: أظهر الهجوم صمودًا ضد آليات الدفاع بما في ذلك Fine-pruning و TIJO (قلب المحفز مع التحسين المشترك). الطبيعة المعقدة لمحفز UAP والتكامل الدلالي للسمّ جعلت من الصعب على هذه الدفاعات اكتشاف أو إعادة بناء الباب الخلفي.
الكفاءة: تطلب CBV وقتًا أقل بكثير (حوالي 28.7 ثانية لكل عينة) مقارنة بطرق الملصقات النظيفة القائمة على التحسين (التي استغرقت 185-218 ثانية)، حيث تعتمد على تمريرة واحدة للانتشار الأمامي-العكسي بدلاً من خطوات تحسين تكرارية متعددة.

5. الأهمية والادعاءات

تدعي الورقة أن CBV يكشف عن ثغرة أمنية حرجة في النماذج التأسيسية متعددة الوسائط: القدرة على زرع أبواب خلفية فعالة دون تغيير ملصقات البيانات. من خلال توليد عينات مسمومة تبدو طبيعية وذات قوة دلالية، يتجاوز الهجوم عمليات فحص البيانات واكتشاف الشذوذ القياسية.

يؤكد المؤلفون أنه بينما نيتهم الأساسية هي كشف هذه الثغرة وتحفيز البحث في الدفاعات، فإن وجود مثل هذه الهجمات يشكل خطرًا على تطبيقات الرؤية واللغة عالية الخطورة (مثل التصوير الطبي، والمركبات ذاتية القيادة). ويخلصون إلى أن استراتيجيات الدفاع الحالية غير كافية ضد هجمات الملصقات النظيفة التي تستخدم النماذج التوليدية للتخفي، مما يستوجب على المجتمع العلمي تطوير استراتيجيات كشف وتخفيف قوية مصممة خصيصًا لهذا النوع من التهديدات.