💻 computer science

Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs

تقدم هذه الورقة هجوماً بباب خلفي قابل للبرمجة على نماذج الرؤية واللغة (VLMs)، والذي يُمكّن المهاجمين، من خلال مرحلة تسميم واحدة وإخفاء معلومات في فضاء السمات (feature-space steganography)، من توليد محفزات خفية ديناميكياً لأي نصوص وصفية مستهدفة عشوائية وغير مرئية مسبقاً وقت الاستدلال، مما يفصل فعلياً عملية اختيار الهدف عن عملية التدريب الأولية.

المؤلفون الأصليون: Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

نُشر 2026-08-12

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً تستطيع فيه الحواسيب أن "ترى" و"تتحدث" في آن واحد. تُسمى هذه النماذج "نماذج الرؤية واللغة" (Vision-Language Models - VLMs). فكر فيها كأنها روبوتات فائقة الذكاء تنظر إلى صورة قطة وتستطيع فوراً كتابة جملة مثل: "قطة برتقالية فروية نائمة على أريكة". لقد تم تدريبها على كميات هائلة من الصور والنصوص من الإنترنت، لتعلم كيفية ربط ما تراه بالكلمات التي تصفه. ولأنها بارعة جداً في ذلك، فنحن نستخدمها في كل شيء، من مساعدة الأطباء في تشخيص الأمراض إلى تعليم السيارات ذاتية القيادة ما يجب أن تحذر منه.

ومع ذلك، تماماً كما يمكن خداع إنسان وتصديقه كذبة إذا قُدمت له المعلومات الصحيحة، يمكن لهذه الروبوتات الذكية الاصطناعية أن تتعرض لـ "التسمم". يُسمى هذا "هجوم الباب الخلفي" (Backdoor Attack). تخيل معلماً يقوم، أثناء الحصة، بتعليم الطلاب سراً قاعدة سرية: "كلما رأيتم ملصقاً أحمر على المكتب، تجاهلوا الدرس الفعلي واصرخوا: موز!". يتصرف الطلاب بشكل طبيعي معظم الوقت، ولكن في اللحظة التي يظهر فيها الملصق الأحمر، يصابون بالجنون. في عالم الذكاء الاصطناعي، يحاول المهاجمون دس هذه "الملصقات الحمراء" (التي تسمى المحفزات أو Triggers) في بيانات التدريب لتعليم الذكاء الاصطناعي أمراً سرياً. عادةً ما تكون هذه الهجمات جامدة: الملصق الأحمر يجعل الذكاء الاصطناعي يقول "موز" فقط. وإذا أراد المهاجم أن يجعل الذكاء الاصطناعي يقول "تفاح" بدلاً من ذلك، فعليه العودة وإعادة تعليم الفصل بأكمله، والأمل في ألا يلاحظ أحد التغيير. تستكشف هذه الورقة البحثية نسخة أكثر دهاءً وخطورة من هذه الخدعة.

"جهاز التحكم عن بعد السحري" للذكاء الاصطناعي

تقدم هذه الورقة البحثية نوعاً جديداً من هجمات الباب الخلفي يحول نموذج الرؤية واللغة إلى جهاز تحكم عن بعد قابل للبرمجة. بدلاً من تعليم الذكاء الاصطناعي خدعة واحدة مملة مثل "ملصق أحمر = موز"، علم الباحثون الذكاء الاصطناعي قاعدة عامة: "إذا رأيت نمطاً غريباً محدداً، فانظر إلى الصورة الموجودة داخل ذلك النمط وصف ذلك بدلاً من الصورة الأساسية."

بمجرد تثبيت هذه "القاعدة العامة"، لا يحتاج المهاجم إلى إعادة تدريب الذكاء الاصطناعي على الإطلاق. يمكنه الاقتراب من الذكاء الاصطناعي في أي وقت، واختيار أي جملة يريدها (مثل "هذا عقار خطير" أو "القهوة صحية للجميع")، وتوليد محفز مخصص وغير مرئي فوراً يجبر الذكاء الاصطناعي على قول تلك الجملة بالضبط. إنه يشبه امتلاك جهاز تحكم سحري حيث يمكنك كتابة أي أمر تريده، ويستجيب التلفاز فوراً، دون الحاجة أبداً لتغيير البطاريات أو الأسلاك.

كيف تعمل هذه الخدعة

قسم الباحثون هجومهم إلى خطوتين ذكيتين: التدريب والمحفز المتخفي.

1. التدريب: تعليم قاعدة "انظر إلى مكان آخر"
عادةً ما تكون هجمات الباب الخلفي مثل حفر حقيقة معينة في عقل الطالب. لكن هذه الورقة فعلت شيئاً مختلفاً. استخدموا "استراتيجية تسميم استدلالية" (Heuristic Poisoning Strategy). تخيل أنهم أخذوا مجموعة من الصور العادية (مثل صورة لشاطئ) ولصقوا صورة عشوائية صغيرة (مثل صورة لصنبور حريق) في الزاوية. لكن هنا تكمن الخدعة: أخبروا الذكاء الاصطناعي أن الصورة بأكملها هي في الواقع صورة لصنبور الحريق.

فعلوا ذلك آلاف المرات باستخدام صور عشوائية مختلفة وأوصاف مختلفة. لم يستطع الذكاء الاصطناعي مجرد حفظ "صنبور حريق = شاطئ". بدلاً من ذلك، بدأ يتعلم نمطاً: "أوه، أرى بقعة غريبة في الزاوية؟ يجب أن يكون هذا هو الجزء المهم. يجب أن أتجاهل الشاطئ وأصف صنبور الحريق". لقد تعلم الذكاء الاصطناعي "تعليمات" عامة بدلاً من مجرد ذاكرة محددة.

2. المحفز المتخفي: إخفاء الأمر
في مرحلة التدريب، كان "المحفز" مجرد صورة صغيرة واضحة ملصقة في الزاوية. لكن إذا استخدم المهاجم ذلك في العالم الحقيقي، فسيراه الناس ويعرفون أن هناك خطباً ما. بالإضافة إلى ذلك، فإن الذكاء الاصطناعي الطبيعي غير المسموم قد ينظر إلى البقعة ويصفها بشكل طبيعي، مما يبطل الغرض من الهجوم.

لحل هذه المشكلة، ابتكر الباحثون طريقة "إخفاء المحفز" (Trigger Steganography). وهي طريقة معقدة تعني أنهم حولوا الصورة الواضحة إلى رمز سري. استخدموا خدعة رياضية لتحويل فكرة "صنبور الحريق" إلى بقعة ضوضاء صغيرة غير مرئية أو نسيج بالكاد يُلاحظ يشبه التشويش.

السحر: بالنسبة للعين البشرية، تبدو الصورة طبيعية تماماً. أما بالنسبة للذكاء الاصطناعي المسموم، فإن تلك البقعة الصغيرة من الضوضاء تصرخ: "انظر إلى هذا! صف صنبور الحريق!"
المرونة: لأن الذكقة الاصطناعي تعلم القاعدة العامة أثناء التدريب، يمكن للمهاجم الآن أخذ أي جملة يريدها، وتحويلها إلى "صورة مرجعية" (حتى لو لم تكن تلك الصورة موجودة بالفعل)، وتوليد نمط ضوضاء جديد وغير مرئي يجبر الذكاء الاصطناعي على قول تلك الجملة.

ما وجدوه

اختبر الباحثون هذا على عدة نماذج ذكاء اصطناعي قوية باستخدام آلاف الصور. إليكم ما تخبرنا به الأرقام:

يعمل على أشياء جديدة: كان الهجوم بارعاً للغاية في التحكم في الذكاء الاصطناعي بجمل لم يرها الذكاء الاصطناعي من قبل. عندما اختبروا "الأهداف غير المرئية" (جمل جديدة لم يتم تدريب الذكاء الاصطناعي عليها خصيصاً)، نجح الهجوم بنسبة 92% باستخدام المحفز "العادي" (الواضح) وبنسبة 86% باستخدام محفز "الضوضاء" غير المرئي.
لا يعطل الذكاء الاصطناعي: ظل الذكاء الاصطناعي المسموم يعمل بشكل مثالي للمهام العادية. إذا عرضت عليه صورة قطة بدون المحفز السري، فسيظل يقول: "قطة نائمة". لم يرتبك أو يفقد قدرته على أن يكون مفيداً.
يتفوق على الدفاعات: حاول الباحثون إيقاف الهجوم باستخدام أدوات أمنية شائعة مصممة للعثور على الأبواب الخلفية (مثل تصغير الصورة أو قلبها). فشلت الأبواب الخلفية التقليدية "الثابتة" تماماً (0% نسبة نجاح)، لكن بابهم الخلفي "القابل للبرمجة" استمر في العمل، حيث ظلت نسب النجاح تتراوح بين 85% و99% حتى بعد تطبيق هذه الدفاعات.
"السحر" حقيقي: في محاكاة حاولوا فيها توليد محفزات لـ 200 جملة عشوائية تماماً (باستخدام الذكاء الاصطناعي لإنشاء صور وهمية لها)، نجح الهجوم في اختطاف مخرجات الذكاء الاصطناعي لـ 89% من الحالات باستخدام محفز البقعة (Patch Trigger).

لماذا هذا مهم

تجادل الورقة بأن هذا يغير قواعد اللعبة. قبل ذلك، إذا أراد مهاجم تغيير سلوك الذكاء الاصطناعي، كان عليه المرور بعملية طويلة ومكلفة وعالية المخاطر لإعادة تدريب النموذج بالكامل. الآن، مع هذا الباب الخلفي "من أي شيء إلى أي شيء" (any-to-any)، يحتاج المهاجم فقط لتسميم النموذج مرة واحدة. بعد ذلك، يمكنه التحكم في مخرجات الذكاء الاصطناعي فوراً، واختيار أي هدف يريد، في أي وقت يريد، دون لمس النموذج مرة أخرى.

يشير المؤلفون إلى أن هذا يجعل التهديد أكثر خطورة واستمرارية. الأمر لم يعد يتعلق بمجرد خدعة محددة؛ بل يتعلق بمنح المهاجم "مفتاحاً رئيسياً" يمكنه فتح أي باب في مفردات الذكاء الاصطناعي، وكل ذلك بينما يبدو الذكاء الاصطناعي طبيعياً تماماً للجميع. وتخلص الورقة إلى أننا بحاجة إلى إيجاد طرق جديدة لحماية هذه النماذج، لأن الطرق القديمة للإمساك بـ "الملصقات السيئة" قد لا تكون كافية للإمساك بـ "جهاز تحكم سحري".

ملخص تقني: بمجرد التسميم، يصبح التحكم مطلقاً

بيان المشكلة

تعتمد هجمات الأبواب الخلفية (Backdoor attacks) الحالية على نماذج الرؤية واللغة (VLMs) بشكل أساسي على نمط ثابت (Static)، حيث تعمل وفق نموذج رسم خرائط ثابت (واحد لواحد أو N لـ N). في هذه السيناريوهات، ترتبط محفزات (Triggers) معينة بمجموعة محدودة من الأهداف الخبيثة المحددة مسبقاً خلال مرحلة التدريب. هذا الجمود يحد بشدة من قابليتها للتطبيق في التهديد الحقيقية الديناميكية؛ فإذا تغير هدف المهاجم بعد عملية التسميم (على سبيل المثال، التحول من إرباك سلامة المنتجات إلى نشر معلومات مضللة حول أحداث غير ذات صلة)، فإن الباب الخلفي ذو الرسم الثابت يفشل. وتتطلب عملية التكيف مع أهداف جديدة إعادة تسميم مجموعة البيانات وإعادة تدريب نموذج VLM الضخم، وهي عملية مكلفة حاسوبياً تزيد من خطر الكشف.

تعالج الورقة البحثية الحاجة إلى نموذج أبواب خلفية أكثر تنوعاً واستمرارية، يسمح للمهاجم باختيار دلالات نصية (Caption semantics) لأهداف لم تكن موجودة مسبقاً وقت الاستدلال دون الحاجة لإعادة تدريب النموذج الضحية.

المنهجية

يقترح المؤلفون نموذج التحكم في أي وصف لأي مدخل (any-to-any caption-control paradigm) يتكون من مكونين أساسيين: استراتيجية تسميم استدلالية وطريقة إخفاء (Steganography) للمحفز في فضاء الميزات.

1. استراتيجية التسميم الاستدلالية (Heuristic Poisoning Strategy)

بدلاً من تدريب النموذج على حفظ أزواج (محفز-هدف) ثابتة، يهدف المؤلفون إلى غرس مبدأ استدلالي عام وهو "المحفز كأمر" (Trigger-as-instruction).

الآلية: يبني المهاجم مجموعة بيانات مسمومة عن طريق أخذ عينات من أزواج متنوعة من (المحفز-الهدف) $(x^t_{image}, y^t_{text})$ . لكل زوج صورة-وصف سليم، يتم وضع صورة "غريبة" للمحفز فوق منطقة مقنعة محددة (مثل الزاوية العلوية اليسرى) من الصورة المدخلة. ويتم استبدال الوصف الأصلي بالوصف المقابل لصورة المحفز.
الهدف: من خلال تعريض النموذج لأزواج متنوعة حيث يملي وجود صورة غريبة في المنطقة المقنعة (Mask) المخرج الناتج، يتعلم النموذج تجاهل محتوى الصورة الرئيسي عند وجود محفز، وبدلاً من ذلك، توليد الوصف المرتبط بالمحتوى الدلالي للمحفز. يستفيد هذا من قدرة التعميم (Zero-shot generalization) المتأصلة في نماذج VLM، مما يسمح لها بالتعرف على المحفزات غير المرئية كأوامر ضمنية.

2. إخفاء المحفز عبر فضاء الميزات ( $TS(\cdot)$ )

المحفز التقليدي (وهو عبارة عن رقعة مرئية من صورة طبيعية) يكون ظاهراً وسهل الكشف. ولضمان التخفي، يقترح المؤلفون رسم خريطة لأي وصف مستهدف $z$ إلى محفز بصري خفي $TS(z)$ لا يحتوي على المعلومات الدلالية لـ $z$ ولكنه يحاكي التمثيل الميزاتي للمحفز الأصلي.

استخراج الميزات: يتم استخدام مشفر رؤية مدرب مسبقاً $\Phi$ لاستخراج الميزات.
التحسين: تعمل الطريقة على تحسين محفز يقلل المسافة بين التمثيل الميزاتي للصورة المسمومة (مع المحفز الخفي) والتمثيل الميزاتي للصورة مع المحفز الأصلي.
تنفيذان:
- محفز الرقعة ( $TS_{patch}$ ): يولد رقعة غير دلالية تختلف بصرياً عن الصورة المستهدفة ولكنها تتوافق في فضاء الميزات.
- المحفز المتحكم في المعيار ( $TS_{norm}$ ): يولد ضوضاء غير محسوسة (اضطراب) مع قيود معيار $L_\infty$ ( $\epsilon$ ) لتنشيط الباب الخلفي.
التحسين (Refinement): لاحظ المؤلفون أن تطبيق تمويه غاوسي (Gaussian blur) طفيف على المنطقة المقنعة قبل إضافة الضوضاء يعزز الفعالية بشكل أكبر.

المساهمات الرئيسية

نموذج التحكم في أي وصف لأي مدخل: تبتكر الورقة أول هجوم باب خلفي يفصل اختيار الهدف عن مرحلة التسميم. إنها تعيد توظيف قدرة التعميم (Zero-shot) للنماذج لتصبح ثغرة يتحكم فيها المهاجم، مما يتيح الاختيار الديناميكي للأوصاف المستهدفة غير المرئية دون إعادة تدريب.
التسميم الاستدلالي والإخفاء: صمم المؤلفون استراتيجية تحول انتباه النموذج إلى المحفز كأمر بدلاً من مجرد نمط ثابت. كما طوروا طريقة إخفاء المحفز $TS(\cdot)$ التي تربط الأهداف النصية التعسفية بمحفزات بصرية خفية (ضوضاء أو رقع غير دلالية).
التقييم الشامل: تقدم الورقة تجارب صارمة تثبت تحقيق معدلات نجاح عالية للهجوم (ASR) مع الحفاظ على الفائدة السليمة للنموذج وإظهار المتانة ضد الدفاعات التقلية للأبواب الخلفية.

النتائج التجريبية

أُجريت التجارب بشكل أساسي على LLaVA-1.6، مع تحقق إضافي على Qwen3-VL و MiniGPT-v2، باستخدام مجموعات بيانات مثل Flickr8k، Flickr30k، Tiny-ImageNet، و CIFAR-100.

معدل نجاح الهجوم (ASR): تحقق الطريقة المقترحة ASR مرتفعاً على أزواج (المحفز-الهدف) غير المرئية.
- المحفزات الأصلية (Vanilla): حوالي 92% ASR على Flickr8k (باستخدام محفزات Tiny-ImageNet).
- محفزات الرقعة (Patch): حوالي 87-89% ASR (باستخدام محفزات Tiny-ImageNet).
- المحفزات المتحكم في المعيار: مع $\epsilon = 16/255$ ومحفزات Tiny-ImageNet (64x64)، يصل ASR إلى حوالي 86% على Flickr8k. ومع ذلك، عند استخدام محفزات CIFAR-100 ذات الدقة المنخفضة (32x32)، ينخفض ASR بشكل كبير إلى 55.00% على Flickr8k.
- التعميم: على عكس النماذج المرجعية (مثل TrojVLM و MTAttack) التي تنخفض إلى 0% ASR في الأهداف غير المرئية، تحافظ الطريقة المقترحة على حوالي 92% ASR (للأصلية) و 86% ASR (لـ $L_\infty$ مع Tiny-ImageNet) في الأزواج المحجوبة.
الفائدة السليمة (Benign Utility): تحافظ النماذج المسمومة على أداء مماثل للنماذج النظيفة في الاختبارات القياسية (GQA و MME)، مع تدهور ضئيل في درجات الإدراك والمعرفة.
التخفي: لا تخرج النماذج النظيفة أي محتوى متعلق بالهدف عند تقديم المحفزات الخفية، مما يؤكد أن المحفزات لا تنشط الباب الخلفي في النماذج غير المسمومة.
المتانة ضد الدفاعات: يظل الهجوم فعالاً ضد دفاعات مثل Shrinkpad و Flip و Scale-up، بينما يتم تحييد الأبواب الخلفية التقليدية (BadNets) تماماً بواسطة هذه الدفاعات.
المحاكاة: في محاكاة حيث تم توليد الأهداف باستخدام Stable Diffusion (نظراً لعدم وجود صور حقيقية)، حقق محفز الرقعة 89.15% ASR طبيعي و 86.50% ASR على مستوى المحفز، مما أظهر القدرة على اختطاف المخرجات لنصوص تعسفية.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول هجوم باب خلفي "أي-إلى-أي" (any-to-any) على نماذج VLMs. تكمن أهميتها الأساسية في إثبات أن مرحلة تسميم واحدة يمكن أن تزرع ثغرة قابلة للبرمجة، مما يسمح للمهاجمين بالتحكم ديناميكياً في دلالات النص المستهدف وقت الاستدلال.

يجادل المؤلفون بأن هذه القدرة تقلل بشكل جوهري من تقدير حجم التهديد الحالي لأمن نماذج VLM، لأنها تزيل العوائق الحسابية واللوجستية لإعادة التدريب لتحقيق أهداف خبيثة جديدة. تكشف النتائج عن ثغرات حرجة في سلاسل تعلم النماذج متعددة الوسائط، مما يسلط الض الضوء على الحاجة الملحة لآليات دفاع يمكنها اكتشاف وتخفيف الأبواب الخلفية الديناميكية القائمة على الأوامر، بدلاً من مجرد مطابقة الأنماط الثابتة. وتخلص الورقة إلى أن نماذج VLM الحالية عرضة للتحول إلى أدوات مرنة تحت سيطرة المهاجم لتوليد محتوى خبيث تعسفي.