Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models
تتقصى هذه الورقة هجمات حقن الأوامر الطباعية على نماذج الرؤية واللغة، كاشفةً أن نجاح الهجوم يتأثر بشدة بحجم الخط والتحلل البصري، ويتفاوت بشكل كبير عبر النماذج والوسائط المختلفة، ويرتبط ارتباطاً عكسياً قوياً بمسافة التضمين بين النص والصورة، مما يثبت أن الدفاعات الفعالة يجب أن تُصمم لتناسب بنيات نماذج محددة بدلاً من الاعتماد على حلول عالمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً (نموذج لغوي بصري، أو VLM) يمكنه قراءة النصوص ورؤية الصور في آن واحد. تريد حماية هذا الروبوت من الجهات السيئة التي تحاول خداعه للقيام بأشياء ضارة، مثل سرقة كلمات المرور أو التخطيط لهجوم سيبراني.
عادةً، تضع "حارساً" عند الباب يفحص رسائل الروبوت النصية. إذا كانت الرسالة تقول "كيف يمكنني اختراق بنك؟"، فإن الحارس يوقفها.
ولكن ماذا لو كتب المعتدي تلك الرسالة الضارة على ورقة، ثم التقط صورة لها، وعرض الصورة على الروبوت؟ هنا سيرى الروبوت صورة، وليس نصاً، لذا قد يغفل "حارس النصوص" عن الأمر. يُسمى هذا "حقن الأوامر الطباعي" (Typographic Prompt Injection).
هذه الورقة البحثية تشبه تقرير المحقق الذي يكتشف بالضبط متى ولما لماذا تنجح هذه الخدع التصويرية، وكيف يمكن رصدها قبل وقوعها.
إليك التفاصيل بتبسيط شديد:
1. "النقطة المثالية" لحجم الخط
اختبر الباحثون كتابة الرسائل الضارة بأحجام مختلفة، من النقاط المتناهية الصغر إلى الحروف الضخمة.
- التشبيه: تخيل أنك تحاول قراءة قائمة طعام في مطعم مظلم.
- صغير جداً (6 بكسل): إذا كان النص مجهرياً، فلن تتمكن عينا الروبوت من تمييزه. الأمر يشبه محاولة قراءة قائمة طعام من مسافة بعيدة جداً. تفشل الهجمة بنسبة 100% تقريباً.
- الحجم المثالي (10-12 بكسل): هذه هي منطقة "غولدي لوكس" (المنطقة المثالية). النص كبير بما يكفي ليُقرأ بوضوح، ولكنه صغير بما يكفي ليبدو جزءاً طبيعياً من الصورة. في هذه المرحلة، تنجح الهجمات بأفضل شكل.
- كبير جداً: بمجرد أن يصبح النص ضخماً، لا تزداد فاعلية الهجمة، بل تصل إلى مرحم الثبات.
الدرس المستفاد: إذا أجبرت الروبوت على تجاهل أي شيء أصغر من حجم معين، يمكنك حظر جزء كبير من هذه الهجمات.
2. ليست كل الروبوتات بنفس القدر من السذاجة
اختبر الباحثون أربعة نماذج مختلفة من الروبوتات (GPT-4o، Claude، Mistral، و Qwen). ووجدوا أن بعض الروبوتات يصعب خداعها أكثر من غيرها.
- التشبيه: فكر في الروبوتات كأنواع مختلفة من حراس الأمن.
- الحارس (أ) (GPT-4o) و(ب) (Claude): هذان الحارسان شديدا الشك. إذا عرضت عليهما صورة لملاحظة، فسيظلان مشككين. في الواقع، هما أكثر عرضة للاستماع إلى رسالة نصية مباشرة منه إلى صورة ملاحظة. بالنسبة لهما، تحويل النص إلى صورة في الواقع يُضعف الهجمة.
- الحارس (ج) (Mistral) و(د) (Qwen): هذان الحارسان أقل تدقيقاً. لا يهمهما ما إذا كانت الرسالة نصاً أو صورة؛ فهما معرضان للخداع بنفس القدر.
الدرس المستفاد: لا يمكنك استخدام نفس قواعد السلامة لكل روبوت. إذا اخترت الروبوتات "الساذجة"، فأنت بحاجة إلى دفاعات أقوى بكثير.
3. اختبار "الضبابية" و"الدوران"
حاول الباحثون أيضاً تشويه الصور لمعرفة ما إذا كان ذلك سيوقف الهجمة. قاموا بتدوير الصور، أو جعلها ضبابية، أو إضافة ضجيج (مثل تشويش التلفاز القديم).
- التشبيه: تخيل أنك تحاول قراءة لافتة بينما تدور في دوائر أو تنظر من خلال نظارات ضبابية.
- الضبابية الشديدة/الضجيج: إذا كانت الصورة ضبابية جداً أو مليئة بالضجيج، فسيصاب الروبوت بالارتباك ولن يتمكن من قراءة النص. تفشل الهجمة هنا.
- الدوران (التدوير): كان هذا هو المفاجأة! تدوير الصورة بمقدار 30 درجة لم يؤثر كثيراً على الروبوتات "الساذجة" (Mistral و Qwen)، لكنه أربك تماماً الروبوتات "الشكاكة" (انخفض معدل نجاح Mistral بنسبة 50%، بينما لم يتغير GPT-4o على الإطلاق).
الدرس المستفاد: أحياناً، مجرد إمالة الصورة أو إضافة القليل من التشويش يمكن أن يكسر الهجمة، ولكن هذا يعتمد كلياً على نوع الروبوت الذي تستخدمه.
4. "البلورة السحرية" (مسافة التضمين - Embedding Distance)
هذا هو الاكتشاف الأهم. وجد الباحثون طريقة للتنبؤ بما إذا كانت الهجمة ستنجح قبل أن يراها الروبوت. استخدموا "مسطرة رياضية خاصة" (تسمى نموذج التضمين) لقياس المسافة بين النص الأصلي وصورة النص.
- التشبيه: تخيل أن لديك ماسحاً لبصمات الأصابع.
- إذا كانت صورة النص تبدو مشابهة جداً للنص الأصلي (المسافة صغيرة)، فمن المرجح جداً أن يقرأها الروبوت ويقع في الفخ.
- إذا كانت الصورة تبدو مختلفة تماماً عن النص (المسافة كبيرة) — ربما بسبب كونها ضبابية، أو صغيرة، أو مائلة — فمن غير المرجح أن يقرأها الروبوت، وتفشل الهجمة.
السحر: وجدوا علاقة عكسية مثالية. كلما بدت الصورة أقرب إلى النص من الناحية الرياضية، زادت فرصة نجاح الهجمة.
هذا يعني أن فرق الأمن يمكنهم استخدام هذه "المسطرة الرياضية" كنظام إنذار سريع ورخيص. إذا كانت المسافة صغيرة جداً، يمكنهم حظر الصورة قبل أن تصل إلى الروبوت.
ملخص للواقع العملي
إذا كنت تبني نظاماً يستخدم روبوتات الذكاء الاصطنا Un لتصفح الويب أو التحكم في الكاميرات:
- لا تعتمد على دفاعات موحدة للجميع. ما يوقف روبوتاً واحداً قد لا يوقف غيره.
- راقب حجم الخط. النص المتناهي الصغر آمن؛ أما النص المتوسط فهو خطير.
- استخدم "المسطرة الرياضية". يمكنك التنبؤ بما إذا كانت الصورة تحاول خداع الروبوت الخاص بك عن طريق قياس مدى كون الصورة "تشبه النص" رياضياً. إذا بدت كأنها نص أكثر من اللازم، فتعامل معها بريبة.
هذه الورقة تمنحنا الأدوات لبناء أنظمة ذكاء اصطناعي أكثر أماناً لا تقع في فخ ورقة مكتوب عليها رسالة سيئة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.