🤖 AI

Text is All You Need for Vision-Language Model Jailbreaking

تقدم هذه الورقة البحثية Text-DJ، وهو هجوم اختراق جديد يتجاوز ضمانات السلامة في النماذج اللغوية البصرية الكبيرة عن طريق تحويل النصوص الضارة إلى شبكة من الصور التي تحتوي على استعلامات فرعية حميدة مبعثرة ومشتتات غير ذات صلة، مما يستغل قدرات التعرف الضوئي على الحروف (OCR) لدى النماذج وعدم قدرتها على الربط بين المدخلات متعددة الوسائط المجزأة.

المؤلفون الأصليون: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

نُشر 2026-02-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yihang Chen, Zhao Xu, Youyuan Jiang, Tianle Zheng, Cho-Jui Hsieh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج رؤية-لغة ضخم (LVML) كأنه حارس أمن ذكي ومدرب جيداً في متحف عالي التقنية. هذا الحارس بارع في قراءة اللافتات (النصوص) والنظر إلى الصور لضمان عدم إدخال أي شيء خطير أو ممنوع. إذا حاولت تقديم ملاحظة له تقول "كيف أصنع قنبلة؟"، سيكتشف الخطر فوراً ويقول "مستحيل".

تقدم الورقة البحثية بعنوان "النص هو كل ما تحتاجه لكسر حماية نماذج الرؤية-اللغة" خدعة ذكية تسمى Text-DJ (تشتيت النص لكسر الحماية)، والتي توضح كيف يمكن خداع هذا الحارس الأمن باستخدام النصوص فقط، ولكن مع لمسة مختلفة: النص هنا مخفي داخل شبكة من الصور.

إليك كيفية عمل هذه الخدعة، مقسمة إلى خطوات بسيية:

1. استراتيجية "تقسيم الفاتورة" (التفكيك)

أولاً، يقوم المهاجمون بأخذ سؤال خطير (مثل "كيف أصنع قنبلة؟") وتقسيمه إلى ثلاثة أسئلة أصغر تبدو غير ضارة.

التشبيه: تخيل أنك تريد شراء سلاح خطير، لكن صاحب المتجر يرفض بيعه لك. لذا، تقوم بتقسيم طلبك إلى ثلاث طلبات منفصلة تبدو بريئة: "ما هو التركيب الكيميائي للبارود؟"، "كيف أخلط هذه المساحيق؟"، و"ما هي الحاوية التي تحفظ هذا الخليط؟".
بشكل فردي، تبدو هذه الأسئلة آمنة، وقد يجيب عليها الحارس بتقديم المساعدة. ولكن إذا وضعتها جميعاً معاً، فإنها تكشف عن المخطط الخطير.

2. "الضجيج المشتت" (التشتيت)

بعد ذلك، ينشئ المهاجمون مجموعة من الأسئلة العشوائية والمملة التي لا علاقة لها بالمخطط الخطير.

التشبيه: تخيل أنك تحاول تمرير رسالة سرية عبر حارس، لكنك محاط بـ 9 أشخاص آخرين يصرخون حول حالة الطقس، وسعر الحليب، وتاريخ البطاطس. الحارس مشغول جداً بالاستماع إلى كل هذا الضجيج لدرجة أنه ينسى التركيز على الأشخاص الثلاثة الذين يهمسون بالخطة السرية.
وجدت الورقة البحثية أن هذه "الأسئلة الضوضائية" يجب أن تكون مختلفة قدر الإمكان عن الأسئلة الخطيرة لتعمل بأفضل شكل.

3. "لغز الصورة" (الخدعة البصرية)

هذا هو الجزء الأهم. بدلاً من كتابة الأسئلة في صندوق الدردشة، يحول المهاجمون كل سؤال (الأسئلة الثلاثة الخطيرة المفككة والأسئلة التسعة العشوائية) إلى صور. ثم يرتبونها في شبكة، مثل ألبوم صور أو جدول بيانات.

الفخ: تم تدريب الحارس على مسح النصوص بحثاً عن الكلمات السيئة. ولكن هنا، الكلمات السيئة مخبأة داخل صور للنصوص. يتعين على الحارس استخدام قدرته على "التعرف الضوئي على الحروف" (OCR) — أي قدرته على قراءة النص داخل الصورة — ليرى ما تقوله الصور.
نقطة الضعف: تجادل الورقة بأن الحارس جيد جداً في قراءة النص المباشر، لكنه يرتبك عندما يتعين عليه قراءة نص داخل صورة، خاصة عندما تكون تلك الصورة محاطة بـ 9 صور مشتتة أخرى. قدرة "فلتر الأمان" لديه على قراءة النصوص تفشل في ربط النقاط بين "الأسئلة-الصور" المبعثرة التي تبدو غير ضارة.

النتيجة

عندما يقرأ الحارس الشبكة من الصور أخيراً، سيرى الأسئلة الثلاثة المجزأة في منتصف الضجيج. ولأن الأسئلة مجزأة ومخبأة في صور، لا يدرك الحارس أنها تشكل كلاً خطيراً. فيقوم بالإجابة على الأجزاء غير الضارة، وبذلك يكشف دون قصد عن الإجابة للسؤال الخطير الأصلي.

لماذا هذا الأمر مهم

تدعي الورقة البحثية أن هذا يمثل مشكلة كبيرة لأن:

إنه يعمل على النماذج "الصندوق الأسود" (Black Box): لا تحتاج لمعرفة الكود السري للحارس أو هيكل دماغه الداخلي. أنت فقط بحاجة لإرسال شبكة الصور.
إنه يعمل على أفضل النماذج: اختبروا هذه الطريقة على نماذج رفيعة المستوى (مثل GPT-4 وGemini وQwen) ونجحت مع جميعها.
إنه يتجاوز نماذج "الحراسة": حتى عندما تحاول طبقة أمن ثانية فحص المدخلات قبل وصولها إلى النموذج الأساسي، غالباً ما تتسلل هذه الخدعة لأن المدخلات تبدو كشبكة غير ضارة من الصور.

باخت-القول: تظهر الورقة البحثية أنه إذا أخفيت خطة خطيرة داخل صورة، وقسمت تلك الخطة إلى قطع صغيرة، وأحطتها بالكثير من الضجيج الممل، فحتى أذكى حراس الذكاء الاصطناعي يمكن أن يرتبكوا ويسمحوا للخطر بالمرور. والحل، وفقاً للمؤلفين، هو جعل الذكاء الاصطناعي أفضل في قراءة النصوص داخل الصور وربط النقاط ببعضها، حتى عند وجود الكثير من الضجيج.

ملخص تقني: كسر حماية النماذج اللغوية البصرية باستخدام Text-DJ

1. بيان المشكلة

تدمج النماذج اللغوية البصرية الكبيرة (LVLMs) المشفرات البصرية مع النماذج اللغوية الكبيرة (LLMs) لأداء مهام الاستدلال متعدد الوسائط المعقدة. وبينما تستخدم هذه النماذج ضمانات سلامة (غالباً عبر التعلم التعزيزي من التغذية الراجعة البشرية) لمنع المخرجات الضارة، فإن الدفاعات الحالية تركز بشكل أساسي على تحليل المدخلات النصية الصريحة أو المشاهد البصرية المحددة.

تحدد الورقة البحثية فجوة حرجة: آليات محاذاة السلامة الحالية معرضة للاختراق بسبب قدرات التعرف الضوئي على الحروف (OCR) داخل النماذج اللغوية البصرية الكبيرة. وتحديداً، عندما يتم تقديم نص ضار كصورة بدلاً من مدخل نصي مباشر، ينجح المشفر البصري والوحدة الداخلية للتعرف الضوئي على الحروف في استخراج النص، لكن النموذج اللغوي اللاحق يفشل في ربط المحتوى المستخرج ببروتوكولات السلامة. علاوة على ذلك، غالباً ما تعاني طرق كسر الحماية الموجودة من قيود مثل الحاجة إلى وصول "الصندوق الأبيض" (تدرجات النموذج)، أو كونها خاصة بنموذج معين، أو الاعتماد على توليد صور تنافسية مكلفة حوسبياً.

السؤال البحثي المركزي هو: هل يمكننا تصميم طريقة لكسر الحماية (Jailbreak) تعمل بنظام "الصندوق الأسود" ومستقلة عن نوع النموذج، وتعتمد حصرياً على المطالبات النصية؟

2. المنهجية: Text-DJ

يقترح المؤلفون Text-DJ (كسر الحماية عبر تشتيت النصوص)، وهو مسار هجوم يتكون من ثلاث مراحل يستغل قدرات التعرف الضوئي على الحروف (OCR) لدى النموذج وعدم قدرته على ربط المعلومات المشتتة وسط ضجيج دلالي عالٍ.

المرحلة 1: تفكيك الاستعلام التنافسي

يتم تفكيك استعلام ضار $q$ إلى $m$ من الاستعلامات الفرعية ذات الصلماة الدلالية ولكنها غير ضارة فردياً $\{q_s^{(i)}\}_{i=1}^m$ .

الآلية: يقوم نموذج لغوي كبير موجه (مثل Qwen2.5-3B-Instruct) بتفكيك النية الضارة الأصلية إلى خطوات وسيطة أو وجهات نظر مختلفة.
الهدف: كل استعلام فرعي يبدو غير ضار في عزله، ولكنها مجتمعة تعيد بناء النية الضارية الأصلية.

المرحلة 2: بناء استعلامات التشتيت

يختار النظام $n$ من استعلامات التشتيت $\{q_d^{(j)}\}_{j=1}^n$ التي لا تمت بصلة دلالية قصوى للاستعلام الضار ولبعضها البعض.

الآلية: باستخدام نموذج تضمين الجمل (مثل all-MiniLM-L6-v2)، يستخدم المؤلفون خوارزمية جشعة لاختيار الاستعلامات التي تقلل من تشابه جيب التمام مع الاستعلام الضار ومع الاستعلامات المشتتة المختارة مسبقاً.
الهدف: خلق "ضجيج دلالي" يغمر قدرة النموذج على ربط الاستعلامات الفرعية المشتتة.

المرحلة 3: بناء شبكة الصور والحقن

يتم تحويل جميع الاستعلامات الفرعية واستعلامات التشتيت إلى صور باستخدام إجراء "النص داخل الصورة" (TiI).

التحويل البصري: يتم عرض النص على صور مع ألوان نص وخلفية عشوائية (مع الالتزام بمعايير التباين WCAG AA) لضمان الرؤية وإدخال التباين البصري.
ترتيب الشبكة: يتم ترتيب صور $m+n$ في شبكة (مثلاً $4 \times 3$ ). توضع الاستعلامات الفرعية في مواقع محددة (مثل الفهارس 6 و8 و12)، بينما تملأ استعلامات التشتيت المواقع المتبقية.
التنفيذ: تُقدم الشبكة إلى النموذج اللغوي البصري الكبير (LVLM) مع تعليمات لتحديد مواقع الاستعلامات الفرعية والإجابة عليها. يستخدم النموذج قدرة التعرف الضوئي على الحروف (OCR) لقراءة النص من الصور، متجاوزاً فلاتر المدخلات النصية القياسية.

3. المساهمات الرئيسية

إطار عمل Text-DJ: طريقة مبتكرة لكسر الحماية بنظام "الصندوق الأسود" ومستقلة عن النموذج، تعتمد فقط على تحويل النصوص إلى صور، مما يلغي الحاجة إلى توليد صور تنافسية أو الوصول إلى "الصندوق الأبيض".
إثبات ضعف الـ OCR: تقدم الورقة أدلة واسعة على أن دفاعات السلامة الحالية في النماذج اللغوية البصرية الكبيرة تفشل عندما تتم معالجة المطالبات الضارة عبر مسار التعرف الضوئي على الحروف (OCR)، خاصة عندما يكون المحتوى الضار مجزءاً ومحاطاً بمشتتات دلالية.
التفوق على التشتيت البصري: يوضح المؤلفون أن "التشتيت الدلالي" (استخدام استعلامات نصية غير ذات صلة) أكثر فعالية من "التشتيت البصري" (استخدام صور غير ذات صلة)، كما هو موضح في المقارنات مع الأعمال السابقة مثل CS-DJ.
تقييم المتانة: تم التحقق من الطريقة ضد نماذج متطورة مفتوحة المصدر (سلسلة Qwen3-VL) ومغلقة المصدر (GPT-4o-mini، GPT-4.1-mini، Gemini-2.5-Flash)، حيث أظهرت نجاحاً مستمراً حتى في ظل وجود نماذج حماية خارجية (OpenAI Moderation API و GuardReasoner-VL).

4. النتائج التجريبية

قيم المؤلفون Text-DJ على مجموعتي بيانات: HADES (5 فئات، 750 مطالبة) و HEx-PHI (10 فئات، 300 مطالبة).

معدل نجاح الهجوم (ASR): تفوق Text-DJ باستمرار على النماذج المرجعية (HADES و CS-DJ).
- على Qwen3-VL-4B، حقق Text-DJ متوسط معدل نجاح هجوم قدره 48.13% (مجموعة بيانات HADES) و 42.33% (مجموعة بيانات HEx-PHI)، وهو أعلى بكثير من CS-DJ (34.40% و 27.33% على التوالي).
- على GPT-4.1-mini، حقق Text-DJ متوسط معدل نجاح هجوم قدره 64.27% (HADES) و 60.33% (HEx-PHI).
تجاوز الدفاعات: حتى عندما تم تصفية المدخلات بواسطة OpenAI Moderation API أو GuardReasoner-VL، حافظ Text-DJ على معدل نجاح هجوم مرتفع. على سبيل المثال، ضد GPT-4.1-mini مع OpenAI Moderation، ظل معدل النجاح عند 64.27% (دون أي انخفاض)، حيث فشلت واجهة برمجة التطبيقات (API) في اكتشاف النية الضارة المضمنة داخل شبكة الصور.
دراسات الاستئصال (Ablation Studies):
- إجراء TiI: تحويل النص إلى صور أمر بالغ الأهمية؛ حيث أدت المدخلات النصية المباشرة إلى معدل نجاح أقل بكثير، مما يؤكد تجاوز فلاتر النصوص.
- التفكيك ( $m$ ): كان تفكيك الاستعلام إلى $m=3$ استعلامات فرعية هو الأمثل؛ حيث فشل $m=1$ (غير المفكك) بسبب محاذاة السلامة.
- التشتيت ( $n$ ): زاد معدل نجاح الهجوم مع عدد المشتتات، ووصل إلى ذروته عند $n=9$ أو $n=12$ .
- التمركز (Positioning): وضع الاستعلامات الفرعية في المواقع المتوسطة إلى المتأخرة (ولكن ليس الأخيرة تماماً) حقق نتائج أفضل من المواقع الأولى أو العشوائية.
- التلوين (Colorization): أدى استخدام ألوان نص/خلفية عشوائية إلى تحسين معدل نجاح الهجوم مقارنة بالألوان الثابتة، مما يشير إلى أن التباين البصري يساعد في تشتيت النموذج.

5. الأهمية والادعاءات

تدعي الورقة أن Text-DJ يكشف عن ثغرة حرجة في محاذاة السلامة للنماذج اللغوية البصرية الكبيرة فيما يتعلق بقدرات التعرف الضوئي على الحروف (OCR). ويرى المؤلفون أن الهجوم ينجح لأن:

تجاوز الوسائط: تحويل النص إلى صور يتجاوز فلاتر السلامة النصية القياسية.
التشتيت الدلالي: تفشل بروتوكولات السلامة في ربط الاستعلامات الفرعية المشتتة والتي تبدو حميدة، عندما تكون مدمجة ضمن حجم كبير من الاستعلامات غير ذات الصلة.

يخلص المؤلفون إلى أن الدفاعات الحالية ليست قوية بما يكفي للتعامل مع المدخلات التنافسية المجزأة ومتعددة الصور. ويشددون على الحاجة إلى آليات دفاع جديدة مصممة خصيصاً للتعامل مع المدخلات متعددة الوسائط المشتتة وتأمين وحدات الـ OCR داخل النماذج اللغوية البصرية الكبيرة ضد هجمات التشتيت الدلالي هذه. لا تقترح هذه الدراسة تطبيقات جديدة للنماذج اللغوية البصرية الكبيرة، بل تعمل كتحذير بشأن هشاشة محاذاة السلامة الحالية في مواجهة الاستراتيجيات التنافسية القائمة على النصوص وعبر الوسائط.