ملخص تقني: اختطاف الانتباه للتلاعب بالاستجابة عبر الاستعلامات في نماذج الرؤية واللغة (VLMs)

1. تعريف المشكلة

تتناول الورقة البحثية قصوراً حرجاً في الهجمات العدائية الحالية على نماذج الرؤية واللغة (VLMs). فبينما تنجح الطرق الحالية في توجيه مخرجات النموذج نحو استجابة مستهدفة محددة لزوج ثابت من (صورة-سؤال)، فإن فعاليتها تتدهور بشكل كبير عندما يتم إقران الصورة المتلاعب بها باستعلامات نصية مختلفة. هذا الافتقار إلى القابلية للنقل عبر الاستعلامات (cross-query transferability) يعيق الجانب العملي للهجمات في البيئات الديناميكية حيث قد تواجه صورة واحدة تعليمات نصية متنوعة من المستخدمين.

السؤال البحثي الجوهري هو: هل يمكن لمثال عدائي واحد أن يعمم عبر استعلامات متنوعة لاستحثاث استجابة مستهدفة محددة مسبقاً؟

2. المنهجية: اختطاف الانتباه (Attention Hijacking)

2.1 الرؤية الجوهرية: استقرار نمط الانتباه

من خلال تحليل متعمق للهجمات الحالية (تحديداً هجمات LLM Logits باستخدام خوارزمية التدرج المتناقص الموجه - PGD)، لاحظ المؤلفون أن النقل الناجح عبر الاستعلامات يرتبط ارتباطاً وثيقاً باستقرار توزيعات الانتباه الداخلية.

• الملاحظة: في حالات النقل الناجحة، يحافظ النموذج على نمط انتباه مهيمن على الصورة (image-dominant attention pattern) أثناء توليد الاستجابة، حيث تتوجه عملية الانتباه من رموز الاستجابة (response tokens) نحو رموز الصورة بقوة أكبر من توجهها نحو الرموز النصية.
• وضع الفشل: عندما يفشل النقل، ينهار هذا النمط المهيمن على الصورة، ويعود النموذج للاعتماد على الصياغة المحددة للاستعلام النصي.
• الفرضية: لتحقيق القابلية للنقل، يجب أن يفرض الهجوم بشكل صريح نمط انتباه مستمر ومهيمن على الصورة، مما يؤدي إلى فصل المخرجات عن التعليمات النصية المحددة.

2.2 الهجوم المقترح: اختطاف الانتباه

يقترح المؤلفون اختطاف الانتباه (Attention Hijacking)، وهو هجوم عدائي مبتكر يهدف صراحةً إلى توجيه توزيعات الانتباه الداخلية لنموذج الرؤية واللغة نحو نمط مستمر مهيمن على الصورة.

المكونات الرئيسية:

1. فقد إعادة تخصيص الانتباه ($L_{AR}$):
   يقدم الأسلوب حداً للفقد (loss term) مصمماً لتضخيم تأثير الرموز البصرية على رموز الاستجابة المستهدفة مع كبح التأثير المنافس للرموز النصية.

   • يقوم بتعريف متوسط وزن الانتباه من الرموز البصرية ($\bar{A}_{img \to y}$) والرموز النصية ($\bar{A}_{txt \to y}$) إلى رمز الاستجابة المستهدف $y$.
   • يفرض قيداً حيث تتجاوز نسبة الانتباه البصري إلى النصي عتبة $r$:
     $$\frac{\bar{A}_{img \to y}}{\bar{A}_{txt \to y} + \tau} \geq r$$
   • يتم صياغة الفقد كعقوبة من نوع (hinge-style penalty) على طبقات ورؤوس انتباه مختارة، حيث يعاقب الحالات التي لا يتم فيها استيفاء هذه النسبة.

2. الهدف العام:
   تجمع عملية التحسين الإجمالية بين احتمالية الاستجابة المستهدفة القياسية (logits loss) وفقد إعادة تخصيص الانتباه:
   $$L = L_{logits} + \lambda L_{AR}$$
   حيث يتحكم $\lambda$ في قوة توجيه الانتباه.

3. جدولة حجم الخطوة الديناميكي (Dynamic Step-Size Scheduling):
   للحد من عدم الاستقرار في عملية التحسين في المراحل المتأخرة (حيث تسبب أحجام الخطوات الثابتة غالباً تذبذبات بين النجاح والفشل)، يستخدم المؤلفون جدولاً زمنياً ديناميكياً لحجم الخطوة ($\alpha^{(i)} = \alpha_0 \cdot \gamma^i$). يسمح هذا بالتوجيه السريع لأنماط الانتباه في البداية، ثم الوصول إلى تقارب أكثر دقة واستقراراً في التكرارات اللاحقة.

4. النسخة المتمحورة حول النص (Text-Centric Variant):
   يُطبق المبدأ أيضاً على تشويه المدخلات النصية (الهجمات المتمحورة حول النص) عن طريق عكس نسبة الانتباه لإعطاء الأولوية للرموز النصية على الرموز البصرية، مما يثبت عمومية استراتيجية إعادة تخصيص الانتباه.

3. المساهمات الرئيسية

1. تحديد أوجه القصور: حددت الورقة أن فشل النقل عبر الاستعلامات في الهجمات الحالية مرتبط بعدم استقرار أنماط الانتباه المستحثة، وتحديداً عدم القدرة على الحفاظ على التركيز المهيمن على الصورة عبر الاستعلامات المتغيرة.
2. طريقة هجوم مبتكرة: اقتراح اختطاف الانتباه، الذي يعيد تخصيص الانتباه صراحةً من الرموز النصية إلى الرموز البصرية لإنشاء نمط توليد استجابة مهيمن على الصورة وقابل للنقل.
3. التحقق الشامل: تجارب واسعة النطاق عبر نماذج متعددة (LLaVA-1.5, InternVL-2.5, Qwen2.5-VL, DeepSeek-VL) ومجموعات بيانات (VLGuard, VQAv2) أظهرت تفوقاً في القابلية للنقل عبر الاستعلامات مقارنة بالنماذج المرجعية (PGD, MIM, VMA).
4. القدرة على التعميم: أثبتت الطريقة قدرتها على الامتداد بفعالية إلى سيناريوهات هجوم أخرى، بما في ذلك كسر الحماية (jailbreaking)، وتحفيز الهلوسة (hallucinations)، وإنشاء أمثلة الإسفنج (sponge examples) (زيادة تكلفة الاستدلال).

4. النتائج التجريبية

4.1 القابلية للنقل عبر الاستعلامات

تم تقييم معدل نجاح الهجوم (ASR) تحت ثلاثة ظروف:

• مطابق (Exact): السؤال التجريبي مطابق للسؤال المستخدم في التحسين.
• مشابه (Similar): أسئلة أعيدت صياغتها دلالياً.
• غير ذي صلة (Irrelevant): أسئلة غير مرتبطة تماماً.

النتائج:

• حققت الطرق المرجعية (PGD, MIM, VMA) معدل ASR مرتفعاً في الاستعلامات "المطابقة"، لكنها عانت من انخفاض كبير في الاستعلامات "المشابهة" و"غير ذات الصلة" (على سبيل المثال، انخفض ASR لـ PGD في نموذج InternVL-2.5 من 92.8% في المطابق إلى 3.5% في غير ذي الصلة).
• حافظ اختطاف الانتباه على معدل ASR مرتفع عبر جميع الفئات. في نموذج InternVL-2.5، حقق 97.1% ASR في الاستعلامات المشابهة و95.7% في غير ذات الصلة، متفوقاً بشكل كبير على جميع النماذج المرجعية.
• كانت الطريقة قوية عبر مختلف النماذج وأطوال الاستجابة المستهدفة.

4.2 السيناريوهات الممتدة

• كسر الحماية (Jailbreaking): نجحت الطريقة في استحثاث استجابات إيجابية للتعليمات الضارة عبر أسئلة ضارة غير مرئية سابقاً، متفوقة على النماذج المرجعية.
• الهلوسة (Hallucination): استحثت النموذج بفعالية للادعاء بأن "لا، لا يوجد شيء في الصورة" لمختلف الأسئلة، مما أظهر قدرة قوية على النقل.
• أمثلة الإسفنج (Sponge Examples): حفزت الطريقة أطوال توليد أطول بكثير في الاستعلامات غير المرئية مقارنة بالنماذج المرجعية، مما يشير إلى حالة داخلية مستقرة تدعم الاستمرار.

4.3 دراسات الاستئصال (Ablation Studies)

• إعادة تخصيص الانتباه: أدى حذف هذا المكون إلى انخفاض حاد في القابلية للنقل (خاصة في الاستعلامات غير ذات الصلة)، مما أكد دوره المركزي.
• حجم الخطوة الديناميكي: حسن من استقرار الأداء والنتائج.
• اختيار الطبقة/الرأس: أدى تطبيق إعادة تخصيص الانتباه عبر جميع الطبقات إلى أفضل النتائج، بينما أدى تقييده إلى نسبة معتدلة (40%) من رؤوس الانتباه إلى موازنة الأداء وصعوبة التحسين.

5. الأهمية والادعاءات

تدعي الورقة أن اختطاف الانتباه يوفر منظوراً جديداً للهجمات العدائية في نماذج VLMs من خلال تحويل التركيز من مجرد تحسين احتمالات المخرجات (logits) إلى التلاعب بـ استقرار الانتباه الداخلي.

• الآلية: يفترض المؤلفون أنه من خلال إجبار النموذج على الاعتماد على الرموز البصرية لتوليد الاستجابة، يقوم الهجوم بفصل المخرجات عن الاستعلام النصي المحدد، مما يحقق قابلية نقل قوية.
• الآثار الأمنية: يسلط العمل الضوء على أن نماذج VLMs معرضة لهجمات الصور الواحدة التي يمكن أن تتلاعب بالاستجابات عبر مجموعة واسعة من تفاعلات المستخدمين، مما يشكل مخاطر أمنية كبيرة لتطبيقات مثل القيادة الذاتية، والرعاية الصحية، والأمن العام.
• التواضع: يقر المؤلفون بأنه بينما تحقق الطريقة قابلية نقل قوية عبر الاستعلامات (ضمن نموذج محدد - White-box)، فإن القابلية للنقل عبر النماذج (Black-box) لا تزال ضعيفة، تماماً مثل الطرق المرجعية. ويعزون ذلك إلى الاختلافات الهيكلية في مشفرات الرؤية وتخطيطات الانتباه عبر النماذج المختلفة، مشيرين إلى أن تحسين النقل عبر النماذج يظل تحدياً مفتوحاً للعمل المستقبلي.

في الختن، تثبت الورقة أن فرض نمط انتباه مستقر ومهيمن على الصورة هو استراتيجية حاسمة وفعالة لتحقيق التلاعب القابل للنقل بالاستجابة في نماذج الرؤية واللغة.