💬 NLP

Pushing the Frontier of Black-Box LVLM Attacks via Fine-Grained Detail Targeting

تقدم هذه الورقة البحثية M-Attack-V2، وهو تحسين معياري لإطار عمل M-Attack يستخدم محاذاة المحاصيل المتعددة (Multi-Crop Alignment)، ومحاذاة الهدف المساعد (Auxiliary Target Alignment)، وزخم الرقعة (Patch Momentum) لاستقرار تحسين التدرج وتعزيز معدلات نجاح الهجمات العدائية في الصندوق الأسود بشكل كبير على نماذج اللغة والرؤية الكبيرة الرائدة.

المؤلفون الأصليون: Xiaohan Zhao, Zhaoyi Li, Yaxin Luo, Jiacheng Cui, Zhiqiang Shen

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaohan Zhao, Zhaoyi Li, Yaxin Luo, Jiacheng Cui, Zhiqiang Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا للغاية وشديد الملاحظة (نموذج لغوي بصري ضخم، أو LVLM) يمكنه النظر إلى صورة ووصفها بشكل مثالي. تريد خداع هذا الروبوت لجعله يرى شيئًا مختلفًا تمامًا — مثل جعله يعتقد أن صورة قطة هي في الواقع محمصة خبز — دون أن تلاحظ العين البشرية أي تغييرات. هذا ما يسمى بـ الهجوم العدائي (Adversarial Attack).

المشكلة هي أن هذه الروبوتات تصبح أكثر ذكاءً، والحيل القديمة لخداعها بدأت تفشل. اكتشف مؤلفو هذه الورقة البحثية لماذا كانت الحيل القديمة تفشل، وبنوا طريقة جديدة وأكثر قوة تسمى M-Attack-V2.

إليك تفصيل اكتشافهم وحلهم، باستخدام تشبيهات بسيطة:

المشكلة: "الضوء الوامض"

حاولت الطريقة الأفضل السابقة (M-Attack) خداع الروبوت عن طريق إظهار قطع صغيرة ومكبرة من الصورة (مثل النظر إلى أذن قطة، ثم ذيلها، ثم كفها).

ومع ذلك، اكتشف المؤلفون خللاً: دماغ الروبوت حساس للغاية للتحركات الطفيفة.

التشبيه: تخيل أنك تحاول تعليم كلب الجلوس عن طريق إظهار صورة لكرسي. ولكن في كل مرة تعرض فيها الصورة، تحركها مليمترًا واحدًا إلى اليسار. يصاب الكلب بالارتباك لأن الصورة تبدو مختلفة قليًا في كل مرة.
العلم: نظرًا لأن نماذج الذكاء الاصطناعي هذه تستخدم نظام شبكي (مثل البكسلات على الشاشة)، فإن تحريك الصورة ولو بشكل طفيف يغير أي "مربعات شبكية" تقع فيها الصورة. هذا يتسبب في جعل "التدرجات" (Gradiments) الداخلية للروبوت (وهي التعليمات حول كيفية تغيير الصورة) تقفز بجنون، مثل ضوء كشاف يرتعش في الظلام. كانت الطريقة القديمة تحاول قيادة سيارة بينما عجلة القيادة تدور عشوائيًا باستمرار.

الحل: M-Attack-V2

بنى المؤلفون نظامًا جديدًا يثبت هذا الفوضى. استخدموا ثلاث "أدوات" رئيسية لإصلاح المشكلة:

1. محاذاة تعدد المحاصيل (Multi-Crop Alignment - MCA): "تصويت المجموعة"

بدلاً من النظر إلى قطعة واحدة مكبرة من الصورة في كل مرة، تنظر الطريقة الجديدة إلى عشر قطع مختلفة في وقت واحد وتأخذ متوسط آرائها.

التشبيه: إذا سألت شخصًا واحدًا عن الاتجاهات في غابة ضبابية، فقد يكون مخطئًا. أما إذا سألت عشرة أشخاص وأخذت متوسط إجاباتهم، فستحصل على مسار أوضح بكثير. هذا يوقف "الارتعاش" ويعطي الروبوت إشارة ثابتة ومتسقة حول كيفية تغيير الصورة.

2. محاذاة الهدف المساعد (Auxiliary Target Alignment - ATA): "ملعب التدريب الآمن"

حاولت الطريقة القديمة خداع الروبوت من خلال إظهار الصورة المستهدفة (المحمصة) بطرق متطرفة ومشوهة للغاية. هذا أربك الروبوت وجعل الهجوم غير مستقر.

التشبيه: تخيل أنك تحاول تعليم شخص ما التعرف على نوع معين من التفاح. بدلًا من إظهار تفاحة متعفنة ومهروسة (والتي ستكون مختلفة جدًا)، تظهر له سلة من التفاح السليم والمشابه الذي يختلف عن بعضه قليلًا. هذا يخلق "منطقة آمنة" لما يبدو عليه التفاح. الطريقة الجديدة تستخدم مجموعة صغيرة من الصور المتشابهة لتوجيه الروبوت بلطف، بدلًا من دفعه بصورة مشوهة.

3. زخم الرقعة (Patch Momentum): "طريق الذاكرة"

عندما يحاول الروبوت التعلم، فإنه أحيانًا ينسى ما تعلمه قبل لحظة لأن الرؤية تستمر في التغير.

التشبيه: تخيل أنك تسير في غرفة مظلمة بحثًا عن باب. إذا كنت تتذكر فقط أين أنت الآن، فقد تسير في دوائر. لكن إذا احتفظت بـ خريطة ذهنية لأين كنت في الخطوات الأخيرة، فيمكنك السير في خط مستقيم. هذه الطريقة الجديدة تتذكر "التدرجات" (المسار) من الخطوات السابقة وتدمجها مع الرؤية الحالية، مما يضمن أن يتحرك الهجوم في خط مستقيم وفعال.

النتيجة: تحطيم الأرقام القياسية

اختبر المؤلفون طريقتهم الجديدة ضد أكثر نماذج الذكاء الاصطناعي تقدمًا في العالم (مثل GPT-5 و Claude 4 و Gemini 2.5).

قبل: كانت الطريقة القديمة تخدع GPT-5 بنسبة 98% من الوقت (بمعنى أنها فشلت بنسبة 2% من الوقت).
بعد: الطريقة الجديدة تخدع GPT-5 بنسبة 100% من الوقت.
الفوز الكبير: بالنسبة لـ Claude 4، نجحت الطريقة القديمة بنسبة 8% فقط. أما الطريقة الجديدة فقد نجحت بنسبة 30%.

لماذا هذا مهم؟

هذه الورقة البحثية هي سلاح ذو حدين:

الأخبار السيئة: توضح أن حتى أكثر نماذج الذكاء الاصطناعي ذكاءً وقدرة على "التفكير" يمكن خداعها بسهولة إذا عرفت كيفية تثبيت الهجوم.
الأخبار الجيدة: من خلال فهم سبب فشل هذه النماذج بالضبط (التدرجات المرتعشة)، يمكن للباحثين الآن بناء دفاعات أفضل. الأمر يشبه العثور على صدع في سد؛ بمجرد معرفة مكان الصدع، يمكنك رتقه قبل أن ينفجر الماء من خلاله.

باخت أصدر المؤلفون أن الطريقة القديمة لخداع الذكاء الاصطناعي كانت تشبه محاولة إصابة هدف متحرك بيد مرتجفة. لقد بنوا نظامًا جديدًا يثبت اليد، ويتذكر المسار، ويستخدم تصويت المجموعة لضمان إصابة الهدف في كل مرة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "دفع حدود هجمات النماذج اللغوية البصرية الكبيرة (LVLM) في الصندوق الأسود عبر استهداف التفاصيل الدقيقة" (M-Attack-V2).

1. بيان المشكلة

تتناول الورقة تحدي إجراء هجمات الصندوق الأسود العدائية على النماذج اللغوية البصرية الكبيرة (LVLMs). وبينما حققت الأساليب السابقة المتطورة (تحديداً M-Attack) معدلات نجاح عالية باستخدام المطابقة على المستوى المحلي (محاذاة المناطق المقصوصة من الصور المصدرية والمستهدفة)، حدد المؤلفون عدم استقرار حرج في هذا النهج:

تدرجات عالية التباين: على الرغم من وجود تداخل كبير في البكسلات بين المحاصيل المحلية المتتالية، إلا أن التدرجات المتولدة تكون متعامدة تقريباً (تشابه جيب التمام $\approx$ 0). وهذا ينتهك فرضية المحاذاة المحلية المتماسكة، مما يؤدي إلى زعزعة استقرار التحسين.
الأسباب الجذرية:
1. حساسية الترجمة في ViT: تقوم محولات الرؤية (ViTs) بتقطيع الصور إلى رموز (tokens) على شبكات ثابتة وغير متداخلة. حتى الإزاحات تحت البكسلية تغير تكوين الرموز، مما يسبب تغييرات جذرية في أوزان الانتباه الذاتي (self-attention) وينتج عنه أنماط تدرج تشبه "النبضات الحادة".
2. المطابقة غير المتماثلة: يعامل M-Attack محاصيل المصدر والهدف بشكل مختلف. حيث يعيد قص المصدر ترتيب تضمينات الرقع (فضاء البكسل)، بينما يكتفي قص الهدف بإزاحة التضمين المرجعي (فضاء الميزات). هذا يخلق مشهد تحسين غير متماثل حيث تتحرك "علامة الهدف" بشكل غير متوقع.

2. المنهجية: M-Attack-V2

يقترح المؤلفون M-Attack-V2، وهو تعزيز معياري يعيد صياغة المطابقة المحلية كـ توقع غير متماثل عبر تحويلات المصدر ودلالات الهدف. يقدم الإطار ثلاثة مكونات أساسية لتقليل ضجيج التدرجات وتثبيت التحسين:

أ. المحاذاة متعددة المحاصيل (Multi-Crop Alignment - MCA)

المفهوم: بدلاً من الاعتماد على قص عشوائي واحد لكل تكرار، تقوم MCA بأخذ عينات من $K$ من المناظر المحلية المستقلة (المحاصيل) للصورة المصدر.
الآلية: تقوم بحساب متوسط التدرجات من هذه الـ $K$ من المحاصيل قبل تحديث الاضطراب.
الأساس النظري: يعمل هذا كـ مُقدِّر مونت كارلو غير منحاز. وبينما قد تكون تدرجات المحاصيل الفردية متعامدة، فإن حساب متوسطها يقلل التباين ( $\sigma^2/K$ ) ويسرع من حدة عدم الاتساق الناتج عن حساسية ترجمة ViT.
النتيجة: تزيد من تشابه التدرج عبر التكرارات من الصفر تقريباً إلى $\approx 0.2$ ، مما يضمن مسار تحسين أكثر استقراراً.

ب. محاذاة الهدف المساعدة (Auxiliary Target Alignment - ATA)

المفهوم: للتخفيف من التباين الناتج عن عمليات تعزيز الهدف القوية (والتي يمكن أن تدفع تضمين الهدف خارج النطاق الدلالي)، تقدم ATA مجموعة من الصور المساعدة.
الآلية:
1. اختيار $P$ من الصور المساعدة المرتبطة دلالياً بالهدف (على سبيل المثال، عبر استرجاع CLIP).
2. تطبيق تحويلات عشوائية خفيفة فقط على هذه المرتكزات.
3. تصبح دالة الخسارة عبارة عن مجموع مرجح للخسارة مقابل الهدف الأساسي والأهداف المساعدة.
الفائدة: هذا يخلق فضاء تضمين غنياً دلالياً ومنخفض التباين. فهو يوازن بين الاستكشاف (التنوع عبر المساعدين) والاستغلال (الدقة تجاه الهدف الرئيسي)، مما يمنع التحسين من الانجراف إلى مناطق دلالية غير ذات صلة.

ج. زخم الرقعة (Patch Momentum - PM) و مجمع الرقع+ (Patch Ensemble+ - PE+)

زخم الرقعة: يعيد تفسير الزخم الكلاسيكي كآلية لإعادة تشغيل التدرجات التاريخية عبر المحاصيل العشوائية. ومن خلال تجميع التدرجات من التكرارات الماضية مع اضمحلال هندسي، فإنه يضمن عدم تجاهل المناطق التي نادراً ما يتم أخذ عينات منها (مثل الزوايا)، مما يحافظ على اتجاه التدرج بمرور الوقت.
مجمع الرقع+ (PE+): يعمل على تحسين اختيار النموذج البديل. بدلاً من المجمع العشوائي، يختار المؤلفون مجموعة متنوعة من النماذج ذات أحجام رقع متفاوتة (مثل CLIP-B/16، CLIP-B/32، CLIP-L/14، CLIP-G/14). يضمن هذا أن الهجوم يلتقط الانحيازات الاستقرائية المتكاملة ويركز على الأجسام الرئيسية بدلاً من ضوضاء الخلفية.

3. المساهمات الرئيسية

تشخيص عدم الاستقرار: أول من أثبت أن المطابقة على مستوى المحاصيل في نماذج LVLM تؤدي إلى تدرجات عالية التباين ومتعامدة تقريباً بسبب حساسية ترجمة ViT والمطابقة غير المتماثلة بين المصدر والهدف.
إطار تقليل ضجيج التدرج: يقترح MCA و ATA لإعادة صياغة المطابقة المحلية كتوقع، مما يؤدي فعلياً إلى تنعيم النطاق الدلالي للهدف وتقليل تباين التحسين.
طفرة في الأداء: يقدم M-Attack-V2، الذي يدمج MCA و ATA وزخم الرقعة ومجمع بديل منقح لتحقيق قدرة نقل (transferability) هي الأفضل في فئتها.
التحليل النظري: يوفر حدوداً لتباين التدرج وانجراف التضمين، مما يثبت أن الطرق المقترحة تقلل من الانجراف الناتج عن تحويلات فضاء البكسل.

4. النتائج التجريبية

تم تقييم الطريقة مقابل النماذج التجارية الرائدة (GPT-5، Claude-4.0، Gemini-2.5-Pro) والنماذج مفتوحة المصدر (Qwen، LLaVA).

تحسينات معدل نجاح الهجوم (ASR):
- GPT-5: ارتفع من 98% $\to$ 100%.
- Gemini-2.5-Pro: ارتفع من 83% $\to$ 97%.
- Claude-4.0: ارتفع من 8% $\to$ 30% (قفزة هائلة، حيث كان M-Attack يعاني بشدة هنا).
معدل مطابقة الكلمات المفتاحية (KMR): تحسينات كبيرة عبر جميع العتبات، مما يشير إلى أن الهجمات أكثر دقة دلالياً.
الكفاءة: يحقق M-Attack-V2 تقارباً أسرع (خلال 300 خطوة) مقارم بـ M-Attack، الذي يتطلب خطوات أكثر للاستقرار.
المتانة: تظل الطريقة فعالة ضد دفاعات المعالجة المسبقة للمدخلات (ضغط JPEG، DiffPure) وعبر مجموعات البيانات عابرة المجالات (الأشعة السينية الطبية، الاستشعار عن بعد).
الإدراك البشري: تظهر الدراسات البشرية أنه على الرغم من ارتفاع نجاح الهجوم، إلا أن الاضطرابات تظل غير محسوسة للبشر (حوالي 30% فقط من الصور العدائية تم تحديدها كصور مضطربة من قبل المستخدمين، وهو ما يماثل M-Attack-V1).

5. الأهمية

الآثار الأمنية: يثبت M-Attack-V2 أنه حتى أكثر نماذج LVLM تقدماً وقدرة على الاستنتاج (مثل GPT-5 و Claude-4) معرضة بشدة لهجمات الصندوق الأسود القائمة على النقل. هذا يسلط الضوء على فجوة حرجة في متانة فلاتر السلامة متعددة الوسائط الحالية.
الرؤية المنهجية: تنقل هذه الورقة النموذج من "التعزيز القوي" إلى "تقليل ضجيج التدرج" و"تقدير التوقع". وتكشف أن الاستقرار في فضاء التدرج أكثر أهمية من حجم الاضطرابات لنجاح عملية النقل.
أبحاث الدفاع: من خلال تحديد أوضاع الفشل المحددة (حساسية ترجمة ViT والمطابقة غير المتماثلة)، يقدم المؤلفون خارطة طريق لتطوير نماذج LVLM أكثر متانة، مثل تدريب النماذج لتكون غير متأثرة بالإزاحات تحت البكسلية أو للتعامل صراحة مع عدم اتساق الرقع المحلية.

باختدال، يمثل M-Attack-V2 قفزة نوعية في قدرات الهجوم العدائي ضد نماذج LVLM، محققاً معدلات نجاح تقترب من الكمال على أكثر النماذج تقدماً من خلال حل مشكلات عدم استقرار التدرج الجوهرية في المطابقة على المستوى المحلي.