🤖 AI

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models

تقترح الورقة البحثية MirrorCheck، وهو إطار عمل للكشف يتميز بالمتانة وعدم الارتباط بنموذج محدد، يدافع عن نماذج الرؤية واللغة ضد الهجمات العدائية التكيفية من خلال الاستفادة من إعادة توليد "النص إلى صورة" للتحقق من الاتساق الدلالي، معززًا باختيار النماذج العشوائي واضطرابات الاستخدام لمرة واحدة.

المؤلفون الأصليون: Samar Fares, Klea Ziu, Toluwani Aremu, Nikita Durasov, Martin Takáč, Pascal Fua, Karthik Nandakumar, Ivan Laptev

نُشر 2026-05-25

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Samar Fares, Klea Ziu, Toluwani Aremu, Nikita Durasov, Martin Takáč, Pascal Fua, Karthik Nandakumar, Ivan Laptev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً ومتعدد المواهب (نموذج لغوي بصري) ينظر إلى الصور ويصف ما يراه. إنه بارع في مهام مثل قول: "هذا كلب يلعب بالكرة"، أو الإجابة على: "ما هو لون السيارة؟"

ولكن، هناك مشكلة: يمكن للمخادعين الأذكياء إنشاء "غبار سحري غير مرئي" (يسمى الاضطرابات التنافسية - adversarial perturbations) ورشه على صورة ما. بالنسبة للعين البشرية، تبدو الصورة طبيعية، ولكن بالنسبة للروبوت، يجعل هذا الغبار الروبوت يرى شيئاً مختلفاً تماماً، مثل تحول الكلب إلى محمصة خبز. يقول الروبوت بكل ثقة: "هذه محمصة خبز!" رغم أنه من الواضح أنه كلب.

تقدم الورقة البحثية حارساً أمنياً جديداً لهذه الروبات يسمى MirrorCheck. وإليك كيف يعمل، مشروحاً ببساطة:

الفكرة الجوهرية: "اختبار المرآة"

تخيل أنك تحاول الإمساك بكاذب. تسأله أن يصف صورة، ثم تطلب منه أن يرسم تلك الصورة بناءً على وصفه فقط.

إذا كان يقول الحقيقة: يصف "تفاحة حمراء"، وعندما يرسمها، تبدو كأنها تفاحة حمراء. الوصف والرسم يتطابقان تماماً.
إذا كان يكذب (أو تعرض للخداع): يرى الروبوت "كلباً" (بسبب الغبار السحري) ولكنه يصفه بأنه "محمصة خبز". إذا طلبت من روبوت رسم أن يرسم "محمصة خب "، فسوف يرسم محمصة خبز. لكن الصورة الأصلية لا تزال كلباً. عندما تقارن الصورة الأصلية (الكلب) مع الرسم الجديد (المحمصة)، لن يبدوا متشابهين على الإطلاق. بينجو! لقد كشفت الخدعة.

يقوم MirrorCheck بنفس الشيء تماماً، ولكن باستخدام الكمبيوتر:

السؤال: يأخذ صورة مشبوهة ويسأل الروبوت الضحية: "ماذا ترى؟"
الانعكاس: يأخذ ذلك الجواب ويستخدم "روبوت تحويل النص إلى صورة" (مثل فنان رقمي) ليرسم صورة جديدة بناءً على النص فقط.
المقارنة: يستخدم ماسحاً ضوئياً فائق الدقة لمقارنة الصورة الأصلية والصورة المرسومة حديثاً. إذا لم يتطابقا، فإنه يصنف الصورة الأصلية كخدعة.

اللمسة "العشوائية": الهدف المتحرك

أدركت الورقة البحثية أن المخادعين الأذكياء قد يحاولون دراسة أساليب الحارس الأمني. إذا استخدم الحارس دائماً نفس الفنان الرقمي ونفس الماسح الضوئي، فقد يتمكن المخادع من معرفة كيفية جعل "المحمصة" تبدو مثل "الكلب" في أعين الماسح الضوئي.

لإيقاف هذا، يضيف MirrorCheck طبقة من الفوضى (تسمى الدفاع العشوائي - Stochastic Defense):

فنانون عشوائيون: بدلاً من استخدام فنان رقمي محدد واحد، يختار النظام عشوائياً فناناً مختلفاً من مكتبة ضخمة في كل مرة.
ماسحات ضوئية عشوائية: يختار أيضاً ماسحات ضوئية مختلفة عشوائياً للتحقق من التشابه.
ضجيج لمرة واحدة: قبل حدوث الفحص مباشرة، يضيف النظام "ضجيجاً استاتيكياً" عشوائياً صغيراً إلى إعدادات الماسح الضوئي. هذا الضجيج مختلف في كل مرة ويختفي فوراً بعد انتهاء العملية.

التشبيه: تخيل أنك تحاول الغش في اختبار حيث يقوم المعلم بتبديل ورقة امتحانك عشوائياً، ويغير نوع الخط، ويضيف ذرة غبار صغيرة على الصفحة في كل مرة ترمش فيها. لا يمكنك حفظ الإجابات أو التخطيط لأن كل شيء يتغير لحظياً. هذا يجعل من المستحيل تقريباً على المخادع التنبؤ بكيفية خداع النظام.

ما وجدته الورقة البحثية

اختبر المؤلفون هذا النظام ضد أنواع مختلفة من الخدع (الهجمات) على روبوتات ذكية متنوعة.

إنه يعمل بشكل جيد: نجح في كشف المخادعين في معظم الأوقات (بنسبة دقة تصل إلى 99% في بعض الحالات).
إنه مرن: يعمل سواء كان الروبوت ينظر إلى الصور فقط (أحادية النمط) أو يتحدث عنها (متعددة الأنماط).
لا يحتاج إلى تدريب: ليس عليك إعادة تعليم الروبوت كيف يكون آمناً؛ أنت فقط تضيف طبقة "MirrorCheck" هذه فوقه.
يتفوق على المنافسين: كان أفضل في كشف الخدع من أساليب الأمن السابقة، حتى عندما كان المخادعون يعرفون بالضبط كيف يعمل النظام الأمني.

الملخص

MirrorCheck هو نظام أمني ذكي وسهل التركيب. إنه يكشف المدخلات المزيفة من خلال طلب إعادة "تخيّل" ما يراه الذكاء الاصطناعي والتحقق مما إذا كانت الصورة الجديدة تطابق الأصلية. ومن خلال تغيير الأدوات التي يستخدمها باستمرار، فإنه يظل متقدماً بخطوة على حتى أذكى المهاجمين.

ملخص تقني: MirrorCheck: دفاع عدائي فعال لنماذج الرؤية واللغة

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) أداءً فائقاً في مهام مثل وصف الصور، والإجابة على الأسئلة البصرية (VQA)، واسترجاع الصور والنصوص. ومع ذلك، فهي معرضة بشكل متزايد لهجمات عدائية متطورة. وخلافاً للدفاعات التقليدية في تصنيف الصور، تعتمد الاستراتيجيات الحالية لنماذج الرؤية واللغة غالباً على الضبط الخاص بالمهمة، أو إعادة التدريب المكلفة، أو تقتصر على وسائط واحدة، مما يؤدي إلى الفشل في مراعاة التفاعلات المعقدة بين الرؤية واللغة. علاوة على ذلك، فإن العديد من الدفاعات الحالية عرضة لـ الهجمات التكيفية (Adaptive Attacks)، حيث يقوم المهاجمون الذين يمتلكون وصولاً بنظام "الصندوق الأبيض" (white-box) إلى النموذج بتجاوز آليات الحماية بشكل منهجي. هناك حاجة ماسة لإطار عمل للكشف يتميز بالمتانة، ويكون مستقلاً عن النموذج، ويعمل بفعالية دون الحاجة إلى إعادة تدريب، ويمكنه الصمود أمام التهديدات التكيفية.

2. المنهجية: MirrorCheck

MirrorCheck هو إطار عمل للكشف عن الهجمات العدائية، يعمل بنظام "التوصيل والتشغيل" (plug-and-play)، وهو مستقل عن النموذج، ومصمم لكل من البيئات أحادية الوسائط ومتعددة الوسائط. يعمل الإطار بناءً على الحدس الجوهري بأن الاضطرابات العدائية تشوه الاتساق الدلالي بين الصورة المدخلة والوصف النصي الذي تولده نماذج الرؤية واللغة.

2.1. المسار الأساسي (Vanilla MirrorCheck)

يتبع إطار العمل عملية مكونة من ثلاث خطوات:

الاستخراج (Extract): يتم تمرير صورة مدخلة $x_{in}$ عبر نموذج الرؤية واللغة الضحية ( $\mathcal{F}_\theta$ ) لتوليد مخرج نصي (وصف، أو إجابة، أو وصف للفئة) $t$ .
التوليد (Generate): يتم تغذية النص المولد $t$ في نموذج مسبق التدريب لتحويل النص إلى صورة (T2I) وهو ( $G_\psi$ ) لإعادة بناء صورة اصطناعية $x_{gen}$ .
المقارنة (Compare): يتم ترميز الصورة الأصلية $x_{in}$ $x_{in}$ والصورة المولدة $x_{gen}$ $x_{g e n}$ باستخدام مشفر صور مسبق التدريب ( $I_\phi$ $I_{ϕ}$ ) للحصول على تضمينات الميزات ( $z_{in}$ $z_{in}$ و $z_{gen}$ $z_{g e n}$ ). ويتم حساب التشابه بين هذه التضمينات باستخدام تشابه جيب التمام (cosine similarity).
- القرار: إذا انخفضت درجة التشابه $S(z_{in}, z_{gen})$ عن عتبة معينة $\tau$ ، يتم تصنيف المدخل كمدخل عدائي.

خيارات التصميم الرئيسية:

تشابه الصورة-الصورة: بدلاً من مقارنة الصورة المدخلة بالنص مباشرة، تقارن الطريقة الصورة المدخلة بالصورة المعاد بناؤها. وهذا يتجنب القيود في نماذج الرؤية واللغة فيما يتعلق بالعلاقات المكانية واستخدام الأفعال، والتي قد تجعل التشابه المباشر بين النص والصورة غير موثوق.
فضاء التضمين (Embedding Space): تستخدم الطريقة التضمينات المتجهية بدلاً من مقاييس مستوى البكسل (مثل SSIM أو FID) لالتقاط التكافؤ الدلالي حتى عندما تختلف التمثيلات البصرية.

2.2. MirrorCheck العشوائي (Stochastic MirrorCheck) (تعزيز المتانة)

لمواجهة الهجمات التكيفية حيث يحاول المهاجم تحسين الاضطرابات لزيادة التشابه، يقدم MirrorCheck نسخة عشوائية (Stochastic) تتضمن ثلاثة ابتكارات رئيسية:

الاختيار العشوائي لنماذج (T2I): يحتفظ النظام بـ "حديقة نماذج" (model zoo) من مولدات (Text-to-Image). وفي وقت الاستدلال، يتم اختيار نموذج واحد عشوائياً، مما يمنع المهاجم من التحسين ضد مولد ثابت.
النشر العشوائي للمشفر (Stochastic Encoder Deployment): يتم اختيار مجموعة فرعية من مشفرات الصور عشوائياً من مجموعة أكبر لكل عملية استدلال.
الاضطرابات ذات الاستخدام لمرة واحدة (One-Time-Use - OTU): قبل استخراج الميزات، يتم حقن ضوضاء عشوائية صغيرة ( $\gamma$ ) في معاملات المشفرات المختارة. هذا يضمن عدم قدرة المهاجم على الاعتماد على تدرجات محسوبة مسبقاً ضد مشفر ثابت.

هذه العناصر العشوائية تزيد من مساحة البحث للمهاجمين بشكل كبير، مما يجعل الهجمات التكيفية بنظام "الصندوق الأبيض" مستعصية حاسوبياً.

2.3. محاكاة الهجوم التكيفي (Adaptive Attack Simulation)

للتحقق من المتانة، يحاكي المؤلفون هجوماً تكيفياً في أسوأ السيناريوهات بمعرفة كاملة بالنظام. يستخدم المهاجم:

تقريب المرور الخلفي القابل للتفاضل (BPDA): للتعامل مع عملية أخذ العينات النصية غير القابلة للتفاضل في نموذج الرؤية واللغة، يستخدم "مهايئ" (Adapter) قابل للتعلم لربط الحالات الخفية المستمرة للنموذج بفضاء الشرط لنموذج (T2I).
التوقع فوق التحويلات (Expectance over Transformation - EoT): للتعامل مع العشوائية في أخذ عينات (T2I) واضطرابات (OTU)، يقوم المهاجم بحساب متوسط التدرجات عبر ضوضاء أخذ العينات العشوائية.

2.4. المساهمات الرئيسية

إطار عمل MirrorCheck: إطار عمل مبتكر للكشف عن الهجمات العدائية لنماذج الرؤية واللغة، لا يتطلب إعادة تدريب، ومستقل عن النموذج، يعتمد على إعادة توليد (T2I) واتساق التضمين.
استراتيجية الدفاع العشوائي (Stochastic Defense Strategy): امتداد لإطار العمل يقدم اختيار النماذج العشوائي واضطرابات (OTU) بهدف صد الهجمات التكيفية تحديداً.
تقييم شامل: تجارب مكثفة تثبت أن MirrorCheck يتفوق على خطوط الأساس الحالية عبر مختلف بنيات نماذج الرؤية واللغة (مثل BLIP، LLaVA، MiniGPT-4) وأنواع الهجمات (مثل AttackVLM، Attack-Bard، وهجمات التصنيف القياسية مثل FGSM/PGD).
التعميم: أدلة على أن الطريقة تتعمم على المهام أحادية الوسائط (تصنيف الصور) دون تعديل.

4. النتائج التجريبية

يقيم البحث MirrorCheck على 2,000 صورة (1,000 نظيفة، و1,000 مهاجمة) عبر نماذج ضحية متعددة وسيناريوهات هجوم متنوعة.

دقة الكشف: يحقق MirrorCheck دقة كشف تتراوح بين 65% إلى 99%. في النسخة العشوائية (Stochastic)، يتفوق باستمرار على خطوط الأساس. على سبيل المثال، في نموذج BLIP-2 تحت هجوم AttackVLM-Q، يحقق Stochastic MirrorCheck دقة قدرها 0.99، متفوقاً بشكل كبير على أفضل خط أساس تالٍ (0.85).
درجات التشابه: تعطي الصور النظيفة درجات تشابه عالية باستمرار (مثلاً، ~0.70–0.80)، بينما تظهر الأمثلة العدائية درجات متدهورة بشكل ملحوظ (مثلاً، ~0.30–0.50)، مما يخلق حداً فاصلاً واضحاً لاتخاذ القرار.
المتانة تجاه الهجمات التكيفية: في ظل هجمات "الصندوق الأبيض" التكيفية القوية (BPDA+EoT)، تظل دقة الكشف مرتفعة. كما أن زيادة حجم مجموعة المشفرات (من 1 إلى 10) وتطبيق ضوضاء (OTU) يزيد من المتانة، حيث تحقق الإعدادات التي تستخدم 7+ مشفرات دقة تتجاوز 98% حتى في الظروف التكيفية.
المقارنة مع خطوط الأساس: يتفوق MirrorCheck باستمرار على الدفاعات أحادية الوسائط (MagNet, PuVAE, DiffPure) والطرق المخصدة متعددة الوسائط (CIDER, JailGuard, SmoothVLM)، وغالباً بفارق كبير (مثلاً، تحسن قدره >0.13 في بعض الإعدادات).

5. الأهمية والادعاءات

يدعي البحث أنه يضع نموذجاً جديداً للدفاع العدائي متعدد الوسائط. وتكمن أهميته في:

العملية: حل جاهز للاستخدام لا يتطلب إعادة تدريب نموذج الرؤية واللغة أو الوصول إلى التدرجات الداخلية أو القيم المنطقية (logits).
القابلية للتوسع: يتعمم عبر مختلف بنيات نماذج الرؤية واللغة ويمكن تطبيقه على المهام أحادية الوسائط.
الأمان: يوفر ضمانات تجريبية ضد الهجمات التكيفية، وهي نقطة فشل شائعة للدفاعات السابقة.

يخلص المؤلفون إلى أن MirrorCheck يوفر أساساً متيناً لتأمين أنظمة الذكاء الاصطناعي من الجيل القادم ضد التهديدات العدائية المتطورة، مما يسد الفجوة بفعالية بين الوسائط البصرية واللغوية في آليات الدفاع.