Closed-Loop Bidirectional Prompting for Adversarial Robustness of Vision Language Models
تقترح هذه الورقة البحثية "التلقين ثنائي الاتجاه ذو الحلقة المغلقة" (Closed-Loop Bidirectional Prompting)، وهو آلية دفاع مبتكرة تعزز المتانة العدائية للنماذج اللغوية الرؤيوية من خلال إنشاء حلقة تغذية راجعة ديناميكية بين الوسائط البصرية والنصية لاستعادة التوافق الدلالي عبر الوسائط مع استخدام "مرتكز دلالي" (Semantic Anchor) لتقييد التحديثات وتخفيف فساد الميزات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج الرؤية واللغة (VLM) كفريق من المحققين المهرة للغاية يتكون من شريكين: المحقق البصري (الذي ينظر إلى الصور) والمحقق النصي (الذي يقرأ الأوصاف). لقد تم تدريبهما للعمل معاً بشكل مثالي، لربط الصور بالكلمات.
ومع ذلك، فإن هؤلاء المحققين عرضة للهجمات العدائية. تخيل المهاجم كمزور بارع يضيف "ضجيجاً" غير مرئي أو "لطخات" صغيرة ومربكة إلى الصورة. هذا الضجيج دقيق للغاية بحيث لا يستطيع البشر رؤيته، لكنه يخدع المحقق البصري ويجعله يرى شيئاً مختلفاً تماماً. ولأن هذين المحققين مرتبطين ببعضهما البعض ارتباطاً وثيقاً، فإذا ارتبك المحقق البصري، سيرتبك المحقق النصي أيضاً، ويفشل الفريق بأكمله.
المشكلة في الدفاعات الحالية
كانت لمحاولات الدفاع السابقة عيبان رئيسيان:
- حركة في اتجاه واحد: حاولت معظم الدفاعات إصلاح المحقق البصري فقط (عن طريق إعادة تدريبه) أو المحقق النصي فقط (عن طريق تغيير ملاحظاته). لقد عاملا الشريك الآخر كخلفية ثابتة وغير قابلة للتغيير. ولكن إذا كان المهاجم يحاول كسر الرابط بينهما، فإن إصلاح جانب واحد فقط ليس كافياً.
- ملاحظات ثابتة: أعطت بعض الدفاعات المحقق النصي نصاً واحداً مكتوباً مسبقاً لاستخدامه مع كل صورة. ولكن بما أن كل صورة وكل هجوم مختلفان، فإن النص الذي يناسب الجميع غالباً ما يفشل.
الحل: التلقين ثنائي الاتجاه ذو الحلقة المغلقة (CLBP)
يقترح المؤلفون استراتيجية جديدة تسمى CLBP، والتي تعمل مثل حلقة تغذية راجعة ديناميكية بين المحققين. بدلاً من العمل في عزلة، يتحدثان باستمرار مع بعضهما البعض لتصحيح الأخطاء في الوقت الفعلي، دون الحاجة إلى إعادة تدريب أدمغتهما بالكامل.
إليك كيف تسير العملية، خطوة بخطوة، باستخدام تشبيه إبداعي:
1. المرساة الدلالية (الـ "نجم القطبي")
قبل أن يبدأ المحققان العمل على صورة صعبة، يتفقان على "مرساة دلالية". تخيل هذا كبوصلة ثابتة وموثوقة أو "نجم قطبي". إنه وصف عام وآمن (مثل "صورة لـ [قطة]") يمثل المعنى الحقيقي غير الفاسد للفئة.
- لماذا يهم هذا: هذه المرساة تمنع المحققين من التيه في الارتباك. إنها تبقيهما راسخين في المعرفة الأصلية والآمنة التي تعلموها أثناء التدريب.
2. الخطوة 1: إزالة الضجيج من النص إلى الرؤية (الـ "منظف")
ينظر المحقق البصري إلى الصورة المشوشة والمهاجمة ويصاب بالارتباك. يسأل المحقق النصي: "بناءً على نجمنا القطبي، كيف يجب أن تبدو هذه الصورة حقاً؟"
- يستخدم المحقق النصي "النجم القطبي" المستقر لإنشاء تلقين تنظيف.
- يتم إرسال هذا التلقين مرة أخرى إلى المحقق البصري، الذي يستخدمه لـ "تصفية" الضجيج. الأمر يشبه قيام المحقق النصي بتسليم المحقق البصري نظارات خاصة تزيل لطخات المزور، مما يسمح له برؤية الصورة الحقيقية مرة أخرى.
3. الخطوة 2: صقل الرؤية إلى النص (الـ "محرر")
الآن بعد أن أصبح لدى المحقق البصري صورة أوضح، يلتفت إلى المحقق النصي ويقول: "حسناً، أنا أرى الصورة بوضوح الآن. هل وصفي الحالي يطابق ما أراه؟"
- يرسل المحقق البري بصيغة إشارة إلى المحقق النصي.
- يقوم المحقق النصي بتحديث ملاحظاته خصيصاً لهذه الصورة، معدلاً وصفه ليتناسب مع الأدلة البصرية المنقحة.
4. تُغلق الحلقة
تحدث هاتان الخطوتان في دورة سريعة. يقوم النص بتنظيف الرؤية، وتقوم الرؤية بصقل النص.
- السحر: يثبت المؤلفون رياضياً أن هذه الحلقة انكماشية. تخيل رباطاً مطاطياً: في كل مرة يتحدث فيها المحققان، يسحبان بعضهما البعض للاقتراب من الحقيقة. حتى لو بدآ بعيدين عن بعضهما (بسبب هجوم قوي)، فإن دورة واحدة أو اثنتين من هذا الحديث كافيتان لإعادتهما إلى المسار الصحيح. إنهما لا ينحدران نحو الفوضى؛ بل يتقاربان بسرعة نحو الإجابة الصحيحة.
5. شبكة الأمان: التجميع متعدد المشاهد
للتأكد بشكل إضافي، لا يكتفي النظام بالنظر إلى الصورة مرة واحدة. بل ينشئ 32 نسخة مختلفة قليلاً من الصورة (مثل التقاط 32 صورة من زوايا أو إضاءات مختلفة قليلاً).
- يقوم بتشغيل حلقة "التنظيف والصقل" على جميع النسخ الـ 32 هذه.
- ثم يأخذ تصويتاً. إذا اتفقت 30 نسخة على الإجابة واتفقت نسختان على غير ذلك، يتجاهل النظام النسخ المختلفة ويمضي مع الإجماع. هذا يجعل من الصعب جداً على المهاجم خداع الفريق بأكمله.
لماذا يعد هذا أمراً هاماً؟
يزعم البحث أن هذه الطريقة متفوقة لأنها:
- طريق ذو اتجاهين: على عكس الطرق السابقة التي كانت تصلح جانباً واحداً فقط، تسم تسمح CLBP للصورة والنص بإصلاح بعضهما البعض.
- فعالة: لا تتطلب إعادة تدريب نموذج الذكاء الاصطناي الضخم (وهو أمر بطيء ومكلف). فهي تضيف فقط طبقة محادثة صغيرة وذكية فوق النموذج الموجود.
- تعمل في كل مكان: اختبر المؤلفون هذه الطريقة على 11 مجموعة بيانات مختلفة (من التعرف على القطط والسيارات إلى تحليل صور الأقمار الصناعية والأنسجة). في معظم الحالات، كانت CLBP أفضل بكثير في مقاومة الهجمات من الطرق السابقة، بينما ظلت دقيقة في الصور العادية والنظيفة.
ملخص
فكر في CLBP كـ محادثة ذاتية التصحيح بين مصور وكاتب تعليقات. عندما يحاول مزور خداع المصور بصورة مزيفة، يستخدم كاتب التعليقات معرفته بالحقيقة لمساعدة المصور على الرؤية من خلال التزييف. ثم يساعد المصور كاتب التعليقات على كتابة الوصف المثالي. يستمران في التحدث حتى يتفقا على الحقيقة، متجاهلين الضجيج. يحدث هذا بسرعة وفعالية تجعل حيل المزور ببساطة لا تجدي نفعاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.