ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models
يُعد ReACT-CLIP وسيلة دفاع في وقت الاختبار وخالية من التدريب لنماذج CLIP، حيث تعمل على تكييف قوة التصحيح ديناميكيًا وتحدد ضرورة التدخل لكل مدخل من خلال الاستفادة من انزياح الميزات النسبي عبر الضجيج وعدم استقرار التنبؤ، مما يحسن بشكل كبير من المتانة العدائية عبر هجمات متنوعة مع الحفاظ على دقة البيانات النظيفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب برؤية الصور فحسب، بل تفهمها من خلال التحدث عنها. هذا هو سحر نماذج الرؤية واللغة (Vision-Language Models)، مثل نموذج "CLIP" الشهير. فكر في "CLIP" كأنه أمين مكتبة فائق الذكاء قد قرأ كل كتاب ورأى كل صورة في الكون؛ فإذا عرضت عليه صورة لكلب من فصيلة "جولدن ريتريفر"، فإنه لا يتعرف على الكلب فحسب، بل يربط الصورة فوراً بكلمات "جولدن ريتريفر" في مكتبته الذهنية الشاسعة. هذه القدرة على ربط الصور والنصوص دون الحاجة إلى إعادة تدريب النموذج لكل مهمة جديدة جعلت من هذه النماذج العمود الفقري للذكاء الاصطناوي الحديث، حيث تشغل كل شيء بدءاً من محركات البحث وصولاً إلى السيارات ذاتية القيادة.
ومع ذلك، هناك عقبة. فهؤلاء الأمناء الفائقون للكتب هشّون بشكل مفاجئ؛ إذ يمكن لمهاجم ماكر أن يضيف طبقة "ضجيج" صغيرة وغير مرئية تقريباً إلى الصورة — مثل بضع بكسلات من التشويش على شاشة تلفاز — مما يربك أمين المكتبة تماماً. وفجأة، ينظر أمين المكتبة إلى صورة كلب ويقول بكل ثقة: "هذا محمصة خبز!". يُسمى هذا "هجوماً عدائياً" (Adversarial Attack). وهي مشكلة كبيرة لأنه إذا كان من السهل خداع الذكاء الاصطناعي بهذه الطريقة، فلن نتمكن من الوثوق به لاتخاذ قرارات مهمة. لقد حاول العلماء بناء دروع لحماية هذه النماذج، لكن معظم حلولهم الحالية تشبه ارتداء بدلة درع ثقيلة وموحدة القياس؛ فهي رائعة ضد "مدفع رشاش صغير"، ولكن إذا استخدم المهاجم "مدفعاً ضخماً"، فسيكون الدرع ضعيفاً جداً. وإذا استخدم المهاجم "مدفع رشاشاً صغيراً" فقط، فسيكون الدرع ثقيلاً لدرجة أنه يبطئ أمين المكتبة ويجعله يخطئ في المهام السهلة.
وهنا يأتي دور طريقة جديدة تسمى ReACT-CLIP، والتي تقدم حلاً ذكياً وخفيف الوزن. فبدلاً من ارتداء بدلة درع ثابتة، يعمل ReACT-CLIP كحارس شخصي سريع الاستجابة يتحقق من مستوى التهديد قبل اتخاذ قرار بشأن كيفية الرد. وجد الباحثون أن الدفاعات الموجودة تفشل لأنها تستخدم "قوة تصحيح ثابتة"؛ فهي تحاول إصلاح كل مشكلة بنفس القدر من القوة، مما يؤدي إلى نتيجتين سيئتين: إما أنها لا تصلح الهجمات القوية بما يكفي، أو أنها تبالغ في تصحيح الصور السليمة مما يفسد الإجابة الصحيحة.
يغير ReACT-CLIP قواعد اللعبة بكونه "واعياً للاستجابة" (Response-aware). فهو لا يخمن قوة الهجوم، بل يسأل النموذج نفسه. وإليك كيف يعمل: عندما تصل صورة، يقوم النظام بتوجيه "وخزتين" لطيفتين لها بمقادرات مختلفة من الضجيج الرقمي، ويراقب مدى "تذبذب" أو انحراف فهم النموذج للصورة تحت تأثير هذين الوخزين.
- إذا كانت الصورة سليمة (كلب حقيقي)، فإنها تظل مستقرة حتى عند وخزها.
- إذا كانت الصورة تعرض لهجوم ضعيف، فإنها تتذبذب قليلاً أكثر.
- إذا كانت هجوماً قوياً، فإنها تتذبذب بجنون.
ومن خلال قياس الفرق في كيفية تذبذب الصورة بين الوخزة الخفيفة والوخزة القوية، يستطيع ReACT-CLIP الحصول على قراءة دقيقة، عينة بعينة، لمدى المساعدة التي تحتاجها الصورة. بعد ذلك، يقوم ببناء "مرساة" مخصصة (نسخة مستقرة من الصورة) ويسحب الصورة المرتبكة نحو الحقيقة بالقوة المناسبة تماماً. فإذا كانت الصورة تسير على ما يرام، يتركها النظام وشأنها، أما إذا كانت تحت نيران كثيفة، فإن النظام يسحبها بقوة.
تظهر الورقة البحثية أن هذا النهج فعال للغاية. فعبر 12 مجموعة بيانات مختلفة وتحت أنواع متنوعة من الهجمات (من النكزات الصغيرة إلى التشوهات الضخمة)، يحافظ ReACT-CLIP على دقة عالية للذكاء الاصطناوي، حيث يحافظ غالباً على نسبة نجاح تقارب 60% حتى عندما تكون الهجمات قوية جداً. وفي المقابل، ترى الدفاعات الأخرى التي تستخدم استراتيجية ثابتة دقتها تنهار مع زيادة قوة الهجمات. واكتشف الباحثون أيضاً أن مجرد التحقق مما إذا كان النموذج "مرتبكاً" ليس كافياً؛ بل كان عليهم دمج قياس "التذبذب" مع التحقق من مدى استقرار توقعات النموذج تحت التغييرات الطفيفة في الصورة. هذا المزيج يسمح للنظام بتجنب إصلاح الصور التي لا تحتاج إلى إصلاح، مما يحافظ على الذكاء الطبيعي للنموذج.
باختصار، يثبت ReACT-CLIP أنك لست بحاجة لتدريب نموذج جديد أو معرفة كيف يخطط المهاجم للضرب بدقة. فمن خلال مجرد الاستماع إلى كيفية استجابة النموذج للقليل من الضجيج، يمكن للنظام تعديل دفاعه تلقائياً، ليعمل كدرع ذكي ومتكيف، قوي بما يكفي لإيقاف مدفع، ولطيف بما يكفي لعدم إيذاء مدفع رشاش صغير. وهذا يجعل الذكاء الاصطناعي أكثر أماناً وموثوقية دون التضحية بسرعته أو دقته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.