Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting
تقترح هذه الورقة البحثية طريقة "الوزن المدرك للثقة" (CAW)، وهي طريقة مبتكرة تعزز المتانة العدائية لنماذج CLIP ذات التعلم الصفري من خلال إعطاء الأولوية للعينات غير المؤكدة عبر خسارة مدركة للثقة والحفاظ على الاتساق الدلالي عبر محاذاة الميزات، مما يؤدي إلى تفوقها على الأساليب الرائدة في كل من المتانة وكفاءة الذاكرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب أن "ترى" و"تقرأ" في نفس الوقت، وتتعلم من الإنترنت بأكمله لتفهم أن صورة كلب من فصيلة "جولدن ريتريفر" تطابق الكلمات "كلب سعيد". هذا هو سحر نماذج الرؤية واللغة (Vision-Language Models)، مثل نموذج CLIP الشهير. إنها تشبه الطلاب الأذكياء جداً الذين قرأوا كل كتاب وشاهدوا كل صورة على الإنترنت، مما يسمح لها بتخمين ما يوجد في الصورة حتى لو لم تكن قد رأت هذا النوع المحدد من الحيوانات من قبل. ومع ذلك، تماماً مثل الإنسان الذي قد يخدعه خداع بصري ذكي، تمتلك هذه النماذج الذكية نقطة ضعف سرية. فإذا أضفت كمية ضئيلة وغير مرئية من "الضجيج" إلى صورة ما — مثل رش بضع حبات من الرمل الرقمي التي لا تراها العين البشرية — يمكن للحاسوب فجأة أن يصاب بارتباك تام، فيظن أن القطة هي محمصة خبز. يُسمى هذا "هجوماً عدائياً" (adversarial attack)، وهي مشكلة كبرى لأنها تعني أن هذه الأدوات القوية يمكن خداعها بسهلاً في مواقف العالم الحقيقي.
السؤال الكبير الذي يسأله العلماء هو: كيف نجعل هذه النماذج أكثر صلابة دون أن تجعلها تنسى كل ما تعرفه بالفعل؟ عادةً، لتعليم الحاسوب أن يكون قوياً، يجب أن تريه آلاف الصور المخادعة والمشوشة هذه أثناء التدريب. ولكن هناك عقبة: إذا عاملت كل صورة بنفس الطريقة، فإن الحاسوب سيضيع وقته في دراسة الصور السهلة (التي يفهمها بالفعل) وقد يظل يفتقد الصور الصعبة حقاً التي تحتاج إلى أكبر قدر من المساعدة. الأمر يشبه معلماً يقضي الفصل الدراسي بأكحله في مراجعة مسألة رياضية حلها الطالب بالفعل بشكل مثالي، بينما يتجاهل المسألة التي تسبب له الفشل الفعلي في الاختبار.
تقدم هذه الورقة البحثية استراتيجية ذكية جديدة تسمى "الوزن المدرك للثقة" (Confidence-Aware Weighting - CAW) لحل هذه المشكلة. فقد أدرك الباحثون أن ليس كل الصور المخادعة متساوية؛ فبعض الصور مربكة للغاية لدرجة أن النموذج يكاد لا يخمن الإجابة بشكل صحيح، بينما صور أخرى مهتزة قليست. وبدلاً من إعطاء كل صورة مربكة نفس القدر من الاهتمام، يعمل نظام CAW كمعلم ذكي يولي اهتماماً إضافياً للطلاب الذين يعانون أكثر من غيرهم.
إليك كيف تعمل هذه الطريقة، باستخدام تشبيه بسيط: تخيل أن نموذج الذكاء الاصطناعي هو طالب يؤدي اختباراً.
- الجزء "المدرك للثقة": عندما يخطئ الطالب في سؤال أو يكون غير متأكد، يقول له المعلم (نظام CAW): "حسناً، هذا سؤال صعب! لنركز على هذا". فهو يعطي وزناً إضافياً للصور التي يكون النموذج فيها أقل ثقة. إذا كان النموذج واثقاً جداً بشأن صورة ما، يقول المعلم: "أنت تتقن هذا، فلننتقل لما بعده". وهذا يضمن أن يبذل النموذج طاقته في إصلاح نقاط ضعفه الكبرى بدلاً من إعادة تعلم ما يعرفه بالفعل.
- جزء "محاذاة الميزات" (Feature Alignment): الجزء الثاني من الحيلة هو التأكد من أن الطالب لا ينسى ما تعلمه في الدروس السابقة. فعندما ينظر النموذج إلى صورة صعبة ومشوشة، يتحقق نظام CAW مما إذا كانت "الصورة الداخلية" التي يراها تتطابق مع "الصورة النظيفة" التي رآها من قبل. الأمر يشبه قول المعلم للطالب: "حتى لو كانت هذه الصورة ضبابية، تذكر أنها لا تزال كلباً، وليست محمصة خبز". وهذا يمنع النموذج من الارتباك وفقدان معرفته الأصلية.
اختبر الباحثون هذه الفكرة على مجموعة ضخمة من مجموعات بيانات الصور، بما في ذلك TinyImageNet و14 مجموعة أخرى تتراوح بين الحيوانات الأليفة والزهور وصولاً إلى الفحوصات الطبية. وقد وضعوا طريقتهم الجديدة في مواجهة أفضل التقنيات المتاحة باستخدام أقوى "الهجمات" المتوفرة، بما في ذلك اختبار مؤتمت قوي يسمى AutoAttack. كانت النتائج واعدة: لم تكتفِ طريقة CAW بالنجاة من الهجمات فحسب، بل تفوقت في الأداء على الطرق الأفضل السابقة. على سبيل المثال، في المتوسط عبر 15 مجموعة بيانات مختلفة، حسنت الطريقة قدرة النموذج على البقاء صحيحاً تحت الهجوم بنحو 2% مقارم بالمركز الثاني، مع استخدام ذاكرة حاسوبية أقل.
الأمر الرائع حقاً هو أن النموذج لم يصبح أفضل فقط في صد الهجمات، بل أصبح أيضاً أفضل في النظر إلى الصور العادية والنظيفة. وجد الباحثون أنه من خلال التركيز على الأمثلة "الصعبة"، تعلم النموذج طريقة أكثر استقراراً لرؤية العالم. وعندما نظروا إلى كيفية "انتباه" النموذج لأجزاء مختلفة من الصورة، رأوا أنه قبل التدريب، كان النموذج يتشتت بسهولة بسبب الضجيج، وينظر إلى الخلفية أو البكسلات العشوائية. أما بعد استخدام CAW، فقد تعلم النموذج التركيز على الجسم الفعلي، حتى عندما تتعرض الصورة للهجوم.
باختصار، تقترح هذه الورقة البحثية أنه من خلال كوننا أكثر انتقائية بشأن الأمثلة المربكة التي ندرسها، يمكننا بناء ذكاء اصطناعي أكثر ذكاءً وصلابة. إنها خطوة نحو جعل نماذج الرؤية واللغة هذه موثوقة بما يكفي لاستخدامها في العالم الحقيقي، حيث لا تكون الأشياء دائماً مثالية وأحياناً تحاول خداعنا. وبينما تركز الطريقة حالياً على جزء الصورة في النموذج وتختبر بشكل أساسي ضد هجمات "الصندوق الأبيض" (حيث يعرف المهاجم أسرار النموذج)، إلا أنها تفتح باباً جديداً لجعل الذكاء الاصطناعي أكثر مرونة دون التضحية بقدرته على تعلم أشياء جديدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.