Unifying Adversarially Robust Model Experts in Vision-Language Models

تخيل أن لديك صديقًا آليًا فائق الذكاء يمكنه النظر إلى صورة وإخبارك فورًا ما هي، أو حتى كتابة قصيدة عنها. هذا الروبوت، المعروف باسم "نموذج الرؤية واللغة" (VLM)، مذهل لأنه يفهم الصور والكلمات في آن واحد. ولكن مثل أي طفل ذكي، لديه نقطة ضعف: يمكن خداعه بسهولة. إذا أضاف شخص ما "ضجيجًا" ضئيلًا وغير مرئي إلى صورة ما — مثل إزاحة بضعة بكسلات بمقدار شعرة واحدة فقط — فقد يعتقد الروبوت فجأة أن الباندا هي محمصة خبز، أو أن القطة هي سيارة. يُسمى هذا "هجومًا عدائيًا" (Adversarial Attack)، وهي مشكلة كبيرة لأننا نريد لهذه الروبات أن تكون آمنة وموثوقة في العالم الحقيقي.

ولحل هذه المشكلة، يقوم العلماء بتعليم الروبوت التدرب على هذه الصور المخادعة، وهي عملية تسمى "التدريب العدائي" (Adversarial Training). فكر في الأمر كطالب في الفنون القتالية يتدرب مع شريك ليتعلم كيفية صد اللكمات. يستكشف البحث الذي ستطالعه الآن اكتشافًا رائعًا: لا توجد طريقة واحدة فقط لتعليم الروبوت كيف يصد الضربات. فبعض المعلمين يركزون على حفظ الحركات الدقيقة (تعلم التعرف على كلمات محددة)، بينما يركز آخرون على الحفاظ على التوازن بغض النظر عما يحدث (الحفاظ على ثبات سمات الصورة). المشكلة هي أن الطالب الذي يجيد حفظ الحركات قد يسقط إذا تغيرت المعركة، والطالب الذي يجيد التوازن قد ينسى الأسماء المحددة للحركات. يسأل هذا البحث سؤالًا بسيطًا ولكنه قوي: ماذا لو استطعنا الحصول على أفضل ما في العالمين؟

حكاية الخبيرين والغراء السحري

في عالم سلامة الذكاء الاصطناعي، يعمل الباحثون على تدريب "خبراء" لجعل نماذج الرؤية واللغة أكثر صلابة ضد الهجمات. ولكن إليك العقبة: هؤلاء الخبراء يشبهون إلى حد ما الرياضيين المتخصصين. أحد أنواع الخبراء، لنسمِّهم "عباقرة الكلمات" (Word-Whizzes)، يصبح بارعًا جدًا في مطابقة الصور مع أوصاف نصية محددة. إذا عرضت عليهم صورة باندا وسألتهم: "هل هذه باندا؟"، فسيكونون صلبين للغاية. ولكن إذا عرضت عليهم صورة لحيوان جديد لم يروه من قبل، فقد يتعثرون لأنهم يعتمدون بشدة على النص الذي حفظوه.

أما النوع الآخر من الخبراء، وهم "أصحاب الأيدي الثابتة" (Steady-Hands)، فيركزون على إبقاء الصورة نفسها تبدو كما هي، حتى عندما يحاول شخص ما العبث بها. إنهم بارعون في التعامل مع الحيوانات الجديدة غير المرئية لأنهم لا يهتمون كثيرًا بالكلمات المحددة؛ هم فقط يعرفون شكل "الشيء الشبيه بالقطة". ومع ذلك، فهم ليسوا بحدة "عباقرة الكلمات" في استخدام الأدلة النصية للوصول إلى الإجابة الصحيحة للحيوانات المألوفة.

لفترة طويلة، حاول العلماء حل هذه المشكلة عن طريق تدريب خبير واحد، ثم الآخر، ثم محاولة دمجهم معًا في النهاية. لكن الأمر كان يشبه محاولة لصق نوعين مختلفين من الطين معًا بينما لا يزالان رطبين؛ كانا ينفصلان عن بعضهما البعض، أو كانت النتيجة النهائية عبارة عن كتلة فوضوية لا تجيد أي شيء.

دخول CARE: المدرب التعاوني

قرر مؤلفو هذا البحث، "نغوين دوك ثاي" وفريقه، تجربة شيء مختلف. بدلاً من تدريب خبير واحد ثم الآخر، بنوا إطار عمل يسمى CARE (التدريب الدقيق للصلابة العدائية التعاونية باستخدام محاذاة التضمين - Collaborative Adversarial Robustness fine-tuning using Embedding alignment). فكر في CARE كمدرب بارع يضع "عبقري الكلمات" و"صاحب اليد الثابتة" في نفس الصالة الرياضية ويجعلهما يتدربان جنبًا إلى جنب.

إليك كيف يحدث السحر:

1. الإحماء المشترك: قبل أن يبدأ الخبراء تمارينهم المحددة، يتشاركون "اضطرابًا عالميًا" (universal perturbation). تخيل أن كلاهما ينظر إلى نفس الصورة المشوهة قليلاً ليشعر بمصدر المشكلة. هذا يساعدهما على البدال من نقطة انطلاق واحدة.
2. التمارين المتخصصة: يتدرب "عبقري الكلمات" على مطابقة الصورة المشوهة مع النص الصحيح. بينما يتدرب "صاحب اليد الثابتة" على التأكد من أن الصورة لا يتغير شكلها كثيرًا.
3. المصافحة السرية (التناغم): هذا هو الجزء الأهم. أثناء تدريبهما، يجبرهما المدرب على التحدث مع بعضهما البعض. يخبر "عبقري الكلمات" "صاحب اليد الثابتة": "مهلًا، انظر كيف أقوم بمطابقة النص!"، ويقول "صاحب اليد الثابتة": "مهلًا، انظر كيف أحافظ على استقرار الصورة!". إنهما يتبادلان هذه المعرفة في الوقت الفعلي. هذا يمنعهما من الابتعاد كثيرًا عن بعضهما ويضمن تعلم كل منهما من نقاط قوة الآخر.
4. الدمج النهائي: في نهاية اليوم، يمزج المدرب عقولهم معًا في خبير خارق واحد. هذا النموذج الجديد ليس مجرد خليط؛ بل هو عقل موحد يعرف كيف يطابق الكلمات و يحافظ على استقرار الصور.

ماذا وجدوا؟

اختبر الفريق هذه الطريقة الجديدة على مجموعة بيانات شهيرة تسمى ImageNet والعديد من مجموعات الصور المخادعة الأخرى. كانت النتائج رائعة حقًا.

• التفوق على المتخصصين: كان نموذج CARE الجديد أفضل من "عبقري الكلمات" وحده، وأفضل من "صاحب اليد الثابتة" وحده. في الواقع، عندما كانت الهجمات قوية (بحجم اضطراب $\epsilon = 4/255$)، تفوق CARE على "عبقري الكلمات" (TeCoA) بنسبة 2% تقريبًا وعلى "صاحب اليد الثابتة" (FARE) بنسبة تقارب 8%.
• التعامل مع المجهول: لم ينجح نموذج CARE في تحسين معرفة الحيوانات المعروفة فحسب، بل أصبح أيضًا أفضل في تخمين الحيوانات الجديدة. عادةً ما يتفوق "صاحب اليد الثابتة" في الأشياء الجديدة، ويتفوق "عبقري الكلمات" في الأشياء المعروفة. تمكن CARE من أن يكون الأفضل في كليهما.
• مهام العالم الحقيقي: اختبروه أيضًا في مهام مثل كتابة التعليقات التوضيحية للصور والإجابة على الأسئلة حولها. حتى عندما تعرضت الصور للهجوم، استمر CARE في تقديم الإجابات الصحيحة بشكل متكرر أكثر من الطرق الأخرى. على سبيل المثال، في اختبار كان عليهم فيه تحديد "هوت دوغ" (Hot Dog) في صورة، قال CARE بشكل صحيح "هوت دوغ" حتى تحت الهجوم، بينما ارتبك الآخرون أحيانًا.

ثمن العظمة

بالطبع، هناك ثمن لهذا العمل الجماعي. تدريب خبيرين في وقت واحد يتطلب المزيد من قدرة الكمبيوتر. يشير البحث إلى أن تدريب CARE يستغرق حوالي 1.5 مرة أطول من تدريب خبير واحد فقط (83 ساعة مقابل 48-50 ساعة) ويستخدم ذاكرة أكبر (52.6 جيجابايت مقابل 25-29 جيجابايت). ومع ذلك، يقترح المؤلفون أنه باستخدام بعض الهندسة الذكية، مثل حذف البيانات المؤقتة بمجرد استخدامها، يمكنهم الحفاظ على استخدام الذاكرة ضمن حدود معقولة.

الخلاصة

يشير البحث إلى أن الطريقة القديمة في التفكير — اختيار استراتيجية واحدة والتمسك بها — قد تكون محدودة للغاية. من خلال السماح لأنواع مختلفة من خبراء الذكاء الاصطناعي بالتعاون والتعلم من نقاط قوة بعضهم البعض، يمكننا بناء نماذج يصعب خداعها كثيرًا. لا يدعي المؤلفون أن هذا هو الحل النهائي لجميع مشكلات سلامة الذكاء الاصطناعي، لكنهم يظهرون أن هذا النهج "التعاوني" هو اتجاه واعد للغاية. إنه تذكير بأنه في بعض الأحيان، لكي تكون قويًا حقًا، لا تحتاج فقط إلى أن تكون قويًا؛ بل تحتاج إلى القدرة على العمل مع الآخرين.