CaptionFool: Universal Image Captioning Model Attacks
تقدم الورقة البحثية CaptionFool، وهو هجوم عدائي شامل قادر على التلاعب بنماذج وصف الصور المتطورة لتوليد أوصاف مستهدفة عشوائية، وقد تكون مسيئة، وذلك عبر تغيير جزء ضئيل فقط من رقع الصور، مما يكشف عن ثغرات حرجة في أنظمة الرؤية واللغة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً ومدرباً جيداً. وظيفته هي النظر إلى صورة ووصف ما يراه في جملة واحدة، تماماً مثل راوٍ بشري. إذا أريته صورة كلب، سيقول: "كلب من نوع جولدن ريتريفر يلعب في الحديقة". وإذا أريته غروب الشمس، سيقول: "سماء برتقالية جميلة فوق المحيط".
هذا الروبوت هو نموذج وصف الصور (Image Captioning Model). وهو يُستخدم في كل مكان: لمساعدة المكفوفين على "الرؤية" عبر هواتفهم، لتنظيم الصور على وسائل التواصل الاجتماعي، ولتصفية المحتوى السيئ.
الآن، تخيل مخترقاً (Hacker) يريد خداع هذا الروبوت. هو لا يريد كسر الروبوت؛ بل يريد فقط جعله يقول شيئاً خاطئاً تماماً، أو حتى شيئاً مسيئاً، عند النظر إلى صورة غير ضارة.
تقدم هذه الورقة البحثية خدعة جديدة تسمى CaptionFool. وإليك كيف تعمل، مشروحة ببساطة:
1. خدعة "الملصق السحري" (الهجوم الشامل)
عادةً، لخداع روبوت، يتعين على المخترق صنع نسخة "مزيفة" خاصة من كل صورة على حدة. وهذا أمر بطيء وممل.
CaptionFool مختلفة. إنها تشبه العثور على ملصق سحري شامل.
- اكتشف الباحثون أنه إذا وضعوا نمطاً صغيراً، غير مرئي تقريباً، على 7 مربعات صغيرة فقط (بقع) من أي صورة، فإن عقل الروبوت يصاب بارتباك تام.
- لا يهم إذا كانت الصورة لقطة، أو سيارة، أو شطيرة. إذا طبقت هذا "الملصق السحري" المحدد على تلك المواضع السبعة، فسوف يتجاهل الروبوت الصورة الفعلية ويبدأ في وصف ما يريد المخترق منه وصفه.
- المقياس: تتكون الصورة من 57 7 مربعاً صغيراً. المخترق يعبث بـ 7 منها فقط. أي أقل من 1.2% من الصورة. بالنسبة للعين البشرية، تبدو الصورة كما هي تماماً. أما بالنسبة للروبوت، فهي واقع مختلف تماماً.
2. تأثير "غسيل الدماغ"
اختبر الباحثون هذا على روبوت متطور جداً (يُسمى BLIP). أخبروا الروبوت: "مهما كان ما تراه، صفه بأنه [الكلمة المستهدفة]."
- الهدف: "صورة لبالون".
- الصورة الحقيقية: صورة لوحش مخيف.
- النتيجة: يقول الروبوت بكل ثقة: "صورة لبالون".
فعلوا ذلك بكلمات غير ضارة، لكنهم فعلوه أيضاً بـ كلمات مسيئة ولغة عامية.
- الهدف: لفظ عنصري.
- الصورة الحقيقية: صورة لعائلة سعيدة.
- النتيجة: يقول الروبوت ذلك اللفظ العنصري.
3. ثغرة "اللغة العامية"
هذا هو الجزء الأكثر خطورة. منصات التواصل الاجتماعي لديها "حراس" (فلاتر) تحظر الكلمات السيئة. إذا حاولت كتابة كلمة سيئة، سيوقفك الحارس.
أظهر الباحثون أن CaptionFool يمكنه جعل الروبوت يستخدم لغة عامية أو لغة مشفرة تعني نفس الشيء السيئ ولكنها ليست مدرجة في قائمة الكلمات المحظورة لدى "الحارس".
- بدلاً من قول الكلمة الممنوعة، قد يقول الروبوت مصطلحاً عامياً غريباً أو مبتكراً يعرف البشر أنه سيء، لكن فلتر الكمبيوتر يراه بريئاً.
- الأمر يشبه طفلاً يحاول تمرير قطعة بسكويت من أمام والديه عبر تسميتها "صخرة مقرمشة". الوالد (الفلتر) لا يعرف أن "الصخرة المقرمشة" تعني "بسكويت"، لذا يسمح بمرورها.
4. لماذا هذا مهم؟
فكر في نماذج الذكاء الاصطناعي هذه كأنها عيون وآذان الإنترنت.
- إذا استطاع مخترق خداع "العيون" لرؤية شيء ليس موجوداً، فيمكنه:
- نشر أخبار كاذبة (جعل احتجاج سلمي يبدو وكأنه أعمال شغب).
- تجاوز فلاتر السلامة (جعل صورة خطاب كراهية تبدو وكأنها قطة لطيفة بالنسبة للنظام).
- إفساد أدوات الوصول (إخبار شخص كفيف بأن موقفاً خطيراً هو موقف آمن).
الخلاصة
هذه الورقة البحثية هي صرخة تحذير. فهي تظهر أن حتى روبوتات الذكاء الاصطنا_ني الأكثر ذكاءً هشة للغاية. فهي تركز بشدة على أن تكون "دقيقة" لدرجة أنه يمكن خداعها بسهولة بنقرة صغيرة غير مرئية.
الباحثون لا يحاولون أن يكونوا أشراراً؛ هم مثل مختبري أمن وجدوا ثغرة في جدار البنك. إنهم يصرخون: "مهلاً! الجدار به صدع! إذا لم نصلحه، سيستخدمه الأشرار لسرقة المال (أو في هذه الحالة، لنشر الكراهية والأكاذيب)".
الخلاصة المستفادة: نحن بحاجة إلى بناء ذكاء اصطناعي أقوى وأكثر متانة لا يمكن خداعه ببضعة "ملصقات سحرية" صغيرة، خاصة قبل أن نتركهم يديرون المشهد على وسائل التواصل الاجتماعي وأدوات السلامة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.