SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models
تقدم هذه الورقة البحثية SCAM، وهي أكبر وأكثر مجموعة بيانات واقعية تنوعاً لصور الهجمات الطباعية (typographic attack images)، لتقييم وإثبات الضعف الكبير لنماذج التأسيس متعددة الوسائط الحديثة تجاه مثل هذه الهجمات، مع تقديم رؤى تجريبية حول كيفية تأثير بنية النموذج وبيانات التدريب على المتانة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعدًا آليًا ذكيًا للغاية يمكنه "رؤية" الصور و"قراءة" النصوص في نفس الوقت. تسأله: "ما هذا؟" فينظر إلى صورة ساعة ويقول: "هذه ساعة!". هذا أمر رائع، أليس كذلك؟
ولكن ماذا لو كتب شخص ما كلمة "TAXI" (تاكسي) بخط يد كبير وفوضوي على ورقة ملاحظات لاصقة ووضعها بجوار الساعة مباشرة؟ فجأة، يرتبك الروبوت. ينظر إلى الصورة، ويرى كلمة "TAXI"، فيصاب بالذعر ويصرخ: "هذا تاكسي!" رغم أنها بوضوح ساعة!
هذه الورقة البحثية تتحدث عن مجموعة من الباحثين الذين قرروا اختبار مدى سهولة خداع هذه الروبوتات الذكية بهذا النوع من "السحر الطباعي".
المشكلة: عادة الروبوت السيئة
نماذج الذكاء الاصطناعي هذه (التي تسمى نماذج الرؤية واللغة) تشبه الطلاب الذين هم بارعون جدًا في القراءة لكنهم ينسون النظر إلى الصورة. عندما يرون نصًا داخل صورة، يتحمسون جدًا للكلمات لدرجة أنهم يتجاهلون الكائن الفعلي. الأمر يشبه طالبًا في امتحان يرى كلمة "تفاحة" مكتوبة على الصفحة فيضع دائرة حول كلمة "تفاحة" كإجابة، حتى لو كانت الصورة تظهر موزة.
وجد الباحثون أن الاختبارات الحالية لهذه المشكلة كانت صغيرة وزائفة. كانت تشبه التدرب للامتحان الحقيقي باستخدام اختبار تجريبي يحتوي على 10 أسئلة فقط. ولكي يفهموا الخطر حقًا، كانوا بحاجة إلى اختبار ضخم وواقعي.
الحل: تقديم "SCAM"
أنشأ الباحثون مجموعة بيانات جديدة تسمى SCAM (الهجمات الرمزية الخفية على النماذج متعددة الوسائط). فكر في هذا كـ "ملعب الماكرين النهائي".
- الإعداد: أخذوا 1,162 صورة لأشياء يومية (مثل المحمصات، الدراجات الهوائية، والقطط).
- الخدعة: وضعوا ورقة ملاحظات صفراء بجانب كل كائن تحتوي على كلمة غير ذات صلة مكتوبة بخط اليد (على سبيل المثال: صورة لمحمص خبز وبجانبها ورقة ملاحظات مكتوب عليها "خنزير").
- النطاق: لم يفعلوا ذلك مرة واحدة فقط؛ بل فعلوه بمئات الأشياء المختلفة ومئات الكلمات المربكة المختلفة. حتى أنهم استعانوا بتسعة أشخاص مختلفين لكتابة الملاحظات بأقلام وهواتف مختلفة لجعل الأمر يبدو حقيقيًا وفوضويًا قدر الإمكان.
كما أنشأوا مجموعتين "ضابطتين" للمقارنة:
- NoSCAM: نفس الصور، ولكن مع إزالة أوراق الملاحظات (النسخة "النظيفة").
- SynthSCAM: نفس الصور، ولكن مع إضافة الكلمات باستخدام خط كمبيوتر مثالي (النسخة "المزيفة").
ما الذي اكتشفوه؟
اختبر الباحثون عشرات نماذج الذكاء الاصطناي على مجموعة البيانات هذه، وكانت النتائج مذهلة:
1. الروبوتات تُخدع بسهولة
عندما رأت نماذج الذكاء الاصطناي صور "SCAM"، انخفضت دقتها بشكل حاد. بعض النماذج التي كانت دقتها 99% في الصور النظيفة، انخفضت إلى 30% أو 40% عند إضافة كلمة سخيفة. لقد أثبت ذلك أن هذه النماذج تعتمد بشكل خطير على النص، وغالبًا ما تتجاهل الواقع البصري.
2. الهجمات المزيفة تعمل بنفس كفاءة الهجمات الحقيقية
أراد الباحثون معرفة ما إذا كان عليهم الخروج والتقاط آلاف الصور الحقيقية بأوراق ملاحظات لاصقة، أم أنه يمكنهم فقط استخدام نص مولد بواسطة الكمبيوتر. وجدوا أن النص المولد بواسطة الكمبيوتر (SynthSCAM) خدع الروبوتات بنفس كفاءة الملاحظات المكتوبة بخط اليد الحقيقية. وهذا خبر جيد للباحثين لأنه يعني أنه يمكنهم اختبار السلامة دون الحاجة إلى لصق ملاحظات فعلية على كل شيء في العالم.
3. الأدمغة الأكبر تساعد، ولكن أحيانًا فقط
وجدوا أن مجرد جعل جزء "الرؤية" في الروبوت أفضل لم يحل المشكلة دائمًا. ومع ذلك، فإن جعل جزء "اللغة" (الدماغ الذي يفهم الكلمات) أكبر وأذكى ساعد بالفعل.
- النماذج الصغيرة كانت تُخدع بسهولة.
- النماذج الضخمة (مثل تلك التي تشغل أكثر برامج الدردشة تقدمًا) كانت أفضل بكثير في قول: "مهلًا، هذه ساعة، رغم أنها تقول 'تاكسي'".
- لكن العيب: حتى أكبر النماذج لم تكن آمنة بنسبة 100%. إذا كانت "العيون" (مشفر الرؤية) ضعيفة، فإن "الدماغ" (نموذج اللغة) سيظل مرتبكًا.
4. "حجم الرقعة" يهم
اكتشفوا أن كيفية تقسيم الذكاء الاصطناي للصورة إلى مربعات صغيرة (رقع/patches) أمر مهم. إذا كانت المربعات صغيرة جدًا، يركز الذكاء الاصطناي أكثر من اللازم على النص ويفقد الصورة الكبيرة. الأمر يشبه محاولة تحديد سيارة من خلال النظر إلى بكسل واحد من إطارها؛ قد ترى كلمة "إطار" وتنسى أنها سيارة.
لماذا يجب أن تهتم؟
هذا ليس مجرد لعبة. تُستخدم نماذج الذكاء الاصطناي هذه في السيارات ذاتية القيادة وفي التشخيص الطبي.
- تخيل سيارة ذاتية القيادة ترى علامة "قف" (STOP)، ولكن شخصًا ما وضع ورقة بجانبها مكتوب عليها "انطلق" (GO). إذا خُدع ذكاء السيارة الاصطناعي بالنص، فقد تقود مباشرة إلى تقاطع.
- تخيل ذكاءً اصطناعيًا طبيًا ينظر إلى صورة أشعة سينية تحمل ملصقًا يقول "سليم"، بينما تظهر الصورة بوضوح وجود ورم. إذا وثق الذكاء الاصطناعي في النص أكثر من الصورة، فقد يخطئ في التشخيص.
الخلاصة
هذه الورقة البحثية هي بمثابة جرس إنذار. تقول: "مهلًا، نماذج الذكاء الاصطناي الذكية لدينا حاليًا ساذجة للغاية. إنها تثق في النص الموجود داخل الصور أكثر من اللازم".
من خلال إصدار مجموعة البيانات الضخمة هذه (SCAM) والتعليمات البرمجية لاختبارها، يقدم الباحثون للعالم أداة لبناء ذكاء اصطناعي أفضل، وأكثر أمانًا، وأكثر قوة. إنهم يريدون التأكد من أنه في المستقبل، عندما ينظر روبوت إلى ساعة مع ورقة ملاحظات مكتوب عليها "تاكسي"، فإنه سيقول بثقة: "هذه ساعة"، ولن يُخدع بالمقلب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.