Do Composed Image Retrieval Benchmarks Require Multimodal Composition?
تكشف هذه الورقة أن معايير استرجاع الصور المركبة الحالية تبالغ في تقدير قدرات التركيب متعدد الوسائط لأن جزءاً كبيراً من الاستعلامات يمكن حله عبر طرق مختصرة أحادية الوسائط أو أنها صيغت بشكل سيئ، مما يستلزم وجود مجموعة فرعية تم التحقق منها لضمان دمج النماذج فعلياً بين المدخلات الصورية والنصية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "خمن الصورة".
في هذه اللعبة، يتم إعطاؤك دليلين للعثور على صورة محددة مخبأة في مكتبة ضخمة تضم ملايين الصور:
- صورة البداية (مثلاً: صورة فستان أحمر).
- تعليمات نصية (مثلاً: "اجعله أزرق وأضف أكماماً طويلة").
الهدف هو العثور على الصورة المستهدفة (الفستان الأزرق ذو الأكمام الطويلة). يُسمى هذا الاسترجاع الصوري المركب (CIR). الفكرة هي أن حاسوباً ذكياً يحتاج إلى دمج الدليل البصري (الفستان الأحمر) مع الدليل النصي (التعليمات) لحل اللغز. إذا لم يستطع فعل ذلك، فهو لا "يفهم" حقاً كيفية مزج الصور والكلمات.
المشكلة: أكواد الغش
بحث مؤلفو هذه الورقة البحثية في أربع ألعاب "خمن الصورة" شهيرة (اختبارات معيارية) تُستخدم لاختبار مدى براعة نماذج الذكاء الاصطناعي في أداء هذه المهمة. وقد اشتبهوا في أن هذه الألعاب كانت تحتوي على أكواد غش.
وجدوا أنه بالنسبة لعدد هائل من الألغاز، لم يكن الذكاء الاصطناعي بحاجة فعلياً لدمج الصورة والنص؛ بل كان بإمكانه الفوز باستخدام دليل واحد فقط:
- غش النص: أحياناً، كانت التعليمات النصية محددة للغاية ("ابحث عن صورة فستان أزرق بأكمام طويلة") لدرجة أن الذكاء الاصطناعي يمكنه تجاهل صورة البداية تماماً والبحث فقط بناءً على الوصف النصي. لقد وجد الإجابة دون أن ينظر إلى الصورة أبداً.
- غش الصورة: وأحياناً، كانت التعليمات النصية غامضة أو غير مفيدة ("اجعله أفضل")، مما سمح للذكاء الاصطناعي بتجاهل النص والتخمين بناءً على صورة البداية فقط.
التشبيه:
تخيل أن معلماً يعطي طالباً مسألة رياضية: "ابدأ بالرقم 5، ثم أضف 3".
- التعلم الحقيقي: الطالب يحسب .
- الغش: الطالب يتجاهل جزء "ابدأ بـ 5" ويحفظ فقط أن الإجابة لـ "أضف 3" هي دائماً 8، أو يتجاهل الرياضيات ويخمن فقط لأن المعلم يختار الرقم 8 دائماً.
اكتشفت الورقة البحثية أنه في هذه الاختبارات المعيارية للذكاء الاصطناعي، كانت نسبة تتراوح بين 32% إلى 83% من الأسئلة قابلة للحل باستخدام دليل واحد فقط (الغش)، بدلاً من اشتراط دمج الصورة والنص. وهذا يعني أن الدرجات العالية التي تحققها نماذج الذكاء الاصطناعي كانت غالباً وهمية؛ فقد كانوا يغشون، لا يتعلمون.
المشكلة الثانية: الألغاز المعطلة
بعد ذلك، تساءل المؤلفون: "حسناً، لنقم بإزالة جميع أسئلة الغش. الآن، لدينا فقط الألغاز الصعبة التي تتطلب كلا الدليلين. هل هي عادلة؟"
طلبوا من البشر النظر في الألغاز "الصعبة" المتبقية. ووجدوا أن الكثير منها كان معطلاً:
- غامضة جداً: كانت التعليمات هي "اجعله داكناً أكثر"، ولكن كانت هناك 50 نسخة مختلفة أكثر دكنة من الفستان في المكتبة. أي واحدة منها هي النسخة "الصحيحة"؟ اللغز ليس له إجابة واحدة صحيحة.
- غير متطابقة: قالت التعليمات "أضف قبعة"، لكن صورة الإجابة "الصحيحة" لم تكن تحتوي حتى على قبعة. اللغز كان معطلاً منذ البداية.
التشبيه:
الأمر يشبه معلماً يعطي طالباً لغزاً: "ما هو الشيء الذي يكون مستديراً وأحمر؟"
- لغز معطل: يقول المعلم إن الإجابة هي "تفاحة"، ولكن يمكن للطالب أيضاً أن يجيب بشكل صحيح بـ "طماطم" أو "كرة". بما أن هناك العديد من الإجابات الصحيحة، فإن الاختبار غير عادل.
- غير متطابق: يقول المعلم إن الإجابة هي "مربع"، لكن اللغز طلب شيئاً مستديراً. الاختبار بلا معنى.
الحل: CIRCUS
لإصلاح ذلك، أنشأ المؤلفون نسخة جديدة ومنقحة من هذه الاختبارات تسمى CIRCUS.
- قاموا بإزالة جميع أسئلة "الغش" حيث يمكن للذكاء الاصطناعي الفوز بدليل واحد فقط.
- قاموا بإزالة جميع الأسئلة "المعطلة" حيث تكون الإجابة غامضة أو خاطئة.
بقوا مع مجموعة أصغر بكثير مكونة من 1,689 لغزاً صعباً حقاً.
النتالئج: تراجع أداء الذكاء الاصطناعي بشكل كبير (لكن هذا أمر جيد)
عندما أعادوا اختبار نماذج الذكاء الاصطناعي على هذه المجموعة الجديدة والنظيفة:
- انخفضت الدرجات بشكل حاد. على سبيل المثال، انخفضت درجة أحد النماذج في أحد الاختبارات من 70% إلى 24%.
- لماذا هذا أمر جيد؟ لأنه يثبت أن النموذج لم يكن ذكياً حقاً في دمج الصور والنصوص من قبل؛ بل كان بارعاً فقط في رصد أكواد الغش.
- في الاختبارات الجديدة والنظيفة، اضطر النماذج إلى استخدام كل من الصورة والنص معاً للحصول على الإجابة الصحيحة. أصبح "الفرق" بين استخدام النص فقط، أو الصور فقط، أو كليهما، أكثر وضوحاً بكثير.
الخلاصة
تخلص الورقة البحثية إلى أن اختبارات الذكاء الاصطناعية الحالية لعملية "مزج الصور والنصوص" معيبة. إنها تشبه اختبار قيادة يمكن فيه اجتياز الاختبار بمجرد الضغط على دواسة الوقود دون توجيه المقود أبداً. لقد صمم المؤلفون اختبار قيادة جديداً وأكثر صرامة (CIRCUS) يجبر السيارة على توجيه المقود بالفعل. وحتى نستخدم اختبارات كهذه، قد نظل نبالغ في تقدير مدى ذكاء الذكاء الاصطناعي الخاص بنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.