Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery
تُظهر هذه الورقة أن تقديم سياقات من صور حقيقية لنماذج الرؤية واللغة غالبًا ما يؤدي إلى تدهور أدائها في الأحكام المعجمية المتعلقة بالواقعية والتصويرية عبر إدخال حساسية تجاه إشارات بصرية زائفة، مما يشير إلى الحاجة إلى معايرة أفضل لمتى ينبغي للمدخلات البصرية أن تُوجه مثل هذه المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تخوض اختباراً حيث يتعين عليك تخمين مدى "ملموسية" أو "قابلية تصوير" كلمة معينة. على سبيل المثال، هل كلمة "تفاحة" سهلة التصور؟ نعم. هل كلمة "حرية" سهلة التصور؟ ليس تماماً.
الآن، تخيل أنك تخوض هذا الاختبار بينما يعرض عليك شخص ما صورة عشوائية بجانب الكلمة.
تبحث هذه الورقة البحثية فيما يحدث عندما تخوض نماذج الذكاء الاصطناعي الحديثة (التي تسمى نماذج الرؤية واللغة - Vision-Language Models) هذا الاختبار. أراد الباحثون معرفة ما إذا كان عرض صورة على الذكاء الاصطناعي يساعده على فهم الكلمة بشكل أفضل، أم أن الصورة في الواقع تشتته وتجعله يعطي إجابة أسوأ.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. الإعداد: "الفصل الدراسي المشتت"
أعطى الباحثون للذكاء الاصطناً قائمة من الكلمات وطلبوا منه تقييمها على مقيلاً من حيث مدى كونها "ملموسة" (حقيقية/يمكن لمسها) أو "سهولة تخيلها".
- المجموعة الضابطة: رأى الذكاء الاصطناً الكلمة وحدها (أو مع مربع أبيض فارغ).
- مجموعة الاختبار: رأى الذكاء الاصطناً الكلمة بالإضافة إلى صورة حقيقية تم استخراجها من الإنترنت.
المفاجأة الكبرى:
قد تعتقد: "إذا عرضتُ على الذكاء الاصطناعي صورة لـ 'كلب'، فمن المفترض أن يكون أفضل في معرفة أن 'كلب' هي كلمة ملموسة". وبالنسبة للكلمات الملموسة والبسيطة، كان أداء الذكاء الاصطناعي جيداً.
ومع ذلك، بالنسبة لـ الكلمات المجردة (مثل "عدالة"، "حرية"، أو "طبيعة")، جعلت الصور الذكاء الاصطناني أسوأ.
- التشبيه: تخيل طالباً يؤدي اختبار رياضيات. إذا سلمت له صورة لآلة حاسبة بجانب السؤال "ما هو 2+2؟"، فقد يحصل على الإجابة الصحيحة. ولكن إذا سألته: "هل مفهوم 'الأمانة' صعب أم سهل التخيل؟" وسلمته صورة لـ غروب الشمس، فسوف يرتبك الطالب. سينظر إلى غروب الشمس الجميل ويقول: "أوه، هذا شيء ملموس وحقيقي جداً!" ويعطي كلمة "أمانة" درجة عالية لكونها "حقيقية"، رغم أن الكلمة نفسها ليست كذلك. لقد عملت الصورة مثل جار صاخب ومشتت يصرخ بالإجابة الخاطئة.
2. المقارنة بين "الإنسان والروبوت"
للتأكد من أن هذا لم يكن مجرد مشكلة غريبة خاصة بالذكاء الاصطناعي، طلب الباحثون من بشر حقيقيين خوض نفس الاختبار.
- النتيجة: البشر أيضاً تشتتوا قليلاً بالصور، لكنهم لم ينهاروا. لقد أدركوا أن الصورة كانت مجرد زينة.
- مشكلة الذكاء الاصطناعي: أما الذكاء الاصطناعي، فقد عامل الصورة كـ دليل قاطع. لم يستطع التمييز بين "صورة كلب" (التي تثبت أن كلمة 'كلب' حقيقية) وبين "صورة غروب الشمس" (التي لا علاقة لها بكلمة 'حرية'). بدأ الذكاء الاصطناعي يخمن بناءً على محتوى الصورة بدلاً من معنى الكلمة.
3. لماذا حدث هذا؟ (الخلل الداخلي)
نظر الباحثون داخل "دماغ" الذكاء الاصطناعي (طبقات بياناته الداخلية) ليروا أين الخطأ.
- التحول: عندما رأى الذكاء الاصطناعي صورة حقيقية، فإن فهمه الداخلي للكلمة تحول فعلياً. كان الأمر كما لو أن دماغ الذكاء الاصطناني قرر فجأة: "أوه، أنا أنظر إلى صورة الآن، لذا يجب أن أجيب بناءً على ما أراه، وليس بناءً على ما أقرأه".
- الحساسية: أصبح الذكاء الاصطناني حساساً للغاية تجاه "الإشارات الزائفة". وهي طريقة معقدة للقول بأنه تشبث بتفاصيل عشوائية في الصورة لا علاقة لها بالكلمة. وبالنسبة للكلمات المجردة، تسبب هذا في جعل الذكاء الاصطناني يبالغ في تقدير مدى "واقعية" الكلمة.
4. الحل: "ملاحظة المعلم"
بما أن الذكاء الاصطناني كان يتشتت، حاول الباحثون حيلة بسيطة. أضافوا تعليمات صغيرة إلى "الأمر" (Prompt)، مثل ملاحظة من معلم:
"مهلاً، قد لا تكون هذه الصورة مرتبطة بالكلمة. يرجى تجاهل الصورة وتقييم الكلمة نفسها فقط."
النتيجة:
- عملت هذه الملاحظة البسية كـ فلتر ذهني. لقد أخبرت الذكاء الاصطناني أن يتوقف عن النظر إلى الجار المشتت ويركز على سؤال الاختبار.
- تحسن أداء الذكاء الاصطناني بشكل ملحوظ، خاصة بالنسبة لتلك الكلمات المجردة الصعبة. لم يحل الأمر كل شيء بشكل مثالي، لكنه أوقف أكبر الأخطاء التي كان يرتكبها.
الملخص
تخلص الورقة البحثية إلى أنه بينما نفترض غالباً أن إعطاء الصور للذكاء الاصطناني يجعله أذكى، فإن الصور أحياناً تكون فخاً.
- للأشياء الملموسة (مثل صورة قطة تساعدك في تحديد كلمة "قطة")، الصور مفيدة.
- للأشياء المجردة (مثل صورة عاصفة تساعدك في تحديد كلمة "سلام")، الصور تربك الذكاء الاصطناني، وتجعله يعتمد على الإشارات الخاطئة.
الحل ليس في التوقف عن استخدام الصور، بل في تعليم الذكاء الاصطناني متى يتجاهلها. تماماً كما يعرف الطالب الجيد متى ينظر إلى رسم توضيحي ومتى يغمض عينيه ويفكر في المفهوم، تحتاج نماذج الذكاء الاصطنا هذه إلى تعلم متى يكون السياق البصري تلميحاً مفيداً ومتى يكون مجرد ضجيج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.