Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach
تتناول هذه الورقة أوجه القصور في أساليب تقييم العواطف البصرية الحالية للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من خلال اقتراح إطار عمل مفتوح المفردات وتلقائي للحكم على العبارات العاطفية، والذي يكشف عن نقاط قوة النماذج الحالية في التفسير القائم على السياق، ولكنه يسلط الضوء على فجوات كبيرة في فهم الإدراك الذاتي مقارنة بالبشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً ذكياً ومطلعاً جداً (نموذج لغوي كبير متعدد الوسائط، أو MLLM)، يمكنه النظر إلى الصور والتحدث عنها. تريد أن تعرف: هل "يشعر" هذا الروبوت حقاً بما يدور في الصورة، أم أنه مجرد تخمين؟
لفترة طويلة، حاول العلماء اختبار ذلك عبر طرح أسئلة بسيطة على الروبوت مثل، "هل هذه الصورة سعيدة أم حزينة؟" أو "لماذا يبكي الشخص في الصورة؟". لكن النتائج كانت محيرة؛ فأحياناً يبدو الروبوت رائعاً، وأحياناً أخرى يفشل فشلاً ذريعاً.
يجادل مؤلفو هذه الورقة البحثية بأن المشكلة ليست في عقل الروبوت، بل في الاختبار نفسه. كانت الاختبارات القديمة تشبه محاولة قياس قدرة سمكة على تسلق شجرة؛ فقد كانت جامدة للغاية، ومحدودة جداً، ولا تأخذ في الاعتبار الطريقة الفوضوية والمعقدة التي يشعر بها البشر فعلياً.
إليك تفصيل بسيط لحلهم الجديد، باستخدام تشبيهات من الحياة اليومية:
1. الطريقة القديمة: فخ "الاختيار من متعدد"
تخيل أنك تعرض صورة لرجل إطفاء يركض نحو مبنى يحترق.
- الاختبار القديم: يسأل "ما هو الشعور في هذه الصورة؟" ويعطيك قائمة: سعيد، حزين، غاضب، خائف.
- المشكلة: قد يقول الروبوت "شجاع" أو "عاجل". لكن الاختبار يقول له: "خطأ! هذه الكلمات ليست في القائمة!"
- الخلل: المشاعر الإنسانية ليست مجرد قائمة من مربعات الاختيار. فهي تعتمد على القصة، والسياق، ومن ينظر إلى الصورة. الاختبارات القديمة أجبرت الروبوت على وضع نفسه في صندوق لا يناسبه.
2. الفكرة الجديدة: لعبة "صح أم خطأ" (ESJ)
يقترح المؤلفون لعبة جديدة تسمى "الحكم على الجمل العاطفية" (ESJ). بدلاً من أن تطلب من الروبوت تخمين الشعور، تعطيه جملة وتسأله: "هل هذه الجملة صحيحة أم خاطئة؟"
فكر في الأمر كمعلم يقرأ جملة لطالب ويسأله: "هل هذه الجملة منطقية بالنسبة لهذه الصورة؟"
- الجملة (أ): "هذه الصورة تجعل الناس يشعرون بالشجاعة لأن رجل إطفاء ينقذ عائلة." -> صحيحة.
- الجملة (ب): "ه هذه الصورة تجعل رجل إطفاء يبلغ من العمر 35 عاماً يشعر بالخوف فقط، وليس بالاستعجال." -> خاطئة. (ربما يشعر بكليهما، أو ربما يشعر بالواجب).
هذا الأسلوب أفضل لأنه:
- يسمح بوجود الدقة والتباين (الأمر ليس مجرد "حزين" أو "سعيد").
- يتحقق من السياق (ما الذي يحدث في القصة؟).
- يتحقق من الذاتية (كيف سيشعر أشخاص مختلفون؟).
3. المصنع: INSETS (خط تجميع المشاعر)
لجعل هذه اللعبة ممكنة، احتاجوا إلى الملايين من جمل "الصح والخطأ" هذه. وكتابتها يدوياً ستستغرق عمراً كاملاً. لذا، بنوا مصنعاً للروبوتات يسمى INSETS.
- الخطوة 1: خاتم المزاج. عرضوا آلاف الصور على العديد من روبوتات الذكاء الاصطناعي وسألوا: "ما هي الكلمات التي تصف الحالة المزاجية؟" صرخت الروبوتات بآلاف الكلمات (مثل "احتفالي"، "قلق"، "نشوة").
- الخطوة 2: أمين المكتبة. أخذوا كل تلك الكلمات ونظموا في مكتبة ضخمة ومنظمة للمشاعر (بناءً على خريطة مشاعر لعالم نفس شهير).
- الخطوة 3: الحكواتي. قام النظام بعد ذلك بكتابة آلاف الجمل "الصحيحة" و"الخاطئة" تلقائياً بناءً على تلك الكلمات، مغطياً زوايا مختلفة: المزاج، القصة، المكان، وكيف قد يشعر أشخاص مختلفون.
النتيجة هي مكتبة ضخمة تسمى INSETS-462k (462,000 مثال) واختبار نهائي عالي الجودة يسمى MVEI.
4. النتائج: الروبوت ذكي، لكنه ليس بشرياً
أجروا الاختبار على أفضل نماذج الذكاء الاصطناعي في العالم (مثل GPT-4o).
- الأخبار الجيدة: الروبوتات تتحسن كثيراً! فهي بارعة في شرح لماذا تجعلهم الصورة يشعرون بشعور معين (مثلاً: "الغيوم الداكنة تجعل الشعور كئيباً").
- الأخبار السيئة: لا تزال الروبوتات تعاني مع الذاتية.
- التشبيه: إذا عرضت مشهداً من فيلم رعب، فإن الإنسان يعرف أن محب أفلام الرعب قد يشعر بـ "الإثارة"، بينما يشعر الطفل الخائف بـ "الرعب الشديد". الروبوت غالباً ما يخطئ في هذا؛ فهو يميل إلى الاعتقاد بأن الجميع يشعرون بنفس الطريقة تماماً.
- حتى أذكى الروبوتات تتأخر عن البشر بفارق كبير، خاصة عندما يتعلق الأمر بتخمين كيف سيتفاعل أشخاص محددون (مثل رجل إطفاء أو معلم).
5. لماذا هذا مهم؟
هذه الورقة البحثية تشبه بناء اختبار رخصة قيادة أفضل للذكال الاصطناعي.
- في السابق، كان الاختبار مجرد "هل يمكنك توجيه السيارة؟" (التعرف الأساسي على المشاعر).
- الآن، الاختبار هو "هل يمكنك التنقل في حركة المرور، وقراءة لوحات الطريق، وفهم كيف قد يتفاعل السائقون الآخرون؟" (السياق، الدقة، والذاتية).
يأمل المؤلفون أنه من خلال استخدام هذا الاختبار الجديد الأكثر إنصافاً، يمكن للمطورين بناء ذكاء اصطناعي لا "يرى" الصور فحسب، بل يفهم حقاً القصص العاطفية الكامنة وراءها.
باختيرة: لقد توقفنا عن طلب اختيار لون من صندوق صغير، وبدأنا نطلب من الروبوت قراءة جملة وإخبارنا ما إذا كانت منطقية. وقد كشف لنا هذا أن الروبوتات تصبح أكثر ذكاءً، لكن لا يزال أمامها الكثير لتتعلمه عن عالم المشاعر البشرية الفوضوي والشخصي والمعقد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.