Why Do Vision Language Models Struggle To Recognize Human Emotions?
تحدد هذه الورقة أن نماذج الرؤية واللغة تعاني في التعرف على العواطف بسبب تحيزات مجموعات البيانات ذات التوزيع الطويل (long-tailed) التي تفاقم انهيار الفئات الرئيسية، وعدم القدرة على التقاط التعبيرات الدقيقة الحرجة ضمن التسلسلات الزمنية الكثيفة، وتقترح حلولاً تتضمن استراتيجيات أخذ عينات بديلة وطريقة إثراء سياق متعددة المراحل تقوم بتحويل الإطارات المتوسطة إلى ملخصات نصية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً عبقرياً ومتفوقاً يُدعى نموذج الرؤية واللغة (VLM). هذا الطالب قد قرأ كل كتاب تقريباً على الإنترنت، ويمكنه وصف صورة لقطة أو سيارة بدقة مثالية. إنه "الطالب المتفوق" في المهام البصرية.
لكن عندما تعرض عليه مقطع فيديو لوجه شخص تتغير تعبيراته، يتصرف فجأة وكأنه نسي كيف يقرأ المشاعر. قد يرى شخصاً يبتسم ويقول: "هذا يبدو حزيناً"، أو يرى شخصاً غاضباً ويقول: "يبدو محايداً".
هذه الورقة البحثية تسأل: "لماذا يفشل هذا الطالب العبقري في شيء إنساني للغاية؟"
وجد المؤلفون سببين رئيسيين، يمكننا شرحهما باستخدام بعض التشبيهات من الحياة اليومية.
1. مشكلة "الطفل المشهور" (انحياز الذيل الطويل)
التشبيه: تخيل فصلاً دراسياً حيث 90% من الطلاب اسمهم "جون"، وطالب واحد فقط اسمه "زيفير". إذا سأل المعلم: "من في الغرفة؟"، سيخمن الطالب دائماً أنه "جون"، حتى لو كان "زيفير" موجوداً بالفعل. لم يروا "زيفير" بما يكفي للتعرف عليه.
الواقع:
- البيانات: الإنترنت مليء بالأشياء الشائعة. هناك الملايين من الصور لأشخاص يبدون "سعداء" أو "محايدين". لكن هناك صوراً قليلة جداً لأشخاص يبدون "مزدريين" أو "عاجزين".
- الخطأ: لأن نموذج (VLM) قد تم تدريبه على بيانات الإنترنت هذه، فهو يعتقد أن المشاعر "السعيدة" و"المحايدة" هي المشاعر "الحقيقية" الوحيدة. عندما يرى شعوراً نادراً ومعقداً (مثل "الخيبة")، يصاب بالذعر ويخمن ببساطة الشعور الأكثر شيوعاً الذي يعرفه ("الحزن" أو "الحياد").
- الحل: حاول المؤلفون إعادة تدريب النموذج على "نظام غذائي متوازن" حيث تُعطى المشاعر النادرة وزناً مساوياً للمشاعر الشائعة. ساعد هذا النموذج على التوقف عن تجاهل "زيفيرات" عالم المشاعر.
2. مشكلة "اللقطة الضبابية" (العمى الزمني)
التشبيه: تخيل أنك تحاول فهم نكتة من خلال النظر إلى ثلاث لقطات عشوائية ومجمدة لوجه كوميدي: واحدة قبل النكتة، وواحدة في منتواها، وواحدة بعدها. قد تفقد "التوقيت" — مثل رفع الحاجب في جزء من الثانية أو الابتسامة الخفيفة التي تحدث بين اللقطات. إذا نظرت فقط إلى اللقطات، ستفوتك النكتة.
الواقع:
- التعبيرات الدقيقة: غالباً ما تحدث المشاعر البشرية في "تعبيرات دقيقة" — وهي حركات وجه خاطفة وعابرة تستمر لأقل من نصف ثانية.
- عنق الزجاجة: تمتلك نماذج (VLMs) حداً معيناً لكمية المعلومات التي يمكنها الاحتفاظ بها في "ذاكرتها" (تسمى ميزانية الرموز/tokens). لكي تضع مقطع الفيديو في هذه الذاكرة، فإنها عادة ما تأخذ بضع إطارات "متباعدة" (مثل تلك اللقطات).
- الخلل:
- إذا أخذت إطارات قليلة جداً، فقد تفوت التعبير الدقيق تماماً.
- إذا حاولت أخذ إطارات كثيرة جداً للإمساك باللحظة، فسيصبح النموذج مثقلاً. الأمر يشبه محاولة قراءة كتاب حيث كل صفحة ملتصقة بالأخرى؛ التفاصيل المهمة تضيع في الضجيج. يبدأ النموذج في تجاهل ترتيب الإطارات ويتعامل معها مجرد "حقيبة من الصور"، مما يجعله يفقد الإحساس بـ الزمن.
- الدليل: أظهر المؤلفون أنه إذا قمت بخلط إطارات الفيديو (تغيير ترتيبها)، فإن أداء (VLM) لا يتغير تقريباً. وهذا يثبت أن النموذج لا "يشاهد" الفيديو فعلياً؛ بل هو فقط يخمن بناءً على صور ثابتة.
الحل: استراتيجية "المترجم"
بما أن النموذج لا يستطيع التعامل مع الكثير من إطارات الفيديو، فقد ابتكر المؤلفون حلاً ذكياً. فكر في الأمر كأنك توظف مترجماً.
- الخطوة 1: يختار النموذج بعض الإطارات الرئيسية (اللقطات).
- الخطوة 2: بدلاً من محاولة تغذية الإطارات المفقودة (الفجوات بين اللقطات) في النموذج كفيديو إضافي، يقوم النموذج أولاً بوصف ما حدث في تلك الفجوات باستخدام الكلمات.
- مثال: بدلاً من عرض 10 إطارات ضبابية لتكون الابتسامة، يكتب النموذج: "بين الإطار 1 و2، تحركت زوايا الفم للأعلى لجزء من الثانية".
- الخطوة 3: يقرأ النموذج الإطارات الرئيسية بالإضافة إلى هذه الأوصاف النصية.
لماذا ينجح هذا: النموذج بارع في قراءة النصوص. من خلال تحويل "زمن الفيديو المفقود" إلى "قصة"، يمكن للنموذج فهم تدفق الشعور دون أن يثقل كاهله بالكثير من الصور.
الخلاصة الكبرى
الذكاء الاصطناعي الحالي مذهل في تسمية الأشياء (فهو يعرف "الكلب" عندما يراه)، لكنه سيء جداً في فهم قصة الوجه البشري. إنه يشبه سائحاً يمكنه قراءة الخريطة لكنه لا يفهم الثقافة المحلية.
لجعل الذكاء الاصطناعي متعاطفاً حقاً، لا يمكننا فقط تغذيته بمزيد من البيانات. يجب أن نعلمه كيف يحترم توقيت المشاعر ويتوقف عن افتراض أن الأشياء الأكثر شيوعاً هي الأشياء الوحيدة التي تهم. يوضح المؤلفون أنه بلمسة مساعدة (مثل ترجمة فجوات الفيديو إلى نص)، يمكننا جعل هذه النماذج العبقرية "تفهم" أخيراً المشاعر الإنسانية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.