MultivationBench: A Benchmark for Multimodal Sequential Motivation Reasoning
تقدم الورقة البحثية MultivationBench، وهو معيار جديد قائم على أطر نفسية يقيم قدرة النماذج اللغوية الكبيرة متعددة الوسائط على إجراء الاستدلال التسلسلي للدافع في السرديات البصرية القائمة على القصص، كاشفاً أن النماذج الحالية تعاني في الحفاظ على استدلال متسق عبر السياقات الديناميكية رغم قدراتها على الإدراك الثابت.
تخيل أنك تشاهد فيلماً، ولكن بدلاً من مجرد رؤية ما يحدث، أنت تحاول تخمين لماذا يقوم الشخصيات بذلك. هذا هو جوهر "الذكاء الاجتماعي"، وهي قوة خارقة يمتلكها البشر تتيح لهم فهم المشاعر والأهداف الخفية وراء أفعالنا. يطلق العلماء على هذا اسم "الاستدلال بالدوافع". الأمر لا يتعلق فقط برؤية شخص يمسك بهاتف؛ بل يتعلق بمعرفة ما إذا كان يتصل لطلب المساعدة، أو للتحقق من الوقت، أو للنظر إلى صورة لشخص عزيز مفقود. عادةً، لا نخمن هذا من صورة ثابتة واحدة؛ بل نشاهد القصة وهي تتكشف، ونجمع الأدلة بمرور الوقت. إذا بدا الشخص حزيناً في المشهد الأول، ثم رأى صورة في المشهد الثاني، فإن تخميننا لدوافعه يتغير. تغوص هذه الورقة البحثية فيما إذا كانت أدمغة الكمبيوتر فائقة الذكاء والجديدة (التي تسمى نماذج اللغات الكبيرة متعددة الوسائط) يمكنها القيام بهذا النوع من "عمل المحقق في القصص". وبينما تبدع هذه الحواسيب في النظر إلى صورة ووصفها، أو قراءة قصة والإجابة على أسئلة حولها، فإن هذا البحث يطرح سؤالاً أصعب: هل يمكنها تتبع مشاعر الشخصية المتغيرة كقصة كاملة، تماماً كما يفعل الإنسان؟
قرر الباحثون وراء هذه الدراسة، بقيادة فريق من جامعة هونغ كونغ للعلوم والتكنولوجيا وشركة أمازون، بناء اختبار ضخم لمعرفة ذلك. لقد أنشأوا ما يسمى بـ MultivationBench. فكر في الأمر كمكتبة ضخمة تضم 1,000 قصة بصرية قصيرة، مثل مزيج من مقاطع الأف_لام ومنشورات وسائل التواصل الاجتماعي، تحتوي على أكثر من 4,000 لحظة محددة يقوم فيها الشخص بفعل ما. لكن هذا ليس مجرد اختبار لـ "ماذا حدث"؛ بل هو اختبار لـ "لماذا حدث". ولجعل الاختبار عادلاً وعلمياً، استخدم الفريق كتابين للقواعد النفسية الشهيرة: هرم ماسلو للاحتياجات (الذي يصنف الرغبات البشرية من البقاء الأساسي مثل الطعام والأمان إلى الأهداف العليا مثل الحب وتطوير الذات) ورغبات ريس الـ 16 الأساسية (التي تنظر في الدوافع الشخصية المحددة مثل الفضول، أو الشرف، أو العائلة).
طلب الفريق من نماذج الكمبيوتر مشاهدة هذه القصص إطاراً تلو الآخر. وفي كل خطوة، كان على النماذج تخمين دافع الشخص بناءً فقط على ما شاهدته حتى الآن. والجزء الصعب؟ مع استمرار القصة، تظهر معلومات جديدة من شأنها أن تغير السبب تماماً لفعل سابق. على سبيل المثال، قد يمد شخص يده نحو الهاتف، وفي البداية، يبدو وكأنه يتحقق من رسالة (حاجة "معرفية"). ولكن لاحقاً، تكشف القصة أنه ينظر إلى صورة لعائلته بينما يشعر بالوحدة في حفلة، مما يعني أن السبب الحقيقي كان في الواقع يتعلق بـ "الحب والانتماء". كان على الكمبيوتر أن يكون ذكياً بما يكفي ليقول: "مهلاً، لقد كنت مخطئاً من قبل؛ الآن أعرف السبب الحقيقي".
كانت النتائج بمثابة جرس إنذار لعالم التكنولوجيا. وجدت الورقة البحثية أنه بينما تجيد نماذج الذكاء الاصطناعي المتقدمة تخمين الدوافع في القصص القصيرة والبسيطة، إلا أنها تعاني حقاً عندما تصبح القصة أطول. ومن بين الـ 1,000 قصة التي تم اختبارها، نادراً ما استطاعت النماذج الحفاظ على اتساق استدلالها من البداية إلى النهاية. في الواقع، عندما طُلب منها الحصول على كل دافع بشكل صحيح في قصة كاملة، نجحت أفضل النماذج بنسبة تقل عن 1% فقط. تشير الدراسة إلى أن أدمغة الذكاء الاصطناعي هذه تشبه الطلاب الذين يجيدون حفظ الحقائق ولكنهم سيئون جداً في فهم تدفق الحبكة. فهي تميل إلى التوقف عند أول شيء تراه وتفشل في تحديث تفكيرها عند وصول أدلة جديدة. كما أنها غالباً ما "تهلوس" بأسباب تبدو منطقية ولكنها غير مدعومة بالقصة، أو تفشل في إدراك الأسباب العاطفية الأعمق والأكثر تعقيداً التي تتطلب ربط النقاط عبر السرد بأكمله.
كما قارن الباحثون الذكاء الاصطناعي بالبشر الحقيقيين. وكان البشر، وهم طلاب دراسات عليا، أفضل بكثير في هذه المهمة، خاصة عندما تكون القصص طويلة ومعقدة. وتظهر هذه الفجوة أن الذكاء الاصطناعي، رغم تحسنه في الرؤية والقراءة، لا يزال يفتقر إلى "الدماغ الاجتماعي" اللازم لفهم كيف تتغير دوافعنا وتتطور بمرور الوقت. وتخلص الورقة إلى أننا لا نزال بعيدين عن امتلاك حواسيب يمكنها حقاً فهم الأسباب المتغيرة والمعقدة وراء السلوك البشري في قصة ما. إنه تذكير بأن فهم لماذا يفعل الناس ما يفعلونه أصعب بكثير من مجرد معرفة ماذا فعلوا.
ملخص تقني: MultivationBench
بيان المشكلة
أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إمكانات كبيرة في الذكاء الاجتماعي، ومع ذلك، لا يزال قدرتها على الاستدلال التسلسلي للدوافع غير مستكشفة بشكل كافٍ. تعتمد المعايير المرجعية الحالية بشكل أساسي على نصوص ثابتة أو لقطات بصرية معزولة. تفشل هذه الأوضاع الثابتة في التقاط الطبيعة التراكمية للمحركات السلوكية في العالم الحقيقي، حيث يُعد الدافع بنية كامنة يتم استنتاجها من السلوك المتطور والسياق بمرور الوقت. غالبًا ما تكافئ المعايير الحالية التخمينات المنطقية محليًا، لكنها لا تقيم ما إذا كان بإمكان النموذج تحديث تفسيره لدوافع الشخصية مع تطور السرد وتراكم أدلة جديدة. وبناءً على ذلك، هناك نقص في أدوات التقييم الصارمة لتحديد ما إذا كانت النماذج اللغوية الكبيرة متعددة الوسائط قادرة على إجراء استدلال تسلسلي للدوافع بناءً على السياق متعدد الوسائط المتراكم.
المنهجية
بناء المعيار المرجعي: MultivationBench
لمعالجة هذه الفجوة، قدم المؤلفون MultivationBench، وهو معيار مرجعي واسع النطاق مصمم لاختبار الاستدلال التسلسلي للدوافع متعدد الوسائط ضمن السردات البصرية القائمة على القصص. يتبع البناء أربعة مبادئ أساسية: التجذر النفسي، الديناميكيات البشرية المتسلسلة المتمحورة حول الإنسان، تقييم الاتساق طويل الأمد، وسلامة البيانات.
مصادر البيانات: تجمع مجموعة البيانات 1,000 سرد بصري فريد من ثلاثة مصادر: SSID (بأسلوب وسائل التواصل الاجتماعي)، وStoryReasoning، وMovieBench (السردات السينمائية)، لتغطية أنماط سردية متنوعة وتعقيدات زمنية مختلفة.
الأطر النفسية: يرتكز المعيار في تسميات الدوافع على إطارين متكاملين:
هرم ماسلو الموسع للاحتياجات (8 مستويات): يلتقط فئات عالمية واسعة من الاحتياجات البشرية (مثل: الفسيولوجية، السلامة، الحب والانتماء، تحقيق الذات).
رغبات ريس الـ 16 الأساسية: يلتقط الاختلافات الفردية الأكثر دقة في المحتوى التحفيزي (مثل: العائلة، الفضول، القوة، المكانة).
صياغة المهام: لكل سلوك شخصية قائم على أساس بصري داخل قصة، يصيغ المعيار أربع مهام:
تعريف ماسلو: تصنيف الدافع بناءً على تسميات النظرية القياسية.
دافع ماسلو العملي: اختيار خيارات محددة سياقيًا مشتقة من نظرية ماسلو.
تعريف ريس: تصنيف الدافع بناءً على رغبات ريس الـ 16.
دافع ريس العملي: اختيار خيارات محددة سياقيًا مشتقة من نظرية ريس.
تُعامل جميع المهام كمسائل تنبؤ متعدد الملصقات (multi-label prediction)، حيث قد يكون السلوك الواحد مدعومًا بدوافع متعددة صالحة.
خط الإنتاج (Pipeline): تم استخدام خط إنتاج يعتمد على الذكاء الاصطناعي والبشر. تقوم النماذج اللغوية الكبيرة عالية الأداء باستخراج سلاسل السلوك وتوليد دوافع مرشحة، والتي يتم تنقيحها بعد ذلك من خلال مراجة آلية وتقييم ذاتي. أخيرًا، يقوم مقيمون بشريون (طلاب دراسات عليا) بالتحقق من الاستناد البصري، والبروز النفسي، والاتساق المنطقي، محققين اتفاقًا عاليًا بين المقيمين (تراوح معامل Fleiss's κ بين 74.87% و80.99%).
الإعداد التجريبي
قيم المؤلفون ثمانية من النماذج اللغوية الكبيرة متعددة الوسائط المتطورة (بما في ذلك نماذج مغلقة المصدر مثل Grok-4.1 وGemini-3 وo4-mini، ونماذج مفتوحة المصدر مثل عائلات Llama-4 وPhi) في إعداد "الصفر محاولة" (zero-shot).
الإعدادات: أجريت التقييمات تحت ثلاث وسائط: متعدد الوسائط الكامل، النص فقط، والصورة فقط.
المقاييس:
المطابقة التامة (Exact Match - EM): دقة صارمة على مستوى المجموعة تتطلب أن تطابق مجموعة الخيارات المتوقعة الحقيقة الأرضية تمامًا.
F1 القائم على المثال: يقيس الاتفاق الجزئي على مستوى الحالة، ويكافئ التداخل مع معاقبة الإيجابيات الكاذبة والسلبيات الكاذبة.
الاتساق: تم تقديم مقياس اتساق على مستوى القصة لقياس النسبة المئوية للقصص التي يجيب فيها النموذج على كل سؤال بشكل صحيح، مما يختبر الاستمرارية النفسية عبر السرد بأكامله.
النتائج الرئيسية
الأداء العام
يمثل MultivationBench تحديًا كبيرًا لجميع النماذج التي تم تقييمها. وبينما تظهر النماذج نقاط قوة متفاوتة (على سبيل المثال، حقق Grok-4.1-Fast أعلى F1 بنسبة 55.0%، بينما حقق Phi-4-multimodal-instruct أعلى EM بنسبة 39.2%)، لا يقترب أي نموذج من الأداء البشري. حقق المقيمون البشريون EM بنسبة 78.6% وF1 بنسبة 87.6% في مهام دافع ماسلو العملي، مقارنة بأفضل نموذج حقق 30.7% EM و46.0% F1 في مهام ريس.
تحليل الوسائط
النص مقابل تعدد الوسائط: حافظت المدخلات النصية فقط على جزء كبير نسبيًا من درجة F1 ولكنها تسببت في انخفاض حاد في دقة EM. يشير هذا إلى أنه بينما توفر السردات النصية معلومات كافية للاسترداد الجزئي للدوافع، فإن الإشارات البصرية حاسمة لتنقيح وتعديل الاستنتاجات لتحديد مجموعة الحقيقة الأرضية بدقة.
الصورة فقط: كان الأداء أقل باستمرار من إعدادات تعدد الوسائط، مما يسلط الضوء على ضرية الجمع بين السياق البصري والنصي.
طول السرد والاتساق
تأثير الطول: تحسنت النماذج عمومًا من السردات القصيرة (2-5 صور) إلى المتوسطة (6-9 صور)، لكن الأداء انخفض في السردات الطويلة (10+ صور). يشير هذا إلى أن النماذج الحالية تواجه صعوبة في الحفاظ على استدلال الدوافع الصحيح مع تراكم السياق بما يتجاوز أفق متوسط.
الاتساق على مستوى القصة: تكشف النتائج عن انفصال حرج: حتى أفضل النماذج أداءً حققت درجة اتساق على مستوى القصة بلغت 0.80% فقط. يشير هذا إلى أن النماذج نادرًا ما تتبع دوافع الشخصية بشكل صحيح طوال القصة، وغالبًا ما تفشل في مراجعة التفسيرات السابقة عند ظهور أدلة جديدة.
تحليل الخطأ
الإفراط في التفسير: تظهر النماذج انحيازًا قويًا نحو الإفراط في التفسير (الإيجابيات الكاذبة)، حيث تهلوس بدوافع غير مدعومة بالحقيقة الأرضية. على سبيل المثال، ارتكب Nemotron-Nano-12B-v2-vl أكثر من 31,000 إيجابية كاذبة مقارنة بنحو 7,000 سلبية كاذبة. يشير هذا إلى أن النماذج تجد صعوبة في التخلي عن الإشارات السابقة الأقل صلة مع ظهور أدلة جديدة.
الدرجة (Granularity): ينخفض الأداء بشكل كبير عند الانتقال من تصنيف ماسلو العام إلى تصنيف ريس الأكثر دقة. تؤدي النماذج أداءً أفضل في الملصقات التي يمكن استنتاجها من إشارات بارزة واحدة (مثل الأكل، السلامة) لكنها تعاني مع الدوافع المجردة التي تتطلب سياقًا متراكمًا (مثل تحقيق الذات، الاستقلال).
الأهمية والادعاءات
يزعم البحث أن MultivationBench هو أول معيار مرجعي تم تعليمه بشريًا ومصمم خصيصًا لتقييم الاستدلال التسلسلي متعدد الوسائط للدوافع ضمن السردات البصرية القائمة على القصص. تكمن أهميته في:
كشف فجوة حرجة: يكشف أن النماذج اللغوية الكبيرة متعددة الوسائط الحالية تمتلك قدرات إدراك ثابتة قوية ولكنها تفتقر إلى الاستدلال الديناميكي المطلوب للفهم الاجتماعي الشبيه بالبشر، وتحديدًا القدرة على تحديث استنتاجات الدوافع بمرور الوقت.
التجذر النفسي: من خلال استخدام أطر ماسلو وريس، فإنه يسميد التقييم عند كل من المستويات العالمية (العامة) والفردية (الدقيقة)، متجاوزًا مجرد اكتشاف النوايا السطحية.
معايرة الاتساق: يسلط الض الضوء على أن الحفاظ على الاستمرارية النفسية عبر سرد كامل يمثل تحديًا كبيرًا لم يحل بعد، حيث تفشل النماذج في تتبع الدوافع باستمرار حتى في القصص القصيرة.
يخلص المؤلفون إلى أنه بينما يمكن للنماذج اللغوية الكبيرة متعددة الوسائط تحديد الدوافع المعقولة محليًا، فإنها تعاني مع الاستدلال التسلسلي والتراكمي الضروري للذكاء الاجتماعي العميق. يعمل المعيار كاختبار جهد لهذه القدرات، مما يشير إلى أن التقدم المستقبلي يتطلب نماذج يمكنها دمج وتعديل التفسيرات بفعالية عبر سياقات متعددة الوسائط طويلة.