🤖 AI

Social Norm Reasoning in Multimodal Language Models: An Evaluation

تقيم هذه الورقة قدرات الاستدلال المعياري لخمسة نماذج لغوية كبيرة متعددة الوسائط (MLLMs) عبر سيناريوهات تعتمد على النصوص والصور، كاشفةً أنه في حين يتفوق كل من GPT-4o وQwen-2.5VL على غيرهما ويظهران إمكانات واعدة للأنظمة متعددة الوكلاء، فإن جميع النماذج تعاني مع المعايير المعقدة وتؤدي بشكل أفضل في النصوص مقارنة بالصور.

المؤلفون الأصليون: Oishik Chowdhury, Anushka Debnath, Bastin Tony Roy Savarimuthu

نُشر 2026-03-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Oishik Chowdhury, Anushka Debnath, Bastin Tony Roy Savarimuthu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يكون جارًا جيدًا. أنت لا تريد فقط أن يعرف كيف يمشي أو يتحدث؛ بل تريده أن يعرف متى يطرق الباب، ومتى يلتقط القمامة، ومتى يعرض مقعده على شخص مسن. هذه القواعد غير المكتوبة في المجتمع تسمى الأعراف الاجتماعية.

هذه الورقة البحثية تشبه "شهادة درجات" لخمسة "أدمغة خارقة" مختلفة (نماذج ذكاء اصطناعي) لمعرفة مدى براعتها في تعلم هذه القواعد، سواء من خلال قراءة القصص عنها أو من خلال النظر إلى الصور التي تمثلها.

إليك تفاصيل "يومهم الدراسي":

١. الاختبار: القراءة مقابل المشاهدة

أعطى الباحثون هذه الأدمغة الاصطناعية نوعين من الواجبات المنزلية:

اختبار القراءة: أعطوا نماذج الذكاء الاصطناعي قصصًا قصيرة (مثل سيناريوهات قصص مصورة) تصف مواقف اجتماعية.
الاختبار البصري: حولوا تلك القصص نفسها إلى قصص مصورة مكونة من أربعة إطارات، وطلبوا من نماذج الذكاء الاصطناعي النظر إلى الصور وشرح ما يحدث.

كانت الأسئلة مخادعة. لم يكتفوا بسؤال: "هل كسر شخص ما قاعدة ما؟" بل طرحوا أسئلة أكثر عمقًا مثل:

"هل تلقى الشخص ثناءً لفعله الشيء الصحيح؟"
"هل تعرض للتوبيخ لفعله الشيء الخطأ؟"
"هل تعرض شخص ما للمساءلة لأنه لم يوبخ مخالِف القاعدة؟" (هذه قاعدة معقدة جدًا تسمى القاعدة الفوقية - أو "الميتا-نورم" — وهي ببساية قاعدة حول إنفاذ القواعد).

٢. الطلاب (نماذج الذكاء الاصطناعي)

خمسة طلاب مختلفين من الذكاء الاصطناعي خاضوا الاختبار:
١. GPT-4o: الطالب المتفوق، المعروف بذكائه الشديد وتعدد قدراته.
٢. Qwen-2.5VL: نموذج مجاني الاستخدام تبين أنه وصيف قوي جدًا.
٣. Gemini 2.0 Flash: نموذج سريع، لكنه متذبذب بعض الشيء.
٤. Intern-VL3: مؤدٍ جيد، لكنه ليس الأفضل.
٥. Meta LLaMA-4 Maverick: الطالب الذي عانى أكثر من غيره، خاصة مع الصور.

٣. النتائج: فجوة "النص مقابل الصورة"

إليك المفاجأة الكبرى، مثل اكتشاف أن طالبًا عبقريًا في الرياضيات ولكنه سيء جدًا في حصة الفنون:

القراءة كانت سهلة: عندما كان على نماذج الذكاء الاصطناعي قراءة القصص، كانت نتائجهم شبه مثالية. حصل GPT-4o على درجة ٩٨.٧٥٪! كان الأمر وكأنهم يقرؤون رواية ويفهمون كل تفاصيل السلوك البشري.
الصور كانت أصعب: عندما نظروا إلى القصص المصورة، انخفضت درجاتهم. لا يزال GPT-4o يؤدي بشكل جيد (٩٢.٥٪)، لكن الآخرين عانوا أكثر. يبدو أن نماذج الذكاء الاصطناعي بارعة في فهم الكلمات، لكنها ترتبك أحيانًا فيما يتعلق بما يحدث في الرسمة. قد يغفلون عن تعبير وجه دقيق أو إيماءة تغير معنى المشهد.

٤. الأسئلة المخادعة

وجدت نماذج الذكاء الاصطناعي قواعد معينة يصعب استيعابها:

فخ "القاعدة الفوقية": كان السؤال الأصعب هو حول "معاقبة الأشخاص الذين لم يعاقبوا مخالِف القاعدة". تخيل معلمًا يوبخ طالبًا لأنه لم يبلغ عن متنمر. أصيبت نماذج الذكاء الاصطناعي بالارتباك الشديد هنا. الأمر يشبه محاولة شرح لعبة "تحدي المواجهة" لشخص لم يرَ سيارة قط؛ كانت طبقات المنطق عميقة جدًا.
مشكلة "الثناء": في القصص المصورة، كان من الصعب على نماذج الذكاء الاصطناعي معرفة ما إذا كان شخص ما يتلقى "ثناءً" بمجرد النظر إلى الصورة. كان بإمكانهم بسهما رصد التوبيخ (شخص يبدو غاضبًا)، لكنهم غالبًا ما أغفلوا علامات مثل "الإبهام للأعلى" أو الابتسامة.

٥. الخلاصة

ماذا يعني هذا للمستقبل؟

إذا أردنا بناء روبوتات يمكنها دخول غرفة ومعرفة كيفية التصرف بدقة دون الحاجة لبرمجتها بملايين القواعد المحددة، فنحن بحاجة لاستخدام هذه الأدمغة الاصطناعية.

الأخبار الجيدة: هذه النماذج بارعة بالفعل في فهم القواعد الاجتماعية عندما تقرأ عنها. GPT-4o هو البطل الحالي، ولكن Qwen-2.5VL هو بديل رائع ومجاني يمكن للباحثين استخدامه الآن.
الأخبار السيئة: لا تزال هذه النماذج ترتبك عندما تنظر إلى صور معقدة، خاصة عندما تصبح القواعد متعددة الطبقات ومعقدة.

باختختصار: نماذج الذكاء الاصطنا هذه تشبه الطلاب العباقرة الذين يمكنهم قراءة كتاب مدرسي عن الإتيكيت ببراعة، لكنهم قد يتعثرون أحيانًا في "الرقصة الاجتماعية" الفعلية عندما يشاهدونها في الحياة الواقعية. يعمل الباحثون الآن على مساعدتهم ليصبحوا أفضل في "رؤية" القواعد، وليس فقط قراءتها، حتى تصبح روبوتات المستقبل جيرانًا مهذبين وآمنين ومدركين اجتماعيًا حقًا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستدلال في الأعراف الاجتماعية في النماذج اللغوية متعددة الوسائط: تقييم".

1. بيان المشكلة

في الأنظمة متعددة الوكلاء المعيارية (NorMAS)، يجب على الوكلاء فهم واستدلال والالتزام بالأعراف الاجتماعية للحفاظ على النظام والتعاون. تعتمد النهج التقليدية على الاستدلال الرمزي (مثل المنطق الوجوبي)، والذي يتطلب ترميزاً يدوياً للأعراف ويعاني من صعوبة في التوسع والتكيف في البيئات الديناميكية الواقعية.

بينما تقدم النماذج اللغوية الكبيرة (LLMs) بديلاً واعداً للاستدلال الحساس للسياق، اقتصرت الأبحاث السابقة على السيناريوهات القائمة على النصوص. وهناك فجوة كبيرة في فهم كيفية أداء النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) — التي تدمج النصوص والرؤية — في الاستدلال حول الأعراف الاجتماعية عند تقديم مدخلات بصرية (صور)، وهي أمور بالغة الأهمية للوكلاء المجسدين مثل الروبوتات الاجتماعية.

2. المنهجية

قام المؤلفون بتطوير إطار تقييم شامل لتقييم قدرات الاستدلال في الأعراف لخمسة من أحدث النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs).

النماذج التي تم تقييمها

GPT-4o (OpenAI)
Gemini 2.0 Flash (Google)
Qwen-2.5VL (72B) (Alibaba)
Intern-VL3 (14B)
Meta LLaMa-4 Maverick

بناء مجموعة البيانات

الأعراف: تم اختيار خمسة أعراف اجتماعية متميزة:
1. طرق الباب قبل دخول الغرفة.
2. عدم إلقاء القمامة في المتنزه.

الحفاظ على النظام في الطابور.
1. الالتزام بالمواعيد.
2. تقديم المقعد لكبار السن.

المتغيرات: تم اختبار كل عرف عبر ستة متغيرات تمثل حالات معيارية وعواقب مختلفة:
- V1/V2: الالتزام (بدون ثناء/مع ثناء).
- V3/V4a/V4b: المخالفة (بدون عقوبة، نصيحة لطيفة، أو توبيخ).
- V5: المعيار الفوقي (Metanorm) (معاقبة أولئك الذين يفشلون في معاقبة المخالف).
إجمالي القصص: 30 قصة قائمة على النص و30 قصة مقابلة قائمة على الصور (تم إنتاجها كقصص مصورة من 4 لوحات).
أسئلة التقييم: لكل قصة، أجابت النماذج على 8 أسئلة تغطي:
- تحديد العرف والفاعل.
- اكتشاف الالتزام مقابل المخالفة.
- التعرف على العواقب (الثناء، العقوبات، العقوبة الفوقية).

عملية التقييم

الحقيقة الأرضية (Ground Truth): تم وضعها بواسطة مؤلفين بشريين وتم التحقق منها من قبل مقيمين خارجيين اثنين (حققوا اتفاقاً بنسبة >95% ومعامل كوهين كابا >0.90).
وسائط المدخلات:
- النص: أجابت النماذج على الأسئلة بناءً على نص القصة.
- الصورة: قامت النماذج أولاً بتوليد وصف للقصة من صورة القصة المصورة، ثم أجابت على الأسئلة بناءً على ذلك الوصف.
المقاييس: تم حساب درجات الدقة كـ (التنبؤات الصحيحة / إجمالي التنبؤات). تم اختبار الأهمية الإحصائية باستخدام اختبارات t المقترنة، واختبارات فريدمان، واختبارات نيميني/ويلكوكسون البعدية.

3. المساهمات الرئيسية

أول تقييم متعدد الوسائط للأعراف: هذه هي الدراسة الأولى التي تقيم بشكل منهجي النماذج اللغوية الكبيرة متعددة الوسائط في الاستدلال في الأعراف الاجتماعية باستخدام مدخلات نصية وبصرية، مما يسد الفجوة بين نظرية NorMAS وقدرات الذكاء الاصطناعي الحديثة.
تحليل المتغيرات الدقيق: على عكس الأعمال السابقة التي ركزت على الامتثال الثنائي، تقدم هذه الدراسة متغيرات معقدة تشمل الثناء، العقوبات، والأعراف الفوقية (معاقبة غير المنفذين).
التقييم الشامل: توفر مقارنة صارمة لخمسة من نماذج MLLM الرائدة مقابل الحقيقة الأرضية البشرية عبر 60 سيناريو مختلفاً.
تخفيف التحيز: أجرى الباحثون تجربة ثانوية باستخدام مولد صور مختلف (Seedream 4.0) لاستبعاد التحيز الناتج عن قيام GPT-4o بتوليد صور الاختبار الخاصة به.

4. النتائج الرئيسية

الأداء حسب الوسيط

النص مقابل الصورة: أدت النماذج اللغوية الكبيرة متعددة الوسائط بشكل أفضل بكثير في الاستدلال القائم على النص (متوسط الدقة = 95.33%) مقارنة بالاستدلال القائم على الصور (متوسط الدقة = 83.58%).
- الأهمية الإحصائية: $t(149) = 8.91, p < 0.001$ ، مع حجم تأثير كبير ( $d_z = 0.82$ ).
- يشير هذا إلى أن النماذج الحالية تمتلك قدرات استنتاج نصية أقوى من فهم السياق الاجتماعي البصري.

ترتيب النماذج

GPT-4o: أفضل أداء إجمالي.
- النص: 98.75%
- الصورة: 92.5%
- تفوق بشكل ملحوظ على LLaMA-4 و Intern-VL و Gemini 2.0 Flash.
Qwen-2.5VL: ثاني أفضل نموذج وأفضل نموذج مجاني الاستخدام.
- النص: 97.5%
- الصورة: 85.41%
Meta LLaMa-4 Maverick: الأقل أداءً، وخاصة في التعامل مع الصور (دقة 76.66%).

تعقيد الأعراف

البسيط مقابل المعقد: برعت النماذج في اكتشاف مخالفات الأعراف البسيطة (الفئة 2) والالتزام (الفئة 1).
الأعراف الفوقية (الفئة 3): كان الاستدلال حول الأعراف الفوقية (V5) هو الأكثر تحدياً، بمتوسط دقة بلغ 75% فقط.
- واجهت النماذج صعوبة في إجراء الاستدلال متعدد المستويات المطلوب: (1) تحديد المخالفة $\leftarrow$ (2) تحديد العقوبة $\leftarrow$ (3) تحديد الفشل في فرض العقوبة.
خصوصيات السيناريوهات: كانت أعراف "إلقاء القمامة" و"طرق الباب" هي الأسهل؛ بينما كانت أعراف "تقديم المقعد" و"الحفاظ على الطابور" أصعب، ويرجع ذلك على الأرجح إلى الغموض البصري في القصص المصورة.

5. الأهمية والتوجهات المستقبلية

الآثار المترتبة على الروبوتات: تشير النتائج إلى أنه بينما تعد نماذج MLLM (خاصة GPT-4o و Qwen-2.5VL) محركات قابلة للتطبيق للروبوتات الاجتماعية لتفسير الأعراف، فإن استدلالها البصري يحتاج إلى تحسين. الاعتماد فقط على الأوصاف النصية للمشاهد البصرية قد يمثل عائقاً.
تحدي الأعراف الفوقية: يسلط الصعوبة في الاستدلال حول الأعراف الفوقية الضوء على قصور حالي في قدرة الذكاء الاصطناعي على التعامل مع القواعد الاجتماعية الهرمية والإنفاذ من الدرجة الثانية، وهو أمر حيوي للمجتمعات المعقدة متعددة الوكلاء.
العمل المستقبلي:
- توسيع التقييم ليشمل مدخلات الفيديو والصوت.
- استكشاف الضبط الدقيق (Fine-tuning) والتوليد المعزز بالاسترجاع (RAG) لتحسين التخصص في المجال.
- تنفيذ منهجية "شجرة الأفكار" (Tree-of-Thought) للتعامل مع المعضلات الأخلاقية المعقدة.
- النشر في العالم الحقيقي في الوكلاء المجسدين لاختبار تعلم الأعراف الديناميكي.

الخلاصة: تثبت الورقة أن نماذج MLLM هي أساس واعد للوكلاء الأذكياء اجتماعياً، حيث يتصدر GPT-4o هذا المجال. ومع ذلك، لا تزال هناك فجوة كبيرة في الأداء بين الاستدلال النصي والبصري، كما تظل الأعراف الفوقية المعقدة حدوداً صعبة أمام بنيات الذكاء الاصطناعي الحالية.