SIV-Bench: A Video Benchmark for Social Interaction Understanding and Reasoning
تقدم هذه الورقة البحثية SIV-Bench، وهو معيار مرجعي شامل للفيديو يتكون من 2,792 مقطعاً و5,455 زوجاً من الأسئلة والأجوبة المصممة لتقييم النماذج اللغوية الكبيرة متعددة الوسائط في مهام التفاعل الاجتماعي، كاشفةً أنه بينما تتفوق النماذج الحالية في فهم المشاهد، فإنها تعاني في الاستدلال على الحالة الاجتماعية والتنبؤ بالديناميكيات بسبب عدم التوافق مع العمليات الفكرية البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يكون صديقاً جيداً. يمكنك أن تريه صورة لكلب، فيقول لك "هذا كلب". ويمكنك أن تريه فيديو لحادث سيارة، فيقول لك "السيارة اصطدمت بالشجرة". ولكن ماذا يحدث عندما تريه فيديو لشخصين يتجادلان، أو مجموعة من الأصدقاء يضحكون على نكتة؟ هل يمكن للروبوت أن يفهم لماذا يتجادلان، أو بماذا يشعرون، أو يتوقع ما سيفعلونه بعد ذلك؟
هذه هي المشكلة التي تحاول ورقة بحثية بعنوان SIV-Bench حلها.
المشكلة: الروبوتات "جاهلة اجتماعياً"
يجادل المؤلفون بأنه بينما أصبحت نماذج الذكاء الاصطناعي (العقول الكامنة وراء الروبوتات وروبوتات الدردشة) بارعة جداً في رؤية ووصف العالم، إلا أنها سيئة للغاية في فهم التفاعلات الاجتماعية البشرية.
فكر في الأمر على هذا النحو: قد يتمكن الذكاء الاصطناعي من وصف فيديو لحفلة عيد ميلاد بشكل مثالي ("هناك كعكة، وطفل ينفخ الشموع، وأشخاص يرتدون قبعات"). ولكن إذا سألته: "هل الطفل سعيد أم يشعر بالإحراج؟" أو "لماذا ينظر العم إلى الطفل وهو عابس؟"، فإن الذكاء الاصطناعي غالباً ما يخطئ. إنه يرى الأفعال، لكنه يفتقد إلى القصة الكامنة وراءها.
الحل: "رخصة قيادة" للذكاء الاصطناعي الاجتماعي
لإصلاح ذلك، صمم الباحثون اختباراً جديداً يسمى SIV-Bench. فكر في هذا الاختبار كأنه امتحان "رخصة قيادة" صارم، ولكن بدلاً من اختبار قدرة السيارة على القيادة في الشارع، فإنه يختبر ما إذا كان بإمكان الذكاء الاصطناعي "القيادة" عبر موقف اجتماعي معقد.
بُني الاختبار على فكرة بسيطة: العلاقات الاجتماعية تشبه أنواعاً مختلفة من الألعاب.
- العائلة/الأصدقاء: يتشاركون الأشياء بحرية (مثل مشاركة البيتزا).
- المدير/الموظف: شخص يعطي الأوامر والآخر يتبع (مثل المدرب واللاعب).
- الغرباء/الأعمال: يتبادلون الأشياء بناءً على القيمة (مثل شراء قهوة).
يستخدم الاختبار 2,792 مقطع فيديو حقيقي من الإنترنت (مثل تيك توك ويوتيوب) تضم 14 نوعاً مختلفاً من العلاقات (آباء، أزواج، زملاء، إل تعالى). ولكل فيديو، أنشأوا 5,455 سؤالاً لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي اجتياز الاختبار.
المستويات الثلاثة للامتحان
ينقسم الاختبار إلى ثلاثة مستويات، تزداد صعوبة كلما ارتفعت للأعلى:
المستوى الأول: اختبار "ماذا ترى؟" (فهم المشهد الاجتماعي)
- المهمة: "ماذا يرتدي الرجل؟" أو "ماذا تفعل المرأة بيدها؟"
- النتيجة: الذكاء الاصطناعي جيد جداً في هذا. إنه مثل روبوت يستطيع قراءة قائمة الطعام؛ فهو يرى الكلمات والأشياء بوضوح.
المستوى الثاني: اختبار "بماذا يفكرون؟" (الاستنتاج للحالة الاجتماعية)
- المهمة: "لماذا يبتسم المعلم للطالب؟" أو "هل هذان الشخصان صديقان أم عدوان؟"
- النتيجة: هنا يتعثر الذكاء الاصطناعي. غالباً ما يصاب بالارتباك. على سبيل المثال، قد يرى مديراً يصرخ في وجه موظف ويعتقد أنهما مجرد "زملاء" يجرون محادثة صاخبة، متجاهلاً ميزان القوى. إنه مثل روبوت يرى عاصفة لكنه لا يفهم أن الناس خائفون.
المستوى الثالث: اختبار "ماذا سيحدث بعد ذلك؟" (توقع الديناميكيات الاجتماعية)
- المهمة: "لو لم يصرخ المدير، ماذا كان الموظف سيفعل؟" أو "ماذا سيحدث بعد ذلك؟"
- النتيجة: هذا هو الجزء الأصعب. يجب على الذكاء الاصطناعي تخيل واقع مختلف أو توقع المستقبل بناءً على القواعد الاجتماعية. وغالباً ما يفشل هنا لأنه لا "يفهم" حقاً القواعد البشرية.
النتائج: ما الذي كشفه الاختبار؟
عندما أجرى الباحثون الاختبار على أذكى نماذج الذكاء الاصطناعي المتاحة اليوم، وجدوا بعض الأشياء المفاجئة:
- العقول الكبيرة تساعد، لكنها لا تحل كل شيء: النماذج الأكبر والأكثر قوة أدت بشكل أفضل من النماذج الأصغر، لكن حتى "الأذكى" منها لا يزال يفشل كثيراً في الأسئلة الاجتماعية. إنهم مثل طالب حفظ الكتاب المدرسي لكنه لم يعش في العالم الحقيقي.
- ارتباك "العلاقات": كان أكبر خطأ ارتكبه الذكاء الاصطناعي هو الخلط بين العلاقات. فقد خلط غالباً بين "المدير والموظف" وبين "الزملاء"، وبين "الأب والابن" وبين "الأصدقاء". لم يستطع التمييز بين معلم صارم وأب صارم.
- الكلمات مهمة: وجد الباحثون أنه إذا أعطوا الذكاء الاصطناعي الصوت (ما يقوله الناس) أو الترجمة النصية، فإنه يصبح أفضل بكثير في الإجابة على الأسئلة الصعبة. هذا يشبه إعطاء طالب ورقة ملاحظات مساعدة؛ فبدون الكلمات، يكون الذكاء الاصطناعي تائهاً وسط الضجيج البصري.
- "الفجوة البشرية": حتى أفضل نماذج الذكاء الاصطناعي كانت بعيدة جداً عن البشر الحقيقيين. فعندما خضع البشر للاختبار، أجابوا بشكل صحيح بنسبة 74% تقريباً، بينما حصل أفضل ذكاء اصطناعي على حوالي 62%. وتظهر هذه الفجوة أن الذكاء الاصطناعي لا يزال يفتقر إلى قطعة حاسمة من "الحدس الاجتماعي" الذي يمتلكه البشر بشكل طبيعي.
الخلاصة
تخلص الورقة البحثية إلى أنه بينما يتحسن الذكاء الاصطناعي في رؤية العالم، فإنه لا يزال يتعلم كيفية فهم الناس. يمكنه وصف المشهد، لكنه غالباً ما يفتقد إلى القصة العاطفية والاجتماعية.
يأمل المؤلفون من خلال نشر هذا الاختبار (SIV-Bench) أن يستخدمه علماء آخرون لبناء ذكاء اصطناعي ليس ذكياً فحسب، بل ذكياً اجتماعياً أيضاً—ذكاء اصطناعي يمكنه حقاً فهم المشاعر والعلاقات والسلوكيات البشرية، بدلاً من مجرد التخمين بناءً على ما يراه على السطح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.