MINERVA-Cultural: A Benchmark for Cultural and Multilingual Long Video Reasoning
تقدم هذه الورقة البحثية MINERVA-Cultural، وهو معيار متعدد اللغات يتسم بالتحدي ويتميز بتعليقات توضيحية من صنع البشر عبر 18 موقعاً محلياً عالمياً لتقييم وكشف القيود الكبيرة في الاستدلال الثقافي والبصري لنماذج اللغة والفيديو الحالية ذات الحالة الراهنة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يفهم العالم من خلال الفيديو. حتى الآن، عرضت عليه في الغالب أفلاماً من هوليوود، وأخباراً من لندن، ورياضات من نيويورك. لقد أصبح الروبوت بارعاً جداً في هذه الأمور، ولكن إذا عرضت عليه فجأة حفل زفاف هندي تقليدي، أو مهرجان "يوم الموتى" المكسيكي، أو سوق طعام شعبي في مصر، فسيصاب بالارتباك التام. قد يعتقد أن حركة رقص معينة هي خطأ، أو قد لا يفهم سبب بكاء الناس في احتفال ما.
هذه هي المشكلة التي تحاول ورقة البحث MINERVA-Cultural حلها.
إليك قصة الورقة البحثية، مقسمة إلى مفاهيم بسيطة:
1. المشكلة: الروبوت ذو "العدسة الغربية"
نماذج الذكاء الاصطناعي الحالية تشبه الطلاب الذين درسوا لاختبار ما باستخدام كتاب مدرسي واحد محدد فقط (محتوى غربي باللغة الإنجليزية). هم بارعون في الإجابة على الأسئلة المتعلقة بهذا الكتاب، ولكن إذا سألتهم عن ثقافة لم يروها من قبل، فسيفشلون فشلاً ذريعاً.
معظم اختبارات تقييم الفيديو (اختبارات الذكاء الاصطناعي) تشبه امتحاناً "غربياً فقط". فهي تستخدم أسئلة باللغة الإنجليزية وفيديوهات من الولايات المتحدة أو المملكة المتحدة. هذا يخلق انحيازاً حيث يعتقد الذكاء الاصطناعي أنه ذكي، لكنه في الواقع مجرد شخص يحفظ الكتاب المدرسي. إنه لا يفهم العالم حقاً.
2. الحل: رحلة ميدانية عالمية
ابتكر الباحثون اختباراً جديداً ضخماً يسمى MINERVA-Cultural.
- المحتوى: بدلاً من أفلام هوليوود، جمعوا 540 فيديو حقيقياً من 18 ركناً مختلفاً من العالم (مثل الهند، المكسيك، مصر، اليابان، البرازيل). تعرض هذه الفيديوهات مهرجانات، ورياضات، وأطعمة، وطقوساً محلية.
- اللغة: الفيديوهات تحتوي على صوت بلغاتهم الأصلية (مثل التاميلية، أو الإسبانية، أو العربية)، والأسئلة تُطرح بنفس هذه اللغات.
- اللمسة البشرية: والأهم من ذلك، لم يستخدموا "ترجمة جوجل" فحسب. بل استعانوا بخبراء محليين — أشخاص نشأوا في تلك الثقافات — لكتابة الأسئلة والإجابات. وهذا يضمن أن الأسئلة ليست صحيحة لغوياً فحسب، بل هي دقيقة ثقافياً أيضاً.
تشبيه: تخيل أنك تختبر طباخاً. بدلاً من أن تطلب منه خبز كعكة شوكولاتة (وهي مهمة قام بها ملايين المرات)، تطلب منه طهي طبق إقليمي محدد من قرية لم يزرها من قبل، باستخدام مكونات محلية وطرق تقليدية. MINERTA-Cultural هو اختبار الطبخ الصعب والواقعي ذاك.
3. السلاح السري: "خريطة الاستدلال"
معظم اختبارات الذكاء الاصطناعي تسأل فقط: "هل حصلت على الإجابة الصحيحة؟" (نعم/لا). ولكن إذا أخطأ الذكاء الاصطناعي، فلن نعرف لماذا. هل لم يرَ الشيء؟ هل لم يفهم اللغة؟ أم أنه خمن فقط؟
MINERVA-Cultural مختلف. فلكل سؤال، كتب البشر خريطة خطوة بخطوة لكيفية حله.
- الخطوة 1: انظر إلى الفيديو عند الدقيقة 2:00.
- الخطوة 2: لاحظ القبعة الحمراء.
- الخطوة 3: تذكر أن في هذه الثقافة، القبعات الحمراء تعني "القائد".
- الخطوة 4: بناءً على ذلك، الشخص الذي يرتدي القبعة الحمراء هو القائد.
قام الباحثون بتحويل هذه الخرائط إلى رسوم بيانية للأدلة (تخيلها كأنها مخطط انسيابي أو خريطة كنز). وهذا يسمح لنا برؤية المكان الذي تاه فيه الذكاء الاصطناعي بالضبط. هل فاتته القبعة الحمراء؟ أم أنه لم يعرف القاعدة الثقافية؟
4. لعبة "عزل الخطأ المتكرر"
لإصلاح الذكاء الاصطناي، يلعب الباحثون لعبة تسمى عزل الخطأ المتكرر (Iterative Error Isolation).
تخيل الذكاء الاصطناعي كطالب يؤدي اختباراً.
- الجولة الأولى: يحصل الطالب على إجابة خاطئة. ينظر المعلم (نظام الذكاء الاصطناعي) إلى الخريطة ويقول: "لقد فاتتك الإشارة عند الدقيقة 2:00".
- الجولة الثانية: يعطي المعلم طالباً تلميحاً: "انظر إلى الدقيقة 2:00 مرة أخرى". يحاول الطالب مجدداً. ربما أصاب في هذا الجزء ولكنه أخطأ في الخطوة التالية.
- الجولة الثالثة: يعطي المعلم تلميحاً آخر.
من خلال تكرار ذلك مراراً وتكراراً، يمكننا تحديد الجزء المعطل بالضبط في "عملية التفكير". هل الروبوت أعمى عن الرموز الثقافية؟ هل هو سيء في العد؟ أم أنه مرتبك بسبب اللغة؟
5. النتائج الصادمة
عندما أخضع الباحثون أذكى نماذج الذكاء الاصطنا في العالم (مثل أحدث إصدارات GPT وGemini وClaude) لهذا الاختبار، كانت النتائج متواضعة:
- الفجوة: سجلت أفضل نماذج الذكاء الاصطناعي حوالي 45%. بينما سجل البشر 95%. هذه فجوة هائلة.
- المتهم الرئيسي: السبب الأكبر للفشل لم يكن أن الذكاء الاصطناعي لا يستطيع التحدث باللغة أو لا يستطيع رؤية الفيديو. بل كان الإدراك البصري الثقافي. ببساطة، لم يفهم الذكاء الاصطناعي ما كان ينظر إليه. لقد رأى "شخصاً يرتدي زياً تنكرياً" لكنه لم يدرك أنه شخصية ثقافية محددة ذات معنى محدد.
- عامل الصوت: عندما سُمح للذكاء الاصطناعي بالاستماع إلى الفيديو (وليس مشاهدته فقط)، تحسن أداؤه. وهذا يثبت أن الثقافة توجد غالباً في الصوت وفي السياق، وليس فقط في الصورة.
6. لماذا يهم هذا؟
هذه الورقة البحثية هي بمثابة جرس إنذار. إنها تخبرنا أنه لبناء ذكاء اصطناعي ذكي حقاً، لا يمكننا فقط تغذيته بمزيد من البيانات من نفس البلدان القليلة. نحن بحاجة إلى بناء أنظمة تحترم وتفهم التنوع الغني للثقافة البشرية.
الخلاصة:
MINERVA-Cultural هو بمثابة مرآة وُضعت أمام صناعة الذكاء الاصطناعي. إنها تظهر لنا أن روبوتاتنا "الذكية" هي في الواقع ضيقة ثقافياً للغاية. ومن خلال إنشاء هذا الاختبار الصعب والمعد بشرياً، يقدم الباحثون لمجتمع الذكاء الاصطناي خارطة طريق واضحة حول كيفية بناء روبوتات يمكنها فهم العالم بأكمله حقاً، وليس الجزء الغربي منه فقط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.