Culture In a Frame: CB as a Comic-Based Benchmark for Multimodal Culturally Awareness
تقدم هذه الورقة البحثية CB، وهو معيار مرجعي جديد متعدد اللغات والثقافات يعتمد على القصص المصورة لتقييم النماذج اللغوية الكبيرة متعددة الوسائط عبر ثلاث مهام متدرجة الصعوبة، مما يكشف عن فجوات كبيرة في الأداء بين النماذج الحالية والقدرات البشرية في الوعي الثقافي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيف يفهم العالم. تعرض عليه صورًا من الحياة الواقعية: شارع في باريس، سوق في طوكيو، شاطئ في البرازيل. يصبح الروبوت جيدًا جدًا في هذا الأمر. ولكن إليك المشكلة: في الصورة الحقيقية، عادة ما يتناسب كل شيء مع بعضه البعض بشكل مثالي. فخبز "الباجيت" الفرنسي يكون في مخبز فرنسي، والـ "كيمونو" الياباني يكون في معبد ياباني. الأمر يشبه لغزًا تنتمي فيه جميع القطع إلى بعضها البعض بشكل طبيعي.
أدرك الباحثون في هذه الورقة البحثية أن نماذج الذكاء الاصطناعي الحالية (المسماة النماذج اللغوية الكبيرة متعددة الوسائط) مرتاحة جدًا مع هذه الألغاز "المثالية". فهي تعاني عندما تصبح الأشياء غريبة، أو مختلطة، أو عندما يتعين عليها ترجمة النكات الثقافية إلى لغات أخرى.
لذا، قاموا ببناء اختبار جديد وأكثر صعوبة يسمى C3B (معيار القصص المصورة عبر الثقافات). فكر في C3B ليس كألبوم صور، بل كـ قصة مصورة (كوميكس).
لماذا القصص المصورة؟ "لعبة الفراغات" للثقافة
الصور الحقيقية تشبه اللوحة المكتملة. أما القصص المصورة، فهي تشبه لعبة "ماد ليبس" (Mad Libs) حيث يمكن للفنان أن يمزج ويطابق أي شيء.
- يمكنك رسم راقصة سامبا برازيلية ترتدي إزارًا اسكتلنديًا (كيلت) وهي تقف أمام كنيسة روسية ذات قباب بصلية.
- في العالم الحلشي، هذا مستحيل. في القصص المصورة، هذا "تصادم ثقافي" متعمد.
استخدم المؤلفون هذا لإنشاء معيار يكون فيه كل مشهد عبارة عن مزيج فوضوي من ثقافتين، أو ثلاث، أو حتى خمس ثقافات مختلفة محشورة في إطار واحد. هذا يجبر الذكاء الاصطناعي على التوقف عن مجرد "التعرف" على الأشياء والبدء في "التفكير" فيما إذا كانت تلك الأشياء منطقية معًا.
المستويات الثلاثة للعبة
تم تصميم المعيار مثل لعبة فيديو بثلاثة مستويات من الصعوبة:
المستوى الأول: لعبة "أوجد الفرق" (التعرف البصري)
- المهمة: ينظر الذكاء الاصطناعي إلى لوحة من القصة المصورة وعليه أن يقول: "حسنًا، أرى سيفًا يابانيًا، وغطاء رأس من السكان الأصليين لأمريكا، وكوب بيرة ألماني. أي ثقافات ممثلة هنا؟"
- التحدي: الأمر لا يتعلق فقط برؤية السيف؛ بل بمعرفة أن السيف ينتمي إلى اليابان، وليس إلى فرنسا.
المستوى الثاني: لعبة "المحقق" (الصراع الثقافي)
- المهمة: يجب على الذكاء الاصطناعي أن يلعب دور المحقق. "مهلاً لحظة! لماذا يبيع صانع ساعات سويسري أحذية ثلج للإينويت في وسط مشهد لـ الصحراء الكبرى؟"
- التحدي: يجب على الذكاء الاصطناعي تحديد التصادم. يجب أن يقول: "هذا خطأ. صانع الساعات السويسري لا ينتمي إلى الصحراء الكبرى". إذا قال الذكاء الاصطناعي فقط "أنا أرى ساعة"، فقد فشل. يجب أن يفهم أن السياق مكسور.
المستوى الثالث: لعبة "المترجم" (توليد المحتوى)
- المهمة: تحتوي القصة المصورة على فقاعات حوار باللغة اليابانية. يجب على الذكاء الاصطناعي ترجمتها إلى الإنجليزية، أو الإسبانية، أو الروسية، أو التايلاندية، أو الألمانية، ولكن عليه الحفاظ على النكهة الثقافية سليمة.
- التحدي: الأمر لا يتعلق فقط بترجمة الكلمات؛ بل بترجمة الروح. إذا استخدمت الشخصية لقبًا تشريفيًا يابانيًا معينًا أو مرجعًا ثقافيًا، يحتاج الذكاء الاصطناعي إلى إيجاد المعادل المناسب في اللغة المستهدفة، وليس مجرد ترجمة حرفية من القاموس.
النتائج: لقد ارتبك الذكاء الاصطناعي
اختبر الباحثون 11 نموذجًا من أذكى نماذج الذكاء الاصطناعي مفتوحة المصدر على اختبار القصص المصورة هذا. وكانت النتائج مفاجئة:
- الفجوة: البشر (حتى لو كانوا مجرد عدد قليل من الطلاب) قدموا أداءً رائعًا. أما نماذج الذكاء الاصطناعي؟ فقد عانت بشدة.
- "الأذن الصماء": بعض النماذج، عندما سُئلت سؤالًا مباشرًا، تجاهلت السؤال وبدأت في وصف الصورة مثل راوٍ آلي. "أرى سماءً زرقاء ورجلًا..." (والسؤال كان: "هل هذا تصادم ثقافي؟").
- "ضربة في الظلام": نماذج أخرى قامت فقط بالتخمين باختيار "أ" في كل مرة لأنها كانت مرتبكة.
- "العناد": بعض النماذج رأت تصادمًا ثقافيًا ولكنها قالت "لا شيء" بشكل متكرر، رافضة الاعتراف بوجود مشكلة.
لماذا يهم هذا؟
فكر في الذكاء الاصطناعي مثل سائح زار فقط نسخة "المدن الترفيهية" من العالم. هم يعرفون كيف يبدو برج إيفل "العام"، لكنهم لا يفهمون ما يحدث عندما تختلط الثقافات، أو تتصادم، أو تتداخل في الحياة الواقعية.
C3B هو بمثابة أخذ ذلك السائح وإلقائه في مهرجان مدينة متعدد الثقافات وفوضوي حيث كل شيء مختلط. إنه يوضح لنا أنه بينما يتحسن الذكاء الاصطناعي في رؤية الصور، إلا أنه لا يزال لديه الكثير من الواجبات المنزلية ليقوم بها ليفهم الطبيعة الفوضوية والجميلة والمتناقضة أحيانًا للثقافة البشرية.
باخت_صار: وضع المؤلفون اختبار "القصص المصورة الفوضوية" لإثبات أن ذكاءنا الاصطناعي الحالي لا يزال فاقدًا للوعي الثقافي نوعًا ما، ويأملون أن يساعد هذا الاختبار في تعليم الجيل القادم من الذكاء الاصطناعي أن يكون أكثر وعيًا ثقافيًا وأقل ارتباكًا عندما يصبح العالم معقدًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.