💬 NLP

VULCA-Bench: A Multicultural Vision-Language Benchmark for Evaluating Cultural Understanding

تقدم هذه الورقة VULCA-Bench، وهو معيار مرجعي متعدد الثقافات للرؤية واللغة يضم 7,410 زوجًا ثنائي اللغة من الصور والنقد عبر ثمانية تقاليد ثقافية وإطار تقييم خماسي الطبقات لتقييم وكشف قصور النماذج الحالية في الفهم الثقافي رفيع المستوى بما يتجاوز الإدراك البصري الأساسي.

المؤلفون الأصليون: Haorui Yu, Diji Yang, Hang He, Fengrui Zhang, Qiufeng Yi

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haorui Yu, Diji Yang, Hang He, Fengrui Zhang, Qiufeng Yi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا يمكنه النظر إلى صورة وإخبارك بالضبط بما يراه. إذا عرضت عليه صورة قطة، سيقول: "هذه قطة". وإذا عرضت عليه مشهد غروب، سيقول: "هذا لونه برتقالي وأزرق". هذا هو ما تبرع فيه نماذج الذكاء الاصطناعي الحالية: رؤية السطح.

ولكن ماذا يحدث إذا عرضت على نفس الروبوت لوحة صينية لأزهار البرقوق تعود لـ 500 عام؟

الروبوت يقول: "أرى شجرة بها أزهار. إنها مرسومة بالحبر الأسود".
الخبير البشري يقول: "هذه ليست مجرد شجرة. في الثقافة الصينية، تمثل أزهار البرقوق القدرة على الصمود لأنها تزهر في الشتاء. والطريقة التي غُسل بها الحبر توحي بروح الفنان، والمساحة الفارغة حولها تمثل مفهوم 'الفراغ' في الفلسفة".

الروبوت يرى الشيء، لكنه يفتقد الروح.

تقدم هذه الورقة البحثية VULCA-BENCH، وهو "اختبار" جديد مصمم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي فهم تلك الروح. وإليك كيف يعمل، مشروحًا ببساطة:

1. المشكلة: الذكاء الاصطناعي "ذكي سطحيًا"

اختبارات الذكاء الاصطناعي الحالية تشبه اختبار رخصة القيادة حيث يتعين عليك فقط التعرف على علامات التوقف والإشارات الضوئية. إنها لا تختبر ما إذا كنت تفهم لماذا نقود، أو تاريخ الطرق، أو فلسفة السلامة.

الذكاء الاصطناعي الحالي: جيد في قول "هذه زهرة حمراء".
الذكاء الاصطناعي المفقود: سيء في قول "هذه الزهرة الحمراء ترمز إلى صراع الحياة في شتاء قارس".

2. الحل: مبنى من 5 طوابق من الفهم

بنى المؤلفون معيارًا جديدًا يسمى VULCA-BENCH (تقييم الرؤية والفهم واللغة والثقافة). يتخيلون الفهم الثقافي كـ مبنى مكون من 5 طوابق:

الطابق الأول (الإدراك البصري): "أرى زهرة حمراء". (سهل للذكاء الاصطناعي)
الطابق الثاني (التحليل التقني): "إنها مرسومة بالحبر على الورق". (الذكاء الاصطناعي جيد في هذا)
الطابق الثالث (الرمزية الثقافية): "في هذه الثقافة، تعني الأزهار الحمراء الحظ". (يبدأ الذكاء الاصطناعي في المعاناة)
الطابق الرابع (السياق التاريخي): "رُسمت هذه قبل 300 عام بواسطة فنان معين كان في المنفى". (يصاب الذكاء الاصطناعي بالارتباك)
الطابق الخامس (الجماليات الفلسفية): "هذه اللوحة تعبر عن فكرة أن الجمال يأتي من النقص ومرور الزمن". (عادة ما يفشل الذكاء الاصطناعي تمامًا)

الاكتشاف الكبير: عندما اختبروا أفضل نماذج الذكاء الاصطناعي على هذا "المبنى"، وجدوا أن النماذج كانت رائعة في الطابقين الأول والثاني، لكنها سقطت من المبنى عند الطابق الثالث. يمكنهم وصف ما هو الشيء، لكن لا يمكنهم شرح لماذا.

3. الاختبار: معرض فني عالمي

لاختبار ذلك بإنصاف، لم يكتفِ الباحثون بالنظر إلى الفن الغربي (مثل اللوحات الموجودة في متحف اللوفر)، بل بنوا معرضًا عالميًا يضم 8 تقاليد ثقافية مختلفة:

الصينية، الغربية، اليابانية، الكورية، الإسلامية، الهندية، الجدارية (البوذية)، والروسية/الأوروبية.

لقد جمعوا 7,410 زوجًا من الصور والنقاد الخبراء.

قاعدة "التماثل": لضمان عدم انحياز الاختبار، عاملوا كل ثقافة بنفس القدر من الاحترام. حتى لو كان هناك عدد أقل من اللوحات اليابانية مقارنة باللوحات الغربية، فقد حللوها جميعًا باستخدام نفس الطريقة العميقة المكونة من 5 خطوات. الأمر يشبه تصحيح اختبار رياضيات حيث يحصل الجميع على نفس الأسئلة الصعبة بغض النظر عن عدد الطلاب في الفصل.

4. اللمسة الثنائية اللغة

يستخدم الاختبار اللغتين الصينية والإنجليزية جنبًا إلى جنب.

لماذا؟ بعض المفاهيم، مثل المفهوم الصيني لـ Qi Yun (رنين الروح)، يصعب ترجمتها بدقة إلى الإنجليزية. ومن خلال الاحتفاظ بالمصطلحات الصينية الأصلية بجانب الشروحات الإنجليزية، يضمن الاختبار أن الذكاء الاصطناعي لا يقوم بمجرد التخمين؛ بل يجب عليه استيعاب النكهة الثقافية المحددة.

5. ماذا حدث عندما اختبروا الذكاء الاصطناعي؟

قاموا بتمرير 5 من أذكى نماذج الذكاء الاصطناعي عبر هذا الاختبار.

النتيجة: حصلت نماذج الذكاء الاصطناعي على درجات عالية في الطوابق "البصرية" (1 و 2)، لكن درجاتها انخفضت بنسبة 30-40% في طوابق "الثقافة العميقة" (3 و 4 و 5).
الأخطاء: ارتكبت النماذج أخطاءً مضحكة ولكنها دالة:
- الخبرة المزيفة: كانت تستخدم كلمات منمقة مثل "رنين الروح" ولكنها لا تستطيع شرح كيف يبدو ذلك فعليًا في اللوحة.
- أخطاء السفر عبر الزمن: كانت تصف لوحة من القرن السادس عشر باستخدام قواعد من القرن التاسع عشر.
- خلط الثقافات: كانت تخلط بين لوحة فارسية وأخرى هندية لأنها بدت "متشابهة نوعًا ما" في عيون الروبوت.

لماذا يهم هذا؟

فكر في الذكاء الاصطناعي كطالب جديد في فصل دراسي عالمي. في الوقت الحالي، الطالب جيد جدًا في حفظ الحقائق والتعرف على الأشياء، لكنه سيء جدًا في فهم الثقافة والتاريخ والمشاعر الإنسانية.

VULCA-BENCH هو بمثابة شهادة درجات جديدة تخبرنا: "مهلاً، ذكاؤك الاصطناعي ذكي، لكنه يفتقر للثقافة".

هذه خطوة حاسمة للأمام. إذا أردنا للذكاء الاصطناعي أن يساعدنا في المتاحف أو المدارس أو التواصل عبر الثقافات، فعليه أن يتوقف عن مجرد "رؤية" الصور ويبدأ في "فهم" القصص الكامنة وراءها. تقدم هذه الورقة الأداة التي تقيس هذا التقدم وتوضح لنا بالضبط أين يحتاج الروبوتات إلى الدراسة بجدية أكبر.

إليك ملخص تقني مفصل لورقة البحث VULCA-BENCH: معيار متعدد الثقافات لتقييم الفهم البصري اللغوي.

1. بيان المشكلة

تتفوق نماذج الرؤية واللغة (VLMs) الحالية في مهام المستوى 1 (L1) والمستوى 2 (L2)، مثل التعرف على الأشياء، ووصف المشاهد، والإجابة على الأسئلة الواقعية. ومع ذلك، تفشل المعايير الحالية في تقييم الفهم الثقافي من الرتب العليا، والذي يتضمن تفسير المعاني الرمزية، وتقدير التقاليد الجمالية، والتفاعل مع المفاهيم الفلسفية المتضمنة في المحتوى البصري.

الفجوة: تعاني نماذج الرؤية واللغة غالبًا من "التحيز الغربي" وتفتقر إلى القدرة على إجراء التفكير الثقافي العميق (على سبيل المثال، التمييز بين مفهوم qiyun shengdong في الرسم الصيني أو wabi-sabi في الفن الياباني).
قصور الأعمال السابقة: غالبًا ما تكون مجموعات البيانات الثقافية السابقة مقتصرة على ثقافة واحدة، وتعتمد على الإجابة البسيطة عن الأسئلة (الاستدعاء الواقعي) بدلاً من النقد التوليدي، أو تفتقر إلى إطار هرمي للتمييز بين الإدراك السطحي والتفسير الفلسفي العميق.

2. المنهجية

أ. إطار الفهم الثقافي ذو الطبقات الخمس

قام المؤلفون بتشغيل الفهم الثقافي باستخدام إطار عمل هرمي مستوحى من منهج بانوفسكي الأيقونولوجي، مقسم إلى خمس طبقات:

L1 (الإدراك البري): اللون، التكوين، جودة الخط، والتخطيط المكاني.
L2 (التحليل التقني): الوسائط، المواد، الحرفية، وحالة الحفظ.
L3 (الرمزية الثقافية): الزخارف، الأيقونات، السرد، والمعاني الرمزية.
L4 (السياق التاريخي): الحقبة الزمنية، سيرة الفنان، المدارس، المصدر، والتأثيرات.
L5 (الجماليات الفلسفية): التصور الفني، النظرية الجمالية، القيم الثقافية، والابتكار (مثل yijing أو rasa).

ب. بناء مجموعة البيانات: VULCA-BENCH

النطاق والحجم: تحتوي مجموعة البيانات على 7,410 زوجًا متوافقًا من (الصورة-النقد) تغطي 8 تقاليد ثقافية: الصينية، الغربية، اليابانية، الكورية، الإسلامية، الهندية، الجدارية (البوذية)، والهيرميتاج (الروسية/الأوروبية).
الأبعاد: تحدد المجموعة 225 بُعدًا خاصًا بكل ثقافة (25-30 لكل تقليد) مصممة لتناسب المفردات الجمالية الأصلية لكل ثقافة (مثل chiaroscuro للغرب، و qiyun للصين).
التعليق الثنائي اللغة: يتم توفير جميع الانتقادات باللغتين الصينية والإنجليزية. وهذا يحافظ على دقة المصطلحات الثقافية (عبر الرومنة) مع ضمان إمكانية الوصول الدولي.
مشاركة الخبراء: تم إجراء التعليقات بواسطة خبراء أصليين (بدرجة دكتوراه أو ماجستير) لديهم أكثر من 10 سنوات من التخصص. يجب أن يغطي كل نقد ≥70% من الأبعاد الخاصة بالثقافة وأن يستوفي عتبات الطول (≥150 حرفًا صينيًا / ≥100 كلمة إنجليزية).

ج. مبدأ التماثل الثقافي

لضمان التقييم العادل عبر الثقافات دون اشتراط تساوي أحجام العينات (وهو أمر مستحيل غالبًا بسبب تفاوت الرقمنة في المتاحف)، قدم المؤلفون مبدأ التماثل الثقافي:

توازي المخطط (Schema Parity): تستخدم جميع الثقافات نفس هيكل L1–L5.
توازي البروتوكول (Protocol Parity): بروتوكولات تعليق وعتبات جودة متطابقة.
تكييف الأبعاد (Dimension Adaptation): بينما الإطار موحد، تتكيف الأبعاد المحددة مع تعقيد كل ثقافة (على سبيل المثال، تمتلك الصين 30 بُعدًا نظرًا لثرائها بالجماليات الفلسفية؛ بينما تمتلك الغرب 25 بُعدًا تركز على التحليل الشكلي).
النسخ المتوازنة (Balanced Variants): أصدر المؤلفون مجموعة تجريبية متوازنة (N=336) تضم 48 عينة لكل ثقافة (باستثناء الهيرميتاج) لتمكين فحص العدالة المتساوي الأوزان.

3. المساهمات الرئيسية

مجموعة بيانات VULCA-BENCH: أول معيار شامل متعدد الثقافات لنقد الفنون يحتوي على 7,410 زوجًا من التعليقات التي وضعها خبراء، و225 بُعدًا، وتغطية كاملة باللغتين.
مبدأ التماثل الثقافي: إطار منهجي يفرض توازي المخطط والبروتوكول عبر الثقافات، مما يسمح بالتقييم العادل رغم عدم توازن أحجام العينات.
مخطط التقييم الهرمي: إطار L1–L5 رسمي يعزل كفاءات محددة لنماذج الرؤية واللغة، متجاوزًا مجرد الإدراك البصري إلى الجماليات الفلسفية.
أداة التشخيص (DCR): تقديم معدل تغطية الأبعاد (DCR) كمقياس لمدى تفاعل النماذج مع المفاهيم الخاصة بالثقافة، بدلاً من مجرد الدقة الواقعية.

4. النتائج (التقييم التجريبي)

قام المؤلفون بتقييم 5 نماذج رائدة في مجال الرؤية واللغة (GPT-4o, Claude-Sonnet-4.5, Gemini-2.5-Pro, Qwen3-VL, GLM-4V) على المجموعة التجريبية المتوازنة.

"فجوة الطبقات" (The Layer Gap): أظهرت جميع النماذج انخفاضًا كبيرًا في الأداء عند الانتقال من الإدراك البصري إلى التفسير الثقافي.
- أداء L1–L2: دقة عالية (78%–89%).
- أداء L3–L5: أقل بكثير (40%–58%).
- الفجوة ( $\Delta L$ ): انخفاض ثابت بمقدار 25-40 نقطة مئوية عبر جميع النماذج، مما يؤكد أن التفكير الثقافي هو قدرة مختلفة نوعيًا وأكثر صعوبة من الإدراك البصري.
ترتيب النماذج: ارتبط ترتيب النماذج في المجموعة المتوازنة ارتباطًا قويًا ( $\rho = 0.94$ ) مع المتن الكامل، مما يثبح جدوى المجموعة الفرعية للمقارنة العادلة.
تحليل الخطأ: فشلت النماذج بشكل متكرر بسبب:
1. المصطلحات السطحية: ذكر مصطلحات مثل qiyun دون شرح مظاهرها البصرية.
2. المفارقة التاريخية: تطبيق اتفاقيات فنية لاحقة على أعمال قديمة.
3. الخلط الثقافي: الخلط بين تقاليد متميزة (مثل المنمنمات الفارسية مقابل المغولية).
تأثير التعلم من أمثلة قليلة (Few-Shot): أدى استخدام التلقين البسيط بأمثلة قليلة من الانتقادات الخبيرة إلى انخفاض الأداء لبعض النماذج (على سبيل المثال، انخفض نموذج DeepSeek-VL2 بنسبة 41.3%)، مما يشير إلى أن النماذج الحالية تكافح لدمج السياق الثقافي المعقد بفعالية.

5. الأهمية

ما وراء الإدراك: ينقل VULCA-BENCH التركيز في تقييم نماذج الرؤية واللغة من "ماذا يوجد في الصورة" إلى "ماذا تعني الصورة ثقافيًا"، مما يعالج فجوة حرجة في الذكاء الاصطناعي الحالي.
الشمولية غير الغربية: من خلال تضمين التقاليد الآسيوية، والشرق أوسطية، وجنوب آسيوية بشكل صريح مع التحقق من قبل خبراء محليين، فإنه يتحدى التحيز المتمحور حول الغرب السائد في المعايير الحالية.
الفائدة البحثية: تتيح مجموعة البيانات:
- الضبط الدقيق (Fine-tuning): تدريب نماذج رؤية ولغة واعية ثقافيًا.
  ما يتيح:
- القابلية للتفسير: استخدام الـ 225 بُعدًا لاستقصاء أوضاع الفشل المحددة.
- العدالة: توفير طريقة معيارية لاختبار المساواة عبر الثقافات عبر المجموعات الفرعية المتوازنة.
الوصول المفتوح: تم إصدار مجموعة البيانات، والتعليمات البرمجية، وأدوات التقييم بموجب رخصة CC BY 4.0، مما يعزز إمكانية إعادة الإنتاج ومزيد من الأبحاث في مجال الذكاء الاصطناعي القائم على الثقافة.

في الختام، يوضح VULCA-BENCH أنه بينما أصبحت نماذج الرؤية واللغة بارعة في المهام البصرية، إلا أنها تظل محدودة بشكل أساسي في قدرتها على إجراء تفكير ثقافي هرمي عميق، مما يسلط الضل على اتجاه واضح للتحسينات الهيكلية المستقبلية.