💬 NLP

CulturALL: Benchmarking Multilingual and Multicultural Competence of LLMs on Grounded Tasks

تقدم الورقة البحثية CulturALL، وهو معيار شامل يتكون من 2,610 مهمة قائمة على السياق عبر 14 لغة و51 منطقة، صُمم لتقييم الكفاءة متعددة اللغات والثقافات للنماذج اللغوية الكبيرة بدقة في سيناريوهات واقعية غنية بالسياق حيث تظهر النماذج الحالية مجالاً كبيراً للتحسين.

المؤلفون الأصليون: Peiqin Lin, Chenyang Lyu, Wenjiang Luo, Haotian Ye, Md Mehrab Hossain, Chunlan Ma, Shaoxiong Ji, Younes Samih, Bo Zeng, Fan Jiang, Yuanbin Cao, Dilda Duisenbek, Adrian Neo Sau Xun, Daria Pozdniakova

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Peiqin Lin, Chenyang Lyu, Wenjiang Luo, Haotian Ye, Md Mehrab Hossain, Chunlan Ma, Shaoxiong Ji, Younes Samih, Bo Zeng, Fan Jiang, Yuanbin Cao, Dilda Duisenbek, Adrian Neo Sau Xun, Daria Pozdniakova, Liubou Misevich, Nevena Marinković, Ngoc Gia Linh Nguyen, Thi Khanh Linh Do, Sarakmatak Sophy, Baotian Hu, Guanhua Chen, Gongbo Tang, Alham Fikri Aji, Longyue Wang, Weihua Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء مساعد روبوت فائق الذكاء يتحدث كل لغات الأرض. أنت فخور به، أليس كذلك؟ ولكن بعد ذلك تسأله سؤالاً بسيطاً: "أنا أخطط لرحلة إلى اليابان الشهر المقبل. ماذا يجب أن أحزم في حقيبتي؟"

إذا قال الروبوت فقط: "أحضر سترة"، فسيكون كلامه صحيحاً من الناحية التقنية ولكنه عديم الفائدة. أما إذا قال: "أحضر معطفاً خفيفاً للمطر وحذاءً مريحاً للمشي لأن موسم الأمطار في نهايته والشوارع مرصوفة بالحصى"، فسيكون حينها مفيداً حقاً.

ورقة البحث "CulturALL" تدور حول اختبار ما إذا كان بإمكان روبوتات الذكاء الاصطناعي الأفضل لدينا القيام بالأمر الثاني بالفعل.

إليك تفصيل الورقة باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "مسابقة المعلومات العامة"

معظم الاختبارات التي نضعها للذكاء الاصطناعي اليوم تشبه مسابقات المعلومات العامة.

السؤال: "ما هي عاصمة فرنسا؟"
الإجابة: "باريس."

هذا سهل؛ إنه مجرد حفظ للحقائق. لكن الحياة الواقعية ليست مسابقة معلومات عامة. الحياة الواقعية متجذرة في الواقع. إنها فوضوية، محددة، وتعتمد على أين أنت ومن أنت.

سؤال من الحياة الواقعية: "أنا صاحب محل زهور في شنغهاي. نحن في أواخر أغسطس 2025. ما هي الزهور التي يجب أن أروج لها لأجني المال؟"

للإجابة على هذا، يحتاج الذكاء الاصطناعي إلى معرفة:

اللغة: فهم السؤال الصيني تماماً.
الثقافة: معرفة أن أواخر أغسطس في الصين يصادف "مهرجان الأشباح" أو عطلات محلية محددة، وأن بعض الزهور تعتبر مباركة (أو غير مباركة) في ذلك الوقت.
الاستنتاج: ربط التاريخ، والموقع، وهدف العمل التجاري لتقديم إجابة ذكية.

الاختبارات الحالية تتحقق غالباً مما إذا كان الذكاء الاصطناعي يعرف "المعلومات العامة". أما CulturALL فيتحقق مما إذا كان بإمكان الذكاء الاصطناعي التعامل مع "الحياة الواقعية".

2. الحل: معيار "CulturALL"

أنشأ المؤلفون اختباراً جديداً يسمى CulturALL. فكر فيه كأنه مضمار عقبات عالمي ضخم للذكاء الاصطناعي.

المضمار: يحتوي على 2,610 "مستوى" مختلف (سؤال).
التضاريس: تغطي هذه المستويات 51 منطقة مختلفة (مثل الدول أو الولايات) و14 لغة مختلفة.
المواضيع: تغطي 16 مجالاً من مجالات الحياة، من السفر والطعام إلى الحكومة والمعتقدات.

الهدف: معرفة ما إذا كان بإمكان الذكاء الاصطناعي التنقل في موقف ثقافي محدد دون أن يتوه.

3. كيف بنوا ذلك: "رقصة الإنسان والذكاء الاصطناعي"

كان بناء هذا الاختبار صعباً. لا يمكنك مجرد الطلب من الكمبيوتر ابتكار أسئلة ثقافية لأن الكمبيوتر غالباً ما "يهلوس" (يخترع أشياء من عنده).

لذلك، استخدموا إطار عمل تعاوني بين الإنسان والذكاء الاصطناعي:

البشر (الخبراء): تخيل فريقاً من الخبراء المحليين من جميع أنحاء العالم. هم بمثابة "المخرجين". يقومون بابتكار السيناريوهات بناءً على حياتهم الواقعية (مثل: "كيف أحصل على تأشيرة لهونج كونج؟"). وهم يضمنون أن تكون الأسئلة صعبة ودقيقة ثقافياً.
الذكاء الاصطناعي (المساعد): يعمل الذكاء الاصطناعي كـ "محرر". فهو يساعد في ترجمة الأسئلة، وتنسيقها، والتحقق من الأخطاء الإملائية.
"ترقية الصعوبة": إذا كان السؤال سهلاً للغاية (مثل "ما هي العاصمة؟")، يقوم البشر بتعديله لجعله أصعب. قد يستبدلون "هونج كونج" بمسار مشي محدد في هونج كونج، مما يجبر الذكاء الاصطناعي على البحث بعمق أكبر.

4. النتائج: الذكاء الاصطناعي لا يزال طالباً

عندما أجروا أفضل نماذج الذكاء الاصطناعي (مثل النسخ الأكثر ذكاءً من Gemini وGPT وClaude) عبر مضمار العقبات هذا، كانت النتائج... منخفضة بشكل مفاجئ.

الدرجة: حصل أفضل ذكاء اصطناعي على حوالي 44% فقط من الإجابات الصحيحة.
التشبيه: تخيل طالباً يؤدي امتحاناً نهائياً. الحصول على 44% يعني أنه راسب. هو يعرف التعريفات، لكنه لا يستطيع تطبيق المعرفة على مشاخت معقدة في الواقع.

النتائج الرئيسية:

النماذج المملوكة مقابل مفتوحة المصدر: النماذج التابعة لشركات التكنولوجيا الكبرى (مثل Gemini من Google) كانت أفضل من النماذج مفتوحة المص المصدر، لكن حتى الأفضل منها واجه صعوبات.
"طوق النجاة" عبر البحث في الويب: عندما سُمح للذكاء الاصطناعي باستخدام بحث جوجل (البحث في الويب) أثناء الاختبار، ارتفعت درجته. وهذا يثبت أن الذكاء الاصطناعي لا "يعرف" هذه الحقائق الثقافية بعد؛ بل يجب عليه البحث عنها.
اللغة مهمة: كان أداء الذكاء الاصطناعي أسوأ عندما طُرح السؤال بلغة أصلية (مثل الصينية أو العربية) مقارنة بالإنجليزية. يبدو الأمر وكأن الذكاء الاصطناعي يشعر براحة أكبر في قراءة كتاب مدرسي بالإنجليزية منه في فهم نكتة محلية بالإسبانية.

5. لماذا هذا مهم؟

ورقة البحث هذه هي بمثابة جرس إنذار. نحن ننشر الذكاء الاصطناعي في كل مكان، لكننا نختبره في أشياء لا تهم (المعلومات العامة).

يقول CulturALL: "توقفوا عن اختبار ما إذا كان الروبوت الخاص بكم يعرف تاريخ الهبوط على القمر. ابدأوا باختبار ما إذا كان بإمكان الروبوت مساعدة سائح في التنقل في سوق محلي في فيتنام دون أن يسيء لأحد."

إنها تسلط الضوء على أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً على مستوى عالمي، يجب أن يتوقف عن كونه مكتبة (مجرد مخزن للحقائق) ويبدأ في كونه دليلاً محلياً (يفهم السياق، والثقافة، والفروق الدقيقة). وإلى أن يتمكن من فعل ذلك، فإنه ليس سوى ببغاء ذكي جداً، وليس مساعداً مفيداً.

إليك ملخص تقني مفصل لورقة بحث "CulturALL: Benchmarking Multilingual and Multicultural Competence of LLMs on Grounded Tasks".

1. بيان المشكلة

بينما يتم نشر النماذج اللغوية الكبيرة (LLMs) عالميًا، تعاني الاختبارات المرجعية الحالية للكفاءة متعددة اللغات والثقافات من قيود كبيرة:

السطحية: تختبر الاختبارات المرجعية الحالية (مثل BLEND وINCLUDE وGlobal MMLU) بشكل أساسك المعلومات العامة (trivia) أو الفهم اللغوي العام بدلاً من التطبيق في العالم الحقيقي.
الافتقار إلى التجذر (Grounding): تفشل هذه الاختبارات في تقييم "المهام المتجذرة" — وهي السيناريوهات التي يجب أن تستنتج فيها النماذج داخل مواقف واقعية غنية بالسياق (مثل التخطيط لرحلة، أو إجراء عملية شراء، أو التنقل عبر اللوائح المحلية).
النطاق الضيق: غالبًا ما تكون المحاولات الأخيرة للتقييم المتجذر (مثل CultureBank وNORMAD) متمحورة حول اللغة الإنجليزية أو محدودة بمجالات ضيقة مثل التفاعلات الاجتماعية.

السؤال الجوهري: ما مدى فعالية النماذج اللغوية الكبيرة في معالجة مهام متنوعة ومتجذرة تتطلب دمج الفهم متعدد اللغات، والمعرفة الثقافية طويلة الذيل (long-tail)، والاستدلال السياقي متعدد الخطوات عبر مناطق مختلفة؟

2. المنهجية: المعيار المرجعي CulturALL

يقدم المؤلفون CulturALL، وهو معيار مرجعي شامل مصمم لسد الفجوة في تقييم المهام متعددة اللغات والثقافات المتجذرة.

أ. إطار بناء البيانات

بُني CulturALL باستخدام إطار عمل تعاوني بين البشر والذكاء الاصطناği يتكون من أربع مراحل:

تحديد المواضيع الثقافية: تم إنشاء قائمة من 16 موضوعًا متنوعًا (مثل التعليم، التمويل، التراث، السفر) عبر التعاون بين البشر والنماذج اللغوية لتغطية جوانب الحياة اليومية.
إنشاء العينات: قام المقيّمون بإنشاء نماذج أولية بناءً على الخبرة الشخصية، والإلهام عبر اللغات، والموارد الموجودة (مثل Xiaohongshu)، والمصادر عبر الإنترنت.
إثراء العينات (رفع مستوى الصعوبة): لضمان الصعوبة العالية، خضعت العينات "السهلة" لعملية رفع مستوى باستخدام ثلاث استراتيجيات:
- الاستبدال طويل الذيل (Long-Tail Swap): استبدال الكيانات الشائعة بأخرى نادرة (على سبيل المثال، "هونج كونج" $\leftarrow$ "مسار ماكليهوس").
- زيادة/نقصان السياق: إضافة تفاصيل شرطية أو إزالة التلميحات لفرض استدلال متعدد الخطوات.
- الأمثلة التركيبية (Compositional Examples): دمج نقاط معرفية مستقلة في استعلام واحد.
الجاهزية للنشر: إكمال البيانات الوصفية آليًا (تسمية المنطقة/الموضوع) والترجمة، يليه مراقبة بشرية صارمة للجودة (مراجعة الأقران).

ب. إحصائيات مجموعة البيانات

الحجم: 2,610 عينة.
التغطية: 14 لغة، 51 منطقة (دول/أقاليم)، و16 موضوعًا.
توزيع الصعوبة:
- صعب: 55.17% (تمت حلها بواسطة $\le$ 4 إعدادات للنماذج).
- متوسط: 26.82% (تمت حلها بواسطة 5–9 إعدادات).
- سهل: 18.01% (تمت حلها بواسطة 10–14 إعدادًا).
التنسيق: يتضمن كل عنصر سيناريو، وسؤالًا، وإجابة موضوعية (أو متعددة الخيارات)، وشرحًا.

ج. إعداد التقييم

النماذج: 15 تهيئة لـ 8 نماذج لغوية كبيرة رائدة (بما في ذلك Gemini وGPT-5 وClaude وسلسلة Qwen)، تختلف حسب قدرات الاستدلال (مثل "auto" و"high" و"low") وتكامل البحث عبر الويب.
المقياس: قياس الدقة عبر حكم آلي (gpt-4o) يقارن تنبؤات النموذج بالإجابات الذهبية.
التلقين (Prompting): التلقين بصفر محاولة (Zero-shot prompting) مع اشتراط تقديم إجابات موجزة.

3. المساهمات الرئيسية

إطار عمل موحد: مسار تعاوني قابل للتوسع بين البشر والذكاء الاصطناعي لإنشاء معايير مرجعية عالية التغطية وعالية الصعوبة.
معيار CulturALL: أول معيار مرجعي مصمم صراحةً لتقييم المهام متعددة اللغات والثقافات المتجذرة، متجاوزًا مجرد المعلومات العامة إلى الاستدلال الواقعي.
تحليل شامل: تقييم معمق للنماذج الرائدة (SOTA)، مما يكشف عن أوجه القصور المحددة والدور الحاسم للاستدلال والاسترجاع.

4. النتائج الرئيسية

تكشف التجار تجري على CulturALL أن أفضل النماذج تعاني بشكل كبير مع المهام الثقافية المتجذرة:

الأداء العام: حقق أفضل نموذج أداءً (gemini-2.5-pro مع الاستدلال التلقائي والبحث عبر الويب) دقة قدرها 44.48% فقط.
النماذج المملوكة مقابل مفتوحة المصدر: تفوقت النماذج المملوكة (Gemini، GPT-5، Claude) بشكل كبير على النماذج مفتوحة المصدر. حقق أفضل نموذج مفتوح المصدر (Qwen3-235b) 23.68% فقط، مما يسلط الضوء على فجوة هائلة في التعامل مع الاستدلال الثقافي المعقد.
تأثير الاستدلال والبحث:
- الاستدلال: عززت قدرات الاستدلة المحسنة ("auto" مقابل "low") الأداء لبعض النماذج (مثل Gemini) ولكنها حققت عوائد متناقصة لنماذج أخرى (مثل GPT-5 وClaude)، مما يشير إلى وجود سقف لقدرات الاستدلال متعدد الخطوات لديهم في السياقات الثقافية.
- البحث عبر الويب: وفر تكامل البحث عبر الويب دفعة كبيرة (+6.59%) لنموذج Gemini، ولكنه لم يقدم فائدة تذكر لنماذج Qwen، مما يشير إلى نقص في التدريب على الاستفادة الفعالة من المعلومات المسترجعة للمهام المتجذرة.
مستويات الصعوبة: ينخفض الأداء بشكل حاد مع زيادة الصعوبة. في المهام "الصعبة"، سجل أفضل نموذج 18.47% فقط.
التباين اللغوي: يختلف الأداء بشكل كبير حسب اللغة. على سبيل المثال، أدت النماذج أداءً أفضل في اللغة الصربية ولكنها واجهت صعوبة في اليابانية والعربية.
التلقين باللغة الأصلية مقابل الإنجليزية: حقق استخدام التلقين باللغة الأصلية دقة أعلى بنسبة 8.08% من الترجمات الإنجليزية، مما يشير إلى أن الترجمة تضعف الفروق الثقافية الدقيقة والسياق الجوهري.

5. الأهمية والتوجهات المستقبلية

معيار مرجعي: يضع CulturALL معيارًا جديدًا لتقييم النماذج اللغوية الكبيرة، محولًا التركيز من "ماذا يعرفون" (المعلومات العامة) إلى "كيف يطبقون المعرفة" (الاستدلال المتجذر).
الفجوات المحددة: تؤكد النتائج أن النماذج اللغوية الكبيرة الحالية تفتقر إلى التكامل الضروري بين استرجاع المعلومات، والاستدلال متعدد الخطوات، والسياق الثقافي العميق لتكون موثوقة حقًا في التطبيقات العالمية الواقعية.
القيود والعمل المستقبلي: يقر المؤلفون بوجود قيود تشمل تحيز التغطية في بعض المناطق، والتركيز على المجموعات الثقافية الجغرافية بدلاً من الديموغرافية والاجتماعية، والاعتماد على الإجابات الموضوعية (باستثناء توليد النصوص الحرة)، واستبعاد المدخلات متعددة الوسائط. سيعمل العمل المستقبلي على معالجة هذه النقاط لإنشاء تقييم أكثر شمولية للكفاءة الثقافية.

في الختام، يوضح CulturALL أنه بينما تتقدم النماذج اللغوية الكبيرة، لا تزال هناك مساحة كبيرة للتحسين في قدرتها على التنقل في تعقيدات السيناريوهات الواقعية المتجذرة ثقافيًا عبر لغات متنوعة.