💬 NLP

JuICE: A Benchmark for Evaluating LLM-Judge in Identifying Cultural Errors

تقدم الورقة البحثية JuICE، وهي مجموعة بيانات مرجعية متعددة اللغات مصممة لتقييم حدود النماذج اللغوية الكبيرة المستخدمة كحكام في اكتشاف الأخطاء الثقافية الدقيقة والمنبثقة عن السياق، مما يكشف عن عجز النماذج الحالية عن تحديد الفروق الثقافية "العميقة" التي يدركها المتحدثون الأصليون بسهولة.

المؤلفون الأصليون: Jiho Jin, Junho Myung, Juhyun Oh, Junyeong Park, Rifki Afina Putri, Sunipa Dev, Vinodkumar Prabhakaran, Alice Oh

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiho Jin, Junho Myung, Juhyun Oh, Junyeong Park, Rifki Afina Putri, Sunipa Dev, Vinodkumar Prabhakaran, Alice Oh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف أمين مكتبة ذكيًا ومثقفًا جدًا للتدقيق في القصص التي يكتبها روبوت كاتب جديد فائق السرعة. الروبوت بارع في الحقائق: فهو يعرف أن باريس بها برج إيفل وأن الماء مبلل. لكن الروبوت أحيانًا يفتقد "روح" أو "جو" المكان. قد يكتب قصة تدور أحداثها في بنغلاديش حيث يتوقف أحد الشخصيات لتناول قهوة فاخرة، بينما في الواقع، الجميع في ذلك الحي يتوقفون عند كشك شاي على جانب الطريق. أو قد يصف رائحة الياسمين في مدينة إندونيسية بأنها "لطيفة"، دون أن يدرك أن هذه الرائحة تحديدًا مرتبطة في تلك الثقافة بالجنازات والأشباح.

هذه الورقة البحثية، JuICE، تتحدث عن اختبار مدى جودة "أمين المكتبة" الخاص بنا (وهو في الواقع ذكاء اصطناعي يُسمى LLM-Judge) في رصد هذه الأخطاء الثقافية الدقيقة.

إليك تفصيل ما فعلوه وما وجدوه، باستخدام تشبيهات بسيء:

1. المشكلة: خطأ "السطحي" مقابل "العميق"

أدرك المؤلفون أن الأخطاء تأتي بنوعين:

الأخطاء السطحية (المستوى الضحل): وهي مثل الأخطاء المطبعية أو المعلومات الخاطئة. "عاصمة فرنسا هي لندن". من السهل اكتشافها.
الأخطاء العميقة (المستوى الثقافي العميق): وهي مثل طاهٍ يضع الأناناس على البيتزا في مطعم إيطالي تقليدي. المكونات حقيقية، لكن المزيج يبدو "غريبًا" بالنسبة للمحليين. ليس خطأً من الناحية الواقعية؛ بل هو أمر غريب ثقافيًا، أو غير حساس، أو يفتقر إلى قطعة أساسية من اللغز المحلي.

الاختبارات الموجودة كانت تتحقق فقط من الأخطاء "السطحية". أرادوا معرفة ما إذا كان بإمكان قضاة الذكاء الاصطناعي رصد الأخطاء "العميقة".

2. الأداة: JuICE (حقيبة أدوات المحقق الثقافي)

بنى الفريق مجموعة بيانات ضخمة تسمى JuICE. تخيلها كأنها مكتبة عملاقة تضم 1,050 قصة وأعمدة نصائح تم إنتاجها بواسطة الروبوتات، تغطي أربع دول مختلفة (الولايات المتحدة، كوريا الجنوبية، إندونيسيا، بنغلاديش) بلغاتها المحلية وباللغة الإنجليزية.

لم يكتفوا بجعل الروبوتات تقيم نفسها. بل استعانوا بـ 44 شخصًا حقيقيًا من السكان المحليين (مثل المتحدثين الأصليين من تلك البلدان) لقراءة القصص وتحديد المواضع التي أخطأ فيها الروبوت في فهم "الجو العام".

وجدوا 7,470 خطأً محددًا.
وصنفوها إلى أشياء مثل "التنافر الثقافي" (خلط أشياء لا تتناسب مع بعضها)، و"الغياب الثقافي" (نسيان تقليد محلي ضروري)، و"الدلالة الثقافية" (استخدام كلمة تعني شيئًا حزينًا أو مخيفًا للمحليين).

3. التجربة: هل يستطيع القاضي الروبوت كشف الكاتب الروبوت؟

أخذوا أفضل نماذج الذكاء الاصطناعي المتاحة (التي تعمل كـ "قضاة") وسألواهم قراءة القصص وإيجاد الأخطاء التي وجدها البشر. كان الأمر يشبه سؤال أمين مكتبة آلي للعثور على الأخطاء الثقافية في قصة كتبها روبوت آخر.

كانت النتائج مخيبة للآمال:

أقصى نموذج ذكاء اصطناعي (قاضٍ) لم يستطع سوى رصد حوالي 52% من الأخطاء (درجة F1 بلغت 0.52).
كانوا جيدين نوعًا ما في العثور على الأخطاء "السطحية" (الأخطاء المطبعية، المعلومات الخاطئة).
لكنهم كانوا سيئين جدًا في العثور على الأخطاء "العميقة". على سبيل المثال، لم يكادوا يكتشفون أبدًا الأخطاء المتعلقة بـ "الغياب الثقافي" (نسيان تقليد محلي) أو "الدلالة الثقافية" (سوء فهم الوزن العاطفي لرمز ما).

التشبيه: الأمر يشبه طلب البحث عن إبرة في كومة قش من قبل روبوت. الروبوت بارع في العثة الإبر اللامعة والواضحة (الحقائق)، لكنه يستمر في تفويت الإبر الباهتة والمموهة (الفروق الثقافية الدقيقة) التي قد يلاحظها الإنسان فورًا.

4. التحول: إعطاء القاضي "ورقة غش"

تساءل الباحثون: "ماذا لو أعطينا قاضي الذكاء الاصطناعي قاموسًا لما تبدو عليه هذه الأخطاء 'العميقة'؟" قدموا للذكاء الاصطناعي قائمة محددة بفئات الأخطاء وبعض الأمثلة ("ورقة غش").

النتيجة: ساعد ذلك قليلاً. فقد وجد الذكاء الاصطناعي أخطاءً أكثر بقليل، خاصة الأخطاء الثقافية العميقة. لكنه لم يستطع رصدها جميعًا. الأمر يشبه إعطاء شخص ما خريطة؛ يصبح أفضل قليلاً في التنقل، لكنه لا يمتلك الحدس المحلي لشخص نشأ في ذلك المكان.

5. الخلاصة

تخلص الورقة البحثية إلى أن قضاة الذكاء الاصطناعي الحاليين ليسوا مستعدين ليكونوا السلطة النهائية على الجودة الثقافية. فهم يركزون كثيرًا على الحقائق السطحية ويفتقدون السياق الثقافي العميق "والكثيف" الذي يجعل الاستجابة تبدو صحيحة أو خاطئة بالنسبة لشخص محلي.

لبناء ذكاء اصطناعي مدرك ثقافيًا حقًا، لا يمكننا الاعتماد فقط على الروبوتات التي تفحص الروبوتات. نحن بحاجة إلى أطر عمل تفهم عمق وتاريخ و"شعور" ثقافة ما، وليس فقط حقائقها.

باختصار: قامت الورقة ببناء اختبار لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي رصد الارتباك الثقافي. ووجدت أنه بينما يجيد الذكاء الاصطناعي رصد الحقائق، فإنه حاليًا "أعمى" عن الأجواء الثقافية العميقة والدقيقة التي يفهمها البشر بالفطرة.

ملخص تقني: JuICE – معيار لتقييم "الحكم كنموذج لغوي كبير" (LLM-Judge) في تحديد الأخطاء الثقافية

1. بيان المشكلة

مع نشر النماذج اللغوية الكبيرة (LLMs) عالميًا، أصبحت هذه النماذج مكلفة بشكل متزايد بمهام ذات طابع ثقافي متأصل، مثل صياغة المراسلات الشخصية، وتوليد أفكار إبداعية، وسرد القصص. تتطلب هذه المهام ما هو أكثر من مجرد الدقة الواقعية؛ فهي تتطلب فهمًا ثقافيًا "سميكًا" (thick)—أي استيعاب السياق، والرنين الرمزي، والتوقعات الضمنية التي يستخدمها المتحدثون الأصليون بالفطرة.

غالبًا ما تتعامل المعايير الثقافية الحالية مع الثقافة كمجموعة مسطحة من الحقائق، معتمدة على التحقق من الحقائق أو استلزام المعايير. علاوة على ذلك، وبينما أصبح نموذج "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) هو النهج السائد والقابل للتوسع للتقييم، لا يزال من غير الواضح ما إذا كان هؤلاء الحكام يمكنهم اكتشاف الأخطاء الثقافية "السميكة". هذه الأخطاء ليست دائمًا انتهاكات صريحة للمعايير أو أخطاء واقعية، بل تظهر كعدم اتساق دقيق في الإعداد، أو الدلالة، أو التحديد، أو نقص السياق. على سبيل المثال، قد تكون القصة منطقية واقعيًا ولكنها مزعجة ثقافيًا للقارئ المحلي (مثل وصف الياسمين برائحة مدينة لطيفة في إندونيسيا، حيث يرتبط بالجنازات). المشكلة الجوهرية التي تعالجها هذه الورقة هي غياب معيار لتقييم ما إذا كان حكام النماذج اللغوية الكبيرة يمكنهم تحديد هذه الأخطاء الثقافية المحلية الدقيقة والمتمثلة في النصوص الطويلة بشكل موثوق.

2. المنهجية

بناء مجموعة البيانات: JuICE

يقدم المؤلفون JuICE (معيار للحكم كنموذج لغوي كبير في تحديد الأخطاء الثقافية)، وهي مجموعة بيانات متعددة اللغات مصممة لالتقاط الأخطاء الثقافية واللغوية الدقيقة.

النطاق: تضم مجموعة البيانات 1,050 زوجًا من الاستعلام والاستجابة عبر أربع دول (الولايات المتحدة، كوريا الجنوبية، إندونيسيا، بنغلاديش) وأربع لغات (الإنجليزية، الكورية، الإندونيسية، البنغالية).
المهام: تغطي ثلاثة أنواع من المهام مفتوحة النهاية: توليد القصص، والتفكير الإبداعي، وتقديم النصائح (كيفية القيام بشيء ما).
خط معالجة البيانات (Annotation Pipeline): تم استخدام خط معالجة تعاوني بين البشر والنماذج اللغوية الكبيرة شمل 44 متحدثًا أصليًا ونماذج لغوية رائدة (gemini-3-pro, gpt-5.1).
1. المرحلة الأولى (التحديد): قام متحدثان أصليان واثنان من حكام النماذج اللغوية الكبيرة بتحديد الاستجابات بشكل مستقل، مع تسليط الضوء على المقاطع وتقديم تفسيرات.
2. المرحلة الثانية (التحقق): خضعت جميع المقاطع المحددة للتحقق المتبادل. تم التحقق من المقاطع التي حددها البشر بواسطة مدققين آخرين، بينما تم التحقق من المقاطع التي حددتها النماذج بواسطة البشر. لم يتم إدراج المقطع الذي يحتوي على خطأ في مجموعة البيانات النهائية إلا إذا اتفق جميع المدققين البشريين على أنه خاطئ.
الحجم: أسفرت هذه العملية عن 7,470 تسمية على مستوى المقطع عبر 33,621 جملة.

تصنيف الأخطاء

بناءً على إطار التقييم "السميك" (Qadri et al., 2025)، وضع المؤلفون تصنيفًا يميز بين الأخطاء "الرقيقة" (السطحية) و"السميكة" (التفسيرية):

الأخطاء الرقيقة: الأخطاء اللغوية الصريحة (الأخطاء الميكانيكية) وعدم الدقة الثقافية (الأخطاء الواقعية القابلة للتحقق).
الأخطاء السميكة:
- الأخطاء اللغوية الضمنية: الفشل في النبرة، أو السجل اللغوي، أو الفروق الاجتماعية اللغوية الدقيقة.
- التنافر الثقافي: التصادم السياقي للعناصر الثقافية.
- خطأ التحديد الثقافي: سوء تمثيل حدود المفاهيم الثقافية (الإفراط في التعميم أو نقص التعميم).
- خطأ الدلالة الثقافية: سوء التعامل مع الوزن الرمزي أو الرنين العاطفي.
- النقص الثقافي: غياب السياق الثقافي الحرج المطلوب للاكتمال.

مهام التقييم

باستخدام JuICE، قيم المؤلفون مختلف النماذج اللغوية الكبيرة (المملوكة والمفتوحة المصدر) التي تعمل كحكام في مهمتين:

كشف المقاطع الخاطئة: يحدد الحكم مقاطع نصية محددة تحتوي على أخطاء. يتم قياس الأداء باستخدام تقاطع الاتحاد (IoU) مع عتبة $t=0.15$ ، ومعايرة مقابل أوراكل دلالي (semantic oracle).
تصنيف الجمل الخاطئة: مهمة تصنيف ثنائي لتحديد ما إذا كانت جملة معينة تحتوي على أخطاء، بالنظر إلى السياق الكامل.

3. النتائج الرئيسية

أداء الحكام من النماذج اللغوية الكبيرة

الصعوبة العامة: حتى أقوى حكم من النماذج اللغوية الكبيرة (gemini-3.1-pro-preview) حقق درجة F1 قدرها 0.52 فقط في مهمة كشف المقاطع.
قيود الاستدعاء (Recall): عبر جميع النماذج التي تم تقييمها، كان الحد الأقصى للاستدعاء للأخطاء التي حددها البشر هو 0.50، مما يشير إلى أن النماذج تفقد نصف الأخطاء التي يحددها المتحدثون الأصليون على الأقل.
التباين بين الرقيق والسميك: يوجد فجوة كبيرة في الأداء بين الأخطاء الرقيقة والسميكة.
- تؤدي النماذج بشكل أفضل نسبيًا في الأخطاء اللغوية الصريحة وعدم الدقة الثقافية (الفئات الرقيقة)، حيث تراوحت معدلات الاستدعاء بين 0.37 و0.72.
- ينخفض الأداء بشكل حاد في الأخطاء الثقافية السميكة. انخفض الاستدعاء لـ النقص الثقافي إلى ما بين 0.21 و0.35، وكانت أخطاء الدلالة الثقافية صعبة أيضًا (0.28–0.60).
المقارنة مع الطرق السابقة: فشلت الأساليب التقليدية مثل استلزام المعايير (CultureBank) والتحقق من الادعاء (CaLMQA) في التقاط هذه الأخطاء. على سبيل المثال، قبل استلزام المعايير استجابات كانت متسقة واقعيًا مع المعايامات العامة ولكنها متنافرة ثقافيًا في سياقات محددة (مثل اقتران مكونات معينة في الحلويات الكورية).

تأثير التوجيه

اختبر المؤلفون ما إذا كان توفير توجيه صريح (تعريفات تصنيف الأخطاء السميكة وأمثلة قليلة - few-shot) يحسن الأداء باستخدام gemma-4-31B-it.

النتائج: أدى الجمع بين التصنيف والأمثلة القليلة إلى تحسين درجة F1 بشكل طفيف (من 0.4457 إلى 0.4591).
مكاسب الاستدعاء: أدى هذا التوجيه إلى زيادة ذات دلالة إحصائية في الاستدعاء للأخطاء السميكة (زيادة قدرها 7.6 نقطة مئوية) مقارنة بالأخطاء الرقيقة (3.9 نقطة مئوية)، مما يشير إلى أن الأطر الصريحة تساعد النماذج على التعرف على الفروق الثقافية العميقة، رغم أنها لا تسد الفجوة في الأداء تمامًا.

4. المساهمات

مهمة تقييم جديدة: تقترح الورقة تقييم الكفاءة الثقافية للنماذج اللغوية الكبيرة من خلال قدراتها في الحكم، وتحديدًا قدرتها على اكتشاف وتحديد الأخطاء الثقافية في النصوص المولدة.
مجموعة بيانات JuICE: إصدار مجموعة بيانات متعددة اللغات والثقافات مع 7,500 تسمية على مستوى المقطع تم التحقق منها بواسطة متحدثين أصليين باللغات الكورية والإندونيسية والبنغالية والإنجليزية.
النتائج التجريبية: إثبات أن حكام النماذج اللغوية الكبيرة الحالية يخطئون بشكل منهجي في الأخطاء الثقافية السميكة، محققين درجات F1 منخفضة (0.52) واستدعاء (≤0.50) للأخطاء التي تم التحقق منها بشرًا، لا سيما في الدلالة والتحديد والنقص.

5. الأهمية والقيود

الأهمية:
تشير النتائج إلى أن التقييم الثقافي القوي يجب أن يتجاوز مجرد الكشف السطحي والتحقق من الحقائق. تجادل الورقة بضرورة وجود أطر تأخذ في الاعتبار "عمق وموضع المعنى الثقافي". وهي تسلط الضوء على فجوة حرجة حيث يمكن للنماذج اللغوية الكبيرة توليد نصوص منطقية واقعيًا ولكنها تظل "خاطئة" ثقافيًا بالنسبة للمتحدثين الأصليين، وهو فشل تعجز أدوات الحكم الآلية الحالية عن اكتشافه.

القيود:

الذاتية: الأحكام الثقافية هي بطبيعتها تعددية وذاتية؛ تمثل مجموعة البيانات مجموعة محافظة من الأخطاء التي تم التحقق من صحتها بالإجماع، وقد لا تلتقط كل خطأ دقيق أو قابل للنقاش.
الديموغرافيا: تم استقطاب المدققين بشكل أساسي من مجتمعات مرتبطة بالجامعات، مما قد يؤدي إلى المبالغة في تمثيل قدرات اكتشاف الأخطاء لدى المتحدثين الأصغر سنًا والأكثر تعليمًا.
القابلية للمقارنة عبر الثقافات: تختلف توزيعات الأخطاء بشكل كبير حسب البلد واللغة، مما يعني أنه لا ينبغي تفسير الدرجات كمقاييس مباشرة لفهم النموذج لثقافة واحدة مقابل أخرى.
الاعتماد على خط المعالجة: اعتمدت بعض خطوات ما بعد المعالجة (مثل تعيين الفئات) على مساعدة النماذج اللغوية الكبيرة، مما يعني أن الملصقات هي تقريبات مهيكلة للحكم البشري وليست حقيقة أرضية واحدة ونهائية.

يخلص المؤلفون إلى أن العمل المستقبلي يجب أن يركز على تطوير نماذج حكم وبروتوكولات تقييم تستهدف صراحةً الأخطاء السميكة، ربما من خلال دمج قواعد بيانات ثقافية أو الاسترجاع من مصادر معرفة محلية.