ملخص تقني: Camellia – قياس المعايير المرجعية للتحيزات الثقافية في النماذج اللغوية الكبيرة للغات الآسيوية

بيان المشكلة

مع دمج النماذج اللغوية الكبيرة (LLMs) في التكنولوجيا العالمية، تصبح قدرتها على التعامل مع الكيانات المتنوعة ثقافيًا — مثل الأسماء، والمواقع، والأطعمة — دون تحيز أمرًا بالغ الأهمية. لقد أظهرت الأبحاث السابقة، وتحديدًا بحث Naous et al. (2024)، أن النماذج اللغوية الكبيرة تظهر تفضيلًا للكيانات المرتبطة بالغرب على نظيراتها العربية. ومع ذلك، وبسبب الافتقار إلى معايير مرجعية متعددة اللغات تركز على الكيانات، لا يزال من غير الواضح ما إذا كانت هذه التحيزات تظهر عبر لغات آسيوية أخرى. تحدد الورقة فجوة في تقييم كيفية تمييز النماذج اللغوية الكبيرة بين الكيانات الأصلية لثقافات آسيوية محددة مقابل تلك المرتبطة بالثقافة الغربية، وكيف تؤثر هذه التحيزات على أداء النماذج في مهام مثل تحليل المشاعر واستخراج المعلومات.

المنهجية

قدم المؤلفون Camellia (مجموعة مقاييس الملاءمة الثقافية للنماذج اللغوية الكبيرة في اللغات الآسيوية)، وهي معيار مرجعي مصمم لتقييم التحيزات الثقافية المتمحورة حول الكيانات عبر تسع لغات آسيوية تمثل ست ثقافات متميزة: الصينية، واليابانية، والكورية، والفيتنامية، والأردية، والهندية، والمالايالامية، والماراثية، والغوجاراتية.

بناء البيانات

تضمن بناء Camellia تعاونًا استمر لمدة عام مع متحدثين أصليين، وتكونت من مكونين رئيسيين:

1. الكيانات الثقافية (إجمالي 19,530 كيانًا):

   • الكيانات المتمحورة حول آسيا (15,821 كيانًا): كيانات تم تصنيفها يدويًا لتكون خاصة بالثقافات الآسيوية الست، وصُنفت إلى ستة أنواع: مؤلفون، وأطباق طعام، ومشروبات، وأسماء أولى (ذكور وإناث)، ومواقع، وأندية رياضية.
   • الكيانات المتمحورة حول الغرب (3,709 كيانًا): كيانات موازية مرتبطة بأمريكا الشمالية وأوروبا، تمت ترجمتها وتكييفها عبر جميع اللغات التسع لضمان القابلية للمقارنة.
   • المصدر: تم استخراج الكيانات من Wikidata ومن مجموعة بيانات mC4 المستخرجة من الويب، متبوعة بعمليات تصفية وتوسيم يدوي من قبل متحدثين أصليين للتحقق من الصلة الثقافية.

2. السياقات المقنعة (إجمالي 2,173 سياقًا):

   • مستمدة من مناقشات طبيعية على وسائل التواصل الاجتماعي (X/Twitter، Weibo، Xiaohongshu).
   • صُنفت إلى ثلاثة أنواع:
     • المستندة إلى Camellia (Camellia-Grounded): سياقات يكون فيها كيان واحد فقط من ثقافة آسيوية محددة هو المناسب (مثل: "طبق [MASK] مشهور في كوريا").
     • المحايدة لـ Camellia (Camellia-Neutral): سياقات يمكن أن تكون فيها كيانات من أي ثقافة مناسبة (مثل: "أنا آكل [MASK] اليوم").
     • سؤال وجواب لـ Camellia (Camellia-QA): فقرات طويلة تتطلب تحديد الكيان بشكل ضمني لمهام الإجابة الاستخراجية على الأسئلة.
   • يتضمن كل سياق تسميات للمشاعر (إيجابي، سلبي، محايد) وترجمات إنجليزية.

إطار التقييم

يقيم هذا المعيار المرجعي أربع عائلات حديثة من النماذج اللغوية الكبيرة متعددة اللغات (Llama3.3-70b, Qwen2.5-72b, Aya-expanse-32b, and Gemma3-27b) عبر ثلاث مهام:

1. التكيف مع السياق الثقافي: قياس درجة التحيز الثقافي (CBS)، والتي تحسب النسبة المئوية للمرات التي يمنح فيها النموذج احتمالية أعلى لكيان غربي على كيان آسيوي في سياق مستند إلى ثقافة معينة.
2. الارتباط بالمشاعر: تحليل ما إذا كان استبدال الكيانات الآسيوية بالكيانات الغربية (أو العكس) في جملة ما يغير المشاعر المتوقعة من قبل النموذج (قياس معدلات الخطأ في الإيجابية والسلبية).
3. استخراج الكيانات للإجابة على الأسئلة: تقييم دقة استخراج الكيانات من السياقات الطويلة، ومقارنة الأداء بين الكيانات الآسيوية والكيانات الغربية.

النتائج الرئيسية

1. الصراع مع التكيف الثقافي

تفشل النماذج بشكل متكرر في التمييز بين الكيانات الآسيوية والغربية في السياقات المستندة إلى الثقافة.

• درجة CBS مرتفعة: عبر معظم اللغات والنماذج، تراوحت درجة التحيز الثقافي (CBS) بين 30% و40%. يشير هذا إلى أنه في جزء كبير من الحالات، تفضل النماذج الكيانات الغربية حتى عندما يتطلب السياق صراحةً كيانًا آسيويًا.
• نقص الحساسية: لم يتحسن الأداء بشكل ملحوظ في السياقات الثقافية المحايدة، مما يشير إلى أن النماذج تفتقر إلى الحساسية تجاه إشارات التأسيس الثقافي.
• التباين بين النماذج: اختلف الأداء باختلاف أصل النموذج. فعلى سبيل المثال، أدى نموذج Qwen2.5-72b (الذي طورته شركة Alibaba) أداءً أفضل بكثير في مهام اللغة الصينية واليابانية والكورية مقارنة بالنماذج الأخرى، ويرجع ذلك على الأرجًا إلى تغطية أفضل لبيانات التدريب المسبق.

2. ارتباطات المشاعر المتباينة

أظهرت عائلات النماذج المختلفة تحيزات متميزة في كيفية ربط الثقافات بالمشاعر:

• مال نماذج Llama و Gemma إلى ربط الكيانات الغربية بالمشاعر السلبية بشكل أكثر تكرارًا.
• غالبًا ما ربط نموذج Qwen الكيانات الآسيوية بالمشاعر الإيجابية، خاصة في اللغات الهندية.
• تشير هذه النتائج إلى أن النماذج المطورة في مناطق مختلفة قد تحمل تحيزات ثقافية متضاربة، مما يؤثر على العدالة في المهام اللاحقة.

3. الفجوات في أداء استخراج الكيانات

• اللغات الآسيوية: في مهام الإجابة الاستخراجية على الأسئلة، حققت النماذج عمومًا دقة أعلى عند استخراج الكيانات المرتبطة بالثقافة الآسيوية المعنية مقارنة بالكيانات الغربية. ومع ذلك، لوحظت فجوات كبيرة في الدقة (10-20%) في عدة لغات (مثل الفيتنامية، والأردية، ولغات هندية متنوعة)، مما يشير إلى صعوبة في استيعاب السياق الثقافي الضمني في البيئات غير الإنجليزية.
• الأساس الإنجليزي: عند الاختبار على ترجمات إنجليزية موازية، اختفت هذه الفجوات الثقافية إلى حد كبير (غال 1-5%)، مما يؤكد أن التحيز خاص بالتعامل مع السياقات الثقافية غير الإنجليزية.

4. الارتباط بالترميز (Tokenization)

كشف تحليل لمجزئات النصوص (tokenizers) الخاصة بالنماذج عن وجود ارتباط بين تغطية النص في مفردات المجزئ وأداء النموذج. النماذج التي تمتلك تغطية أعلى لنصوص لغة معينة (مثل Qwen للنصوص الصينية واليابانية والكورية، وLlama للنصوص الهندية) تميل إلى إظهار درجات تحيز ثقافي أقل، مما يشير إلى أن تمثيل بيانات التدريب المسبق هو عامل رئيسي في التخفيف من حدة التحيز.

الأهمية والادعاءات

تدعي الورقة أن Camellia توفر أول معيار مرجعي شامل متمحور حول الكيانات لقياس التحيزات الثقافية في تسع لغات آسيوية. وتكمن أهميتها في:

• الكشف عن التحيز المنهجي: إثبات أن النماذج اللغوية الكبيرة متعددة اللغات الحالية تعاني في التكيف مع السياقات الثقافية غير الغربية، وغالبًا ما تعود إلى الارتباطات الغربية حتى عندما تكون غير مناسبة.
• تسليط الضوء على التفاوتات الإقليمية: إظهار أن أداء النماذج وملفات التحيز الخاصة بها تتأثر بشدة بمنطقة التطوير وتكوين بيانات التدريب المسبق.
• توفير مورد: تقديم مجموعة بيانات منسقة يدويًا تضم 19,530 كيانًا و2,173 سياقًا مقنعًا لدعم الأبحاث المستقبلية في تطوير نماذج لغوية أكثر عدلاً وإنصافاً من الناحية الثقافية وأكثر كفاءة متعددة اللغات.

خلص المؤلفون إلى أنه بينما أصبحت النماذج اللغوية الكبيرة متعددة اللغات بشكل أكبر، إلا أنها تظل حساسة للارتباطات الثقافية بطرق يمكن أن تؤدي إلى اتخاذ قرارات متحيزة وأداء ضعيف في مجالات ثقافية محددة. يعمل هذا المعيار المرجعي كأداة لقياس هذه التفاوتات وتوجيه تطوير نماذج أكثر إنصافًا.