ملخص تقني: التخفيف من عدم الاتساق الثقافي عبر اللغات في النماذج اللغوية الكبيرة عبر تحسين التفضيلات القائم على الإجماع

1. تعريف المشكلة: عدم الاتساق الثقافي عبر اللغات (CCI)

تُظهر النماذج اللغوية الكبيرة متعددة اللغات (MLLMs) سلوكيات غير متسقة بشكل متكرر عندما تتغير لغة المطالبة (prompt)، حتى عندما يتم تحديد هوية المستخدم صراحةً. وبينما صُممت هذه النماذج عموماً للتكيف ثقافياً مع لغة الإدخال، يصبح هذا الأمر فشلاً حرجاً في السياقات المقيدة التي يتم فيها تقديم شخصية مستخدم محددة (مثلاً: "المستخدم بريطاني").

في مثل هذه السيناريوهات، غالباً ما يتجاهل النموذج تعليمات الشخصية الصريحة ويعود إلى الصور النمطية الثقافية المرتبطة بلغة المطالبة. فعلى سبيل المثال، بالنظر إلى شخصية بريطانية ثابتة واستعلام غامض حول الأدب، قد تؤدي المطالبة باللغة الإنجليزية إلى استحضار "شكسبير"، بينما تؤدي المطالبة باللغة الإسبانية إلى استحضار "سيرفانتس". هذه الظاهرة، التي تسمى عدم الاتساق الثقافي عبر اللغات (CCI)، تمثل فشلاً في اتباع التعليمات حيث تتجاوز التخصيص الضمني المدفوع باللغة التعليمات الصريحة للمستخدم. ويفترض البحث أن عدم الاتساق هذا ليس مجرد فجوة في الأداء، بل هو تباعد دلالي ناتج عن التشابك الوثيق بين اللغة والثقافة داخل تمثيلات النموذج.

2. المنهجية

2.1 بناء مجموعة البيانات

لبناء تقييم منهجي لـ CCI، أنشأ المؤلفون مجموعة بيانات متوازية متعددة اللغات مشتقة من معيار BLEnD (Myung et al., 2024).

• المصدر: تم اختيار مجموعة الأسئلة متعددة الخيارات (MCQ) من BLED لسهولة استخدامها في مقاييس الاتفاق بفضل مساحة الإجابات المنفصلة.
• اللغات: تم اختيار ثماني لغات لتغطية مستويات متنوعة من الموارد والعائلات اللغوية: الإنجليزية، الإسبانية، الصينية، العربية، الإندونيسية، الكورية، اليونانية، والفارسية.
• التحييد: لعزل التحيز الضمني المدفوع باللغة، تمت إزالة الإشارات الجغرافية الصريحة من المطالبات الأصلية باستخدام GPT-5 (على سبيل المثال، تغيير "الرياضة الشعبية في المكسيك؟" إلى "الرياضة الشعبية؟").
• الترجمة: تمت ترجمة خيارات الإجابة إلى جميع اللغات الثماني المستهدفة، مما يضمن احتواء مجموعة البيانات على خرائط صالحة لثماني دول محددة (الولايات المتحدة، المكسيك، الصين، الجزائر، إندونيسيا، كوريا الجنوبية، اليونان، إيران).
• التقسيم: تم تقسيم البيانات إلى 70% للتدريب، 10% للتحقق، و20% للاختبار، مع اتخاذ تدابير صارمة لمنع تسرب البيانات بين التقسيمات.

2.2 القياس: معامل فليس لـ "المنفرد" $\kappa_S$ (Singleton Fleiss's $\kappa_S$)

غالباً ما تفشل مقاييس الاتساق القياسية عندما تهلوس النماذج أو تولد تنسيقات غير صالحة، حيث يؤدي استبعاد هذه الأخطاء إلى حدوث "تحيز البقاء". لذا قدم المؤلفون معامل فليس لـ "المنفرد" $\kappa_S$، وهو مقياس مبتكر أثبت رياضياً قدرته على مقاومة الهلوسة.

• الآلية: بخلاف معامل فليس القياسي $\kappa$، الذي يفترض أن جميع الاستجابات ترتبط بمجموعة إجابات صالحة محددة مسبقاً، يقوم $\kappa_S$ بتوسيع مجموعة الإجابات الصالحة $V$ بإضافة مجموعة من الإجابات "المنفردة" (غير الصالحة) المولدة ديناميكياً $U$.
• العقوبة: كل استجابة غير صالية ترتبط بـ "منفرد" فريد. يضمن ذلك أن الهلوسات تُعامل كفئات متميزة، مما يعاقب عدم الاتساق رياضياً دون الحاجة إلى استبعاد العينات بشكل عشوائي.
• التقارب: أثبت المؤلفون أنه مع زيادة حجم مجموعة البيانات، يتقارب $\kappa_S$ تقاربًا تقاربيًا مع $\kappa$ القياسي للفئات الصالحة.

2.3 التخفيف: تحسين التفضيل المتسق ثقافياً عبر اللغات (C-3PO)

يقترح البحث إطار عمل C-3PO، وهو إطار عمل للضبط الذاتي القائم على الإجماع، مصمم لتخفيف حدة CCI دون الاعتماد على تعليقات بشرية مكلفة أو حقائق أرضية ذاتية.

• استخراج الإجماع: يقوم النموذج الأساسي بتوليد استجابات لاستعلام محايد ثقافياً عبر جميع اللغات $N$. ويُعرف الإجماع عبر اللغات بأنه الإجابة التي تختارها الأغلبية المطلقة من اللغات.
• بناء أزواج التفضيل:
  • المختار ($y_w$): يتم تعيين الإجابة المتفق عليها عالمياً كاستجابة مفضلة.
  • المرفوض ($y_l$):
    • بالنسبة للغات التي اختلفت في البداية مع الإجماع، تُستخدم الاستجابة المتباينة الفعلية كاستجابة مرفوضة.
    • بالنسبة للغات التي اتفقت بالفعل، يتم أخذ عينة من خيار عشوائي غير متفق عليه كاستجابة مرفوضة.
• الموازنة: يتم تطبيق استراتيجية "أخذ العينات الناقصة" لضمان أن اللغات التي تفرض الإجماع لا تنحاز بشكل غير متناسب في بيانات التدريب، مما يوازن تمثيل اللغات المتوافقة والمتباينة.
• التحسين: يتم ضبط النموذج باستخدام التحسين المباشر للتفضيلات (DPO) مع تقنية التكيف منخفض الرتبة (LoRA). يتم هيكلة البيانات في دفعات متوازية (نفس الاستعلام مترجم عبر جميع اللغات) لضمان أن تحديثات التدرج تسحب التمثيلات اللغوية المتباعدة نحو مرساة دلالية موحدة في آن واحد.

2.4 النماذج المرجعية (Baselines)

يتم تقييم C-3PO مقابل ثلاثة نماذج سلوكية مرجعية للتحكم:

1. تلقين الشخصية (Persona Prompting): ربط النموذج صراحةً بجنسية معينة عبر مطالبات النظام.
2. التلقين بلقطات قليلة (Few-shot Prompting): تقديم أمثلة داخل السياق لإجابات متسقة عبر اللغات.
3. توجيه متجه الشخصية (Persona Vector Steering): توجيه الفضاء الكامن للنموذج باستخدام متجهات تدخل مشتقة من الفرق في تنشيطات "التيار المتبقي" بين المطالبات التي تحتوي على تعليمات الشخصية وتلك التي لا تحتوي عليها.

3. النتائج الرئيسية

3.1 تحسينات الاتساق

تظهر التقييمات التجريبية على ثلاثة نماذج مفتوحة المصدر (Gemma-2-27b-it, Llama-3.1-8B-Instruct, Qwen2.5-3B-Instruct) أن C-3PO يتفوق باستمرار على جميع استراتيجيات التخفيف المرجعية عبر جميع النماذج والمجموعات اللغوية تقريباً.

• يحقق C-3PO زيادة مطلقة تصل إلى 0.10 نقطة في معامل $\kappa_S$ مقارنة بالنماذج غير المضبوطة.
• بينما تحقق النماذج المرجعية مثل "توجيه متجه الشخصية" أحياناً درجات عالية في تكوينات محددة (مثل أزواج دولة-شخصية معينة)، إلا أن هذه النت Results توصف بأنها "سيناريوهات أوراكل مختارة بعناية". يوفر C-3PO محاذاة قوية دون الحاجة إلى اختيار يدوي للتكوينات المثلى.
• وُجد أن "التلقين بلقطات قليلة" يضخم اصطناعياً درجات الاتساق "الناعم" و"الصلب" من خلال الانهيار إلى نمط واحد (تكرار الإجابة دون تمييز)، وهو سلوك منحط يعاقبه $\kappa_S$ بقوة.

3.2 تأثير الموارد اللغوية

تكشف الدراسة أن CCI يؤثر بشكل غير متناسب على اللغات ذات الموارد المنخفضة (الإندونيسية، الفارسية، الكورية، العربية، اليونانية).

• تظهر المجموعات ذات الموارد المنخفضة درجات $\kappa_S$ أقل بكثير عبر جميع النماذج واستراتيجيات التخفيف مقارنة بالمجموعات ذات الموارد العالية (الإنجليزية، الصينية، الإسبانية).
• تُظهر تجارب الإضافة التدريجية أن الاتساق يتدهور بشكل صارم مع إضافة اللغات ذات الموارد المنخفضة إلى مجموعة التقييم، مما يحدد ندرة الموارد كمحرك رئيسي لعدم الاتساق.

3.3 تحليل القابلية للتفسير

يكشف تحليل التفسير على مستوى الطبقات لنموذج Llama-3.1-8B عن الآلية الكامنة وراء CCI:

• نقطة الظهور: لا يظهر الاتساق عبر اللغات بشكل تدريجي؛ بل يظهر فجأة في الطبقات المتأخرة (حوالي الطبقة 22) مع استقرار تمثيلات المسار الأمامي.
• التخصيص الضمني: مع استقرار التمثيلات، يقوم النموذج ضمنياً بربط المخرات بالثقافة النمطية المرتبطة بلغة المطالبة. على سبيل المثال، تزيد المطالبات الإسبانية بشكل متزايد من توقعات المكسيك، وتزيد المطالبات العربية من توقعات الجزائر أو الولايات المتحدة.
• تحليل الميل (Slope Analysis): يؤكد الانحدار الخطي لتكرارات التنبؤ عبر الطبقات أن طفرة التنبؤات لدولة معينة تكون أكثر حدة عندما يكون الاستعلام بلغة تلك الدولة النمطية، مما يدعم فرضية أن النموذج يخصص الإجابات ضمنياً بناءً على لغة المطالبة.

4. الأهمية والادعاءات

يدعي البحث أنه يقدم أربع مساهمات رئيسية:

1. صياغة CCI: عزل وصياغة "عدم الاتساق الثقافي عبر اللغات" كنمط فشل متميز حيث تفشل النماذج في الاستفادة من هويات المستخدم الصريحة لصالح الإشارات اللغوية الضمنية.
2. مقياس قوي: تقديم معامل $\kappa_S$، وهو مقياس مقاوم رياضياً للهلوسة، مما يسمح بقياس الاتساق دون التخلص من البيانات غير الصالحة.
3. تخفيف فعال: اقتراح إطار عمل C-3PO، الذي يحسن بشكل كبير الاتساق الثقافي عبر مختلف النماذج والأسس دون الحاجة إلى حقائق أرضية مصنفة بشرياً.
4. رؤية ميكانيكية: تقديم أدلة مبكرة من مرحلة التوليد الأولية توضح أن النماذج اللغوية الكبيرة تقوم ضمنياً بتخصيص المخرات نحو الثقافة النمطية للغة المطالبة مع استقرار التمثيلات الداخلية، وأن هذا التأثير يتفاقم في اللغات ذات الموارد المنخفضة.

يتبنى المؤلفون موقفاً متواضعاً، معترفين بأن إطار عملهم يساوي بين الدول والثقافات (وهو تمثيل اختزالي) وأن "الإجماع" الناتج قد يقدم شكلاً جديداً من التحيز. ويجادلون بأنه بينما يعالج عملهم اتباع التعليمات في السياقات المقيدة، فإن النقاش الأوسع حول متى يكون الاتساق عبر اللغات مرغوباً ومتى يكون التكيف الثقافي مفضلاً يظل مفتوحاً للبحث المستقبلي.