ملخص تقني: StereoTales

بيان المشكلة

تتقيد الأبحاث الحالية حول التحيز الاجتماعي في النماذج اللغوية الكبيرة (LLMs) بشكل أساسي بثلاثة قيود:

1. التنسيق: تعتمد معظم الاختبارات المرجعية على إعدادات محكومة بدقة (الاختيار من متعدد، أو إكمال القوالب، أو الإجابة على الأسئلة) التي تختبر التعرف على التحيز بدلاً من توليد التحيز. وهذا يفشل في عكس التوليد مفتوح النهاية والحر الذي يميز الاستخدام الواقعي للنماذج اللغوية الكبيرة.
2. النطاق: تتركز الدراسات بشكل مفرط على اللغة الإنجليزية والتركيز على الولايات المتحدة، وغالباً ما تحصر السمات الاجتماعية والديموغرافية في النوع الاجتماعي والعرق بناءً على فئات تعداد الولايات المتحدة. وهذا يتجاهل كيفية ظهور التحيزات عبر لغات وسياقات ثقافية مختلفة.
3. الدقة: غالباً ما تقوم الأعمال السابقة بتسجيل مخرجات فردية أو التركيز على نماذج صغيرة ذات أوزان مفتوحة، مما يترك سلوك النماذج الرائدة والظهور التوزيعي للتحيزات (الأنماط التي لا تظهر إلا عبر مئات عمليات التوليد) غير مستكشفة إلى حد كبير.

وبناءً على ذلك، فإن التحيزات التي تظهر فقط في التوليد مفتوح النهاية، وعبر لغات متنوعة، وفي النماذج الرائدة الحديثة، تظل غير مدروسة.

المنهجية

يقدم المؤلفون StereoTales، وهو مجموعة بيانات وخط معالجة للتقييم مصممة لاكتشاف التحيز الاجتماعي في التوليد مفتوح النهاية للنماذج اللغوية الكبيرة بشكل منهجي.

بناء مجموعة البيانات

• الحجم: تضم مجموعة البيانات حوالي 650,000 قصة تم توليدها بواسطة 23 نموذجاً لغوياً رائداً من مزودين رئيسيين (OpenAI، Anthropic، Google، Mistral، Alibaba، إلخ).
• اللغات: يتم التوليد بـ 10 لغات (الإنجليزية، الفرنسية، الإسبانية، الإيطالية، البرتغالية، الهولندية، الأوكرانية، العربية، الهندية، والصينية). ومن الأهمية بمكان أن المطالبات (prompts)، وقيم السمات، والسيناريوهات قد تمت ترجمتها يدوياً من قبل متحدثين أصليين لتجنب الانزياح الدلالي والتبسيط الثقافي المرتبط بالترجمة الآلية.
• تصميم المطالبات: يتم بناء المطالبات عبر حاصل الضرب الديكارتي لـ:
  • 19 سمة ديموغرافية: تغطي الهوية، والوضع الاجتماعي والاقتصادي، والمواقف الحياتية (مثل العمر، النوع الاجتماعي، الدين، التعليم، الدخل، حالة الهجرة).
  • 79 قيمة للسمة: مجموعات مغلقة من القيم المقبولة لكل سمة.
  • 36 سيناريو سردي: مواقف متنوعة (مثل مقابلات العمل، عشاء عائلي، أزمات صحية) تعمل كبذور سردية.
• بروتوكول التوليد: تثبت كل مطالبة قيمة سمة واحدة للبطل بينما تترك السمات الأخرى غير محددة. يقوم النموذج بتوليد قصة بطول 200 كلمة تقريباً.

خط المعالجة للتحليل

1. استخراج السمات: يقوم مجموعة من ثلاثة مستخرجات تعتمد على النماذج اللغوية الكبيرة (GPT-5-nano، Gemini 2.5 Flash Lite، Gemini 3.1 Flash Lite) باستخراج الملف الشخصي الاجتماعي والديموغرافي للبطل من كل قصة عبر جميع الأبعاد الـ 19.
2. اكتشاف الارتباط الإحصائي: يبني خط المعالجة جداول تكرارية للارتباطات بين السمة المفروضة في المطالبة (الأساس) والسمات المستخرجة.
   • على مستوى السمة: يحدد اختبار فيشر الدقيق (تقدير مونت كارلو) ما إذا كان التوزيع يعتمد على السمة الأساسية. ويتم قياس حجم التأثير عبر معامل "كرامر V" المصحح للتحيز.
   • على مستوى القيمة: تحدد اختبارات فيشر أحادية الجانب أزواج القيم المحددة التي تقود الارتباط. ويُقاس حجم التأثير عبر الرفع (Lift) ($P(B=b|A=a)/P(B=b)$). يتم الاحتفاظ فقط بالأزواج التي يكون فيها $Lift \ge 2$ وذات دلالة إحصائية (مصححة باستخدام تصحيح Benjamini-Yekutieli).
3. الحكم على الضرر: لتجنب حقن تحيزات المؤلفين، يتم تحديد الضرر من قبل مقيمين مستقلين:
   • الدراسة البشرية: قام 247 مشاركاً من المملكة المتحدة بتقييم 1,580 ارتباطاً فريداً على مقياس ليكرت خماسي النقاط للضرر والشيوع في العالم الحقيقي.
   • التقييم الذاتي للنموذج اللغوي: تم توجيه نفس الـ 23 نموذجاً التي ولدت القصص لتقييم ضرر نفس الارتباطات.

المساهمات الرئيسية

1. مجموعة بيانات StereoTales: مورد واسع النطاق ومتعدد اللغات يحتوي على ~650 ألف قصة، وتوصيفات للسمات، وتقييمات للضرر، يغطي 10 لغات و23 نموذجاً.
2. اكتشاف التحيز التوزيعي: منهجية تنتقل من مجرد التصنيف على مستوى العينة إلى تحديد الارتباطات المنهجية ذات الدلالة الإحصائية عبر توزيع مخرجات النماذج.
3. التقييم عبر النماذج واللغات: أول دراسة تقيم مجتمعة عالمية التحيز عبر 23 نموذجاً رائداً والتكيف الثقافي للتحيزات عبر 10 لغات.
4. معايرة الحكم باستخدام النماذج اللغوية الكبيرة: معايرة واسعة النطاق للتقييم الذاتي للنماذج اللغوية الكبيرة مقابل الحكم البشري في مجال ضرر الصور النمطية.

النتائج الرئيسية

1. انتشار وعالمية الصور النمطية الضارة

• الانتشار: كل نموذج تم تقييمه يصدر صوراً نمطية ضارة ذات عواقب، بغض النظر عن الحجم أو القدرة، وذلك في التوليد مفتوح النهاية.
• الأنماط المشتركة: الارتباطات الضارة مشتركة إلى حد كبير بين المزودين بدلاً من كونها سلوكيات معزولة. حوالي 25% من الارتباطات الضارة تظهر في نصف النماذج على الأقل، وهناك جزء كبير ينتجه كل نموذج على الإطلاق.
• الاستقلالية عن القدرة: لا يوجد انخفاض ملحوظ في الارتباطات الضارة مع زيادة حجم النموذج. ومن المثير للدهشة، وجود ارتباط إيجابي ضعيف بين قدرة النموذج (ELO) وعدد الارتباطات الضارة، مما يشير إلى أن وصفات المحاذاة الحالية لا تخفف هذه التحيزات بفعالية.

2. خصوصية اللغة والتكيف الثقافي

• المحاكاة الثقافية: لا تنقل النماذج مجموعة ثابتة من التحيزات المهيمنة بالإنجليزية. بدلاً من ذلك، تعمل كـ "حرباء ثقافية"، حيث تكيف الصور النمطية مع الإطار الثقافي الذي تستحضره لغة المطالبة.
• محلي مقابل عالمي: حوالي نصف الانبعاثات الضارة تقتصر على لغتين على الأكثر.
• إزاحة الهدف: تغير لغة المطالبة المجموعات المستهدفة. تميل النماذج إلى تقليل الارتباطات الضارة حول الهوية "غير المميزة" (الأغلبية) للغة المطالبة بينما تزيد من الأضرار ضد الأقليات المحمية البارزة محلياً.
• العناقيد الإقليمية: تتجمع التحيزات الضارة حسب المنطقة الثقافية (مثل كتلة قوية من غرب أوروبا وكتلة أضعف من أمريكا اللاتينية)، مما يشير إلى أن بيانات التدريب والسياق الثقافي، وليس فقط عائلة اللغة، هي التي تقود ملفات التحيز.

3. التوافق بين الأحكام البشرية وأحكام النماذج اللغوية الكبيرة

• توافق واسع: تتوافق أحكام النماذج اللغوية الكبيرة بشكل عام مع التقييمات البشرية (معامل سبيرمان $\rho = 0.62$).
• نقاط العمى المنهجية: الخلافات منهجية ومشتركة بين المزودين. تقل النماذج باستمرار عن تقدير ضرر الصور النمطية المرتبطة بالوضع الاجتماعي والاقتصادي، والعمر، والدين، والهجرة، والتعليم. وعلى العكس من ذلك، تبالغ في تقدير الضرر فيما يتعلق بالنوع الاجتماعي والمواءمة الجندرية—وهي المحاور التي كانت تاريخياً محور التركيز على سلامة المحاذاة.
• التحيز المحافظ: النماذج اللغوية الكبيرة أكثر تحفظاً من البشر، حيث تستخدم التقييم المتطرف "5" بشكل أقل بكثير.

الأهمية والادعاءات

يزعم البحث أن اختبارات العدالة أحادية اللغة تقلل بشكل كبير من تقدير الضرر الذي يمكن للنموذج إصداره عند مطالبته بلغة أخرى. ولأن التحيزات تتكيف ثقافياً مع لغة المطالبة، فإن النموذج الذي يعتبر "آمناً" في الإنجليزية قد يصدر صوراً نمطية ضارة ومتميزة محلياً في لغات أخرى.

علاوة على ذلك، تتحدى الدراسة الافتراض القائل بأن اختبارات التعرف على التحيز (التي تشبعها النماذج الرائدة غالباً) تعني أن توليد التحيز قد حُلَّ. تشير النتائج إلى أن توليد الارتباطات الضارة هو خاصية هيكلية في النماذج اللغوية الكبيرة الحالية، ومن المرجح أنها موروثة من بيانات التدريب المسبق ووصفات المحاذاة المشتركة، ولي Whไม่ใช่ فشلاً في الحجم أو القدرة.

أخيراً، تفترض الورقة أنه بينما يمكن استخدام النماذج اللغوية الكبيرة كمقيمين مكملين للتحيز، فإن حكمها الذاتي هش ويظهر نقاط عمى منهجية في السمات الاجتماعية والاقتصادية والأيديولوجية، مما يجعلها غير كافية كبديل للتقييم البشري في هذه المجالات المحددة.

ينشر المؤلفون مجموعة البيانات الكاملة، والكود، ومنصة التدوين لتمكين المجتمع من توسيع هذا العمل ليشمل لغات جديدة، وتصنيفات سمات، ولوحات مرجعية معيارية.