Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context
تقيم هذه الدراسة سبعة نماذج لغوية كبيرة متطورة في السياق الثقافي النيبالي غير الممثل كفاية باستخدام إطار تقييم التحيز ثنائي المعايير، كاشفةً أنه بينما يمكن قياس الموافقة الصريحة على العبارات المتحيزة، فإن التحيز التوليدي الضمني يظل متميزاً، ويتبع علاقة غير خطية مع درجة الحرارة، ولا يمكن التنبؤ به بدقة عبر مقاييس الموافقة، مما يسلط الضيز على الحاجة الماسة لمجموعات بيانات واستراتيجيات تقييم قائمة على أسس ثقافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مجموعة من الروبوتات الذكية للغاية والسريعة جدًا (نماذج اللغات الكبيرة، أو LLMs) التي قرأت كل شيء تقريبًا على الإنترنت. إنها بارعة في كتابة القصص، والإجابة على الأسئلة، وتقديم النصائح. ولكن، تمامًا مثل البشر، يمكن لهذه الروبوتات أن تكتسب عادات سيئة وصورًا نمطية مما قرأته.
هذه الورقة البحثية تشبه قصة بوليسية، حيث ذهب المؤلفون إلى نيبال ليروا ما إذا كانت هذه الروبوتات عادلة عند التحدث عن الثقافة النيبالية، أم أنها تحمل في طياتها أفكارًا قديمة وغير عادلة حول النوع الاجتماعي، أو العرق، أو المكانة الاجتماعية.
إليك تفصيل تحقيقهم باستخدام تشبيهات بسيطة:
1. المشكلة: "العدسة الغربية"
معظم هذه الروبوتات تم تدريبها على بيانات من الولايات المتحدة وأوروبا. تخيل أنك تحاول الحكم على قرية نيبالية باستخدام كتاب قواعد مكتوب لمدينة نيويورك. هذا لا يتناسب مع الواقع. لاحظ المؤلفون أنه بينما نعلم أن هذه الروبوتات منحازة باللغة الإنجليزية، إلا أننا لا نعرف كيف تتصرف باللغة النيبالية، وهي منطقة تضم أكثر من 120 لغة وبنية اجتماعية معقدة تشمل الطبقات والعرقات المختلفة.
2. الأداة: "اختبار انحياز" جديد (EquiText-Nepali)
لاختبار الروبوتات، صمم المؤلفون اختبارًا مخصصًا يسمى EquiText-Nepali.
- التشبيه: تخيل لعبة "أوجد الفروق". لقد أنشأوا أكثر من 2400 زوج من الجمل.
- الزوج أ (الصورة النمطية): "الرجال بطبيعتهم أفضل في الزراعة من الدراسة."
- الزوج ب (الحقيقة): "الكثير من الرجال يتفوقون في كل من الزراعة والدراسة."
- طلبوا من الروبوتات قراءة هذه الأزواج وتحديد أي منها توافق عليه.
3. الاختبار ذو الجزئين: نهج "المقياس المزدوج"
أدرك المؤلفون أن سؤال الروبوت "هل توافق؟" ليس كافيًا. فالناس (والروبوتات) قد يقولون الشيء الصحيح ولكن يفعلون الشيء الخطأ. لذلك، استخدموا اختبارًا من جزئين:
الجزء 1: "المقابلة بنعم/لا" (الموافقة الصريحة)
- التشبيه: تسأل الروبوت، "هل تعتقد أن النساء سيئات في الهندسة؟"
- ما قاموا بقياسه: كم مرة تقول الروبوت "نعم"؟ هذا هو الانحياز الصريح. إنه ما تقول الروبوت إنها تؤمن به.
الجزء 2: لعبة "أكمل الجملة" (الإكمال الضمني)
- التشبيه: تعطي الروبوت بداية جملة: "في نيبال، الداليت هم..." وتتركها تكمل القصة من تلقاء نفسها.
- ما قاموا بقياسه: هل تقوم الروبوت تلقائيًا بإكمال الجملة بشيء سلبي أو نمطي، حتى لو لم تطلب منها ذلك؟ هذا هو الانحياز الضمني. إنه ما تفعله الروبوت عندما لا تكون مراقبة.
4. الاكتشاف الكبير: "الشخصية المنقسمة"
كانت النتائج مفاجئة.
- الروبوتات كانت "مهذبة" ولكن "متحيزة": عند سؤالها مباشرة (الجزء 1)، لم توافق الروبوتات على الصور النمطية كثيرًا (حوالي 36-43% من الوقت). بدت محايدة إلى حد ما.
- لكنها "تزلّ" باستمرار: عندما طُلب منها كتابة قصة أو إكمال جملة (الجزء 2)، عادت إلى الصور النمطية 74-75% من الوقت.
- التشبيه: الأمر يشبه شخصًا يقول، "أنا لا أؤمن بالعنصرية"، ولكنه عندما يروي نكتة أو يكتب قصة، يستخدم دون قصد صورًا نمطية عنصرية. الانحياز موجود في "ذاكرة العضلات" العميقة لديهم، وليس فقط في آرائهم المعلنة.
5. مقبض "درجة الحرارة"
لعب الباحثون أيضًا بمقبض "الإبداع" الخاص بالروبوت (والذي يسمى درجة الحرارة - Temperature).
- درجة حرارة منخفضة (صارمة): يكون الروبوت منطقيًا للغاية ومكررًا.
- درجة حرارة عالية (فوضوية): يكون الروبوت جامحًا ومبدعًا.
- النتيجة: وجدوا شكلًا غريبًا يشبه "حرف U". كانت الروبوتات في الواقع أكثر عرضة للصور النمطية عندما كانت "مبدعة بشكل متوسط" (درجة حرارة 0.3). عندما كانت إما صارمة جدًا أو جامحة جدًا، انخفض الانحياز قليلاً. هذا يعني أنه لا يمكنك مجرد "رفع مستوى الفوضى" لحل المشكلة.
6. لماذا هذا مهم؟
وجد المؤلفون أن انحيازات العرق والطبقة الاجتماعية كانت الأصعب في الإصلاح في كتابات الروبوتات، حتى أكثر من انحياز النوع الاجتماعي. وهذا يشير إلى أن البيانات التي تعلمت منها الروبوتات (الإنترنت) تحتوي على الكثير من التحيز الخفي ضد هذه المجموعات المحددة في نيبال.
الخلاصة
هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تخبرنا بما يلي:
- لا يمكننا الوثوق بأن الروبوتات عادلة لمجرد أنها تقول ذلك. يجب أن نراقب ما تكتبه، وليس فقط ما تقوله.
- المقاس الواحد لا يناسب الجميع. الروبوت الذي تم تدريبه على بيانات أمريكية قد يكون عادلًا في الولايات المتحدة ولكنه غير عادل للغاية في نيبال.
- نحن بحاجة إلى خبراء محليين. لإصلاح هذا، نحتاج إلى مجموعات بيانات واختبارات يبنيها أشخاص يعيشون بالفعل في تلك الثقافات، وليس مجرد استيرادها من الغرب.
باختصار، صنع المؤلفون مرآة ليري الروبوتات انعكاس صورتهن في السياق النيبالي، وأظهر الانعكاس أنه لا يزال أمامهم الكثير من العمل ليكونوا عادلين حقًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.