Surfacing Subtle Stereotypes: A Multilingual, Debate-Oriented Evaluation of Modern LLMs
تقدم هذه الورقة \corpusname، وهو معيار تقييم متعدد اللغات يعتمد أسلوب المناظرة، يكشف أنه على الرغم من محاذاة السلامة، تعيد النماذج اللغوية الكبيرة الرائدة إنتاج الصور النمطية الراسخة باستمرار عبر سبع لغات، مع اشتداد التحيزات في السياقات ذات الموارد المنخفضة حيث تفشل المحاذاة المدربة باللغة الإنجليزية في التعميم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قمت ببناء أمين مكتبة آلي، ذكي جداً ومهذب للغاية. لقد علمته كيف يكون متعاوناً، غير ضار، وصادقاً. حتى أنك أعطيته كتاب قواعد صارم: "لا تكن فظاً أبداً، لا تكن عنصرياً أبداً، ولا تستخدم كلمات بذيئة أبداً".
الآن، تخيل أنك طلبت من أمين المكتبة هذا أن يستضيف مناظرة. قلت له: "لنترك خبيرين يتجادلان حول حقوق المرأة"، أو "لنناقش لماذا تعتبر بعض الدول 'متخلفة'". أنت تتوقع أن يكون أمين المكتبة عادلاً.
لكن هنا تكمن الحبكة: أمين المكتبة لا يكرر الكلمات البذيئة فحقة؛ بل يروي قصة يكون فيها "الأشرار" دائماً من أماكن محددة بعينها.
هذه الورقة البحثية، بعنوان "كشف الصور النمطية الخفية" (Surfacing Subtle Stereotypes)، تشبه قصة بوليسية حيث يتنكر المؤلفون ليروا ما إذا كانت هذه الروبوتات فائقة الذكاء تخفي تحيزاتها بالفعل. لقد صمموا اختباراً خاصاً يسمى DebateBias-8K.
إليك تفاصيل ما فعلوه وما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية:
١. الاختبار القديم مقابل الاختبار الجديد
الطريقة القديمة (اختبار الاختيار من متعدد):
في السابق، كان الباحثون يختبرون تحيز الذكاء الاصطناعي مثل معلم يعطي اختبار اختيار من متعدد. كانوا يسألون: "هل الطبيب عادةً رجل أم امرأة؟" ويرون ما إذا كان الذكاء الاصطناعي سيختار الإجابة الخاطئة.
- المشكلة: هذا يشبه اختبار سباح بسؤاله أن يقف ساكناً ويشير إلى صورة مياه. هذا لن يخبرك ما إذا كان بإمكانه السباحة فعلياً في المحيط. الحياة الواقعية ليست اختباراً؛ بل هي محادثة حرة وانسيابية.
الطريقة الجديدة (مناظرة الارتجال):
ابتكر المؤلفون اختبار "المناظرة". طلبوا من الذكاء الاصطناعي لعب شخصيتين: "خبير عصري" (يؤمن بالتقدم) و"خبير نمطي" (يتبنى آراء قديمة وسلبية). وكان على الذكاء الاصطناعي كتابة محادثة كاملة بينهما.
- التشبيه: بدلاً من طلب اختيار بطاقة من أمين المكتبة، طلبنا منه تمثيل مشهد. هذا يكشف عما يعتقده أمين المكتبة حقاً في أعماقه، وليس فقط ما يقوله عندما يُجبر على الاختيار.
٢. تجربة "اللغات السبع"
لم يختبر المؤلفون الذكاء الاصطناعي باللغة الإنجليزية فقط. بل اختبروه في سبع لغات، تتراوح من اللغات شديدة الشيوع (الإنجليزية، الصينية) إلى اللغات ذات الموارد الرقمية الأقل (السواحيلية، وبيتن الهجين النيجيري - Nigerian Pidgin).
- التشبيه: تخيل اختبار مترجم في مدينة كبيرة (الإنجليزية) ثم في قرية نائية (السواحيلية). أنت تريد أن تعرف ما إذا كان المترجم عادلاً في كل مكان، أم أنه يتصرف بشكل جيد فقط عندما يكون في "المدينة الكبيرة".
٣. "مناطق الخطر" الأربعة
طلبوا من الذكاء الاصطناعي مناظرة أربعة مواضيع حساسة:
١. حقوق المرأة: من يحق له اتخاذ قراراته الخاصة؟
٢. التخلف: أي الدول تعتبر "غير متطورة"؟
٣. الإرهاب: من يتم ربطه بالعنف؟
٤. الدين: أي العقائد تُرى على أنها مقيدة؟
٤. النتائج الصادمة
على الرغم من أن نماذج الذكاء الاصطناعي تم تدريبها لتكون "آمنة" و"لطيفة"، إلا أن اختبار المناظرة كشف أنها لا تزال متمسكة بصور نمطية عميقة.
- فخ "الإرهاب": عندما سُئل عن الإرهاب، كان الذكاء الاصطناعي ينسب دور "الرجل الشرير" إلى العرب (في أكثر من ٨٩٪ من الحالات)، حتى في لغات أخرى غير الإنجليزية. يبدو الأمر كما لو أن لدى الذكاء الاصطناعي مجلداً ذهنياً بعنوان "الإرهاب" لا يحتوي إلا على صور لمجموعة محددة.
- فخ "التخلف": عندما سُئل عن "التخلف" أو الفقر، نسب الذكاء الاصطناعي هذا الوصف بشكل ساحق إلى الأفارقة. في اللغة الإنجليزية، حدث ذلك بنسبة ٥٨٪ تقريباً. ولكن في لغة البيتين النيجيرية (Nigerian Pidgin) (وهي لغة منخفضة الموارد)، قفزت النسبة إلى ٧٧٪.
- التشبيه: إنه يشبه مذيع الطقس الذي يتوقع المطر دائماً لحي معين، حتى عندما تكون السماء صافية. والأسوأ من ذلك، أنه كلما كان اتصال الإنترنت في ذلك الحي أضعف (لغة منخفضة الموارد)، زاد إصرار مذيع الطقس على أنها تمطر.
- استثناء "الغرب": دور "الخبير العصري" كان يُعطى دائماً تقريباً للمجموعات الغربية. نادراً ما قام الذكاء الاصطناعي، أو لم يقم أبداً، بتصوير الغربيين كـ "أشرار" أو "متخلفين".
٥. منطقة الخطر "منخفضة الموارد"
كانت النتيجة الأكثر رعباً تتعلق بلغات مثل السواحيلية والبيتين النيجيرية.
- التشبيه: فكر في "تدريب السلامة" للذكاء الاصطناعي كدرع واقٍ. في الإنجليزية، الدرع سميك وقوي. ولكن في اللغات ذات الموارد الأقل، يوجد ثقوب في هذا الدرع. يصبح الذكاء الاصطناعي أكثر تحيزاً في هذه اللغات، وليس أقل.
- لماذا يهم هذا؟: هذه لغات يتحدث بها الملايين ممن يعتمدون بشدة على أدوات الذكاء الاصطناعي هذه لأن ليس لديهم خيارات أخرى كثيرة. إذا كان الذكاء الاصطناعي أكثر عنصرية أو نمطية في لغتهم، فإن ذلك يسبب ضرراً حقيقياً في الواقع.
٦. تأثير "المرآة الثقافية"
وجد المؤلفون أن الذكاء الاصطناعي لا يكتفي بنسخ الصور النمطية الإنجليزية؛ بل يكيفها مع الثقافة المحلية.
- مثال: في الإنجليزية، قد يقول الذكاء الاصطناعي "العرب متطرفون دينياً". لكن في الهندية، بدأ الذكاء الاصطناعي يقول "الهنود متطرفون دينياً".
- التشبيه: إنه يشبه الحرباء. في غرفة ما، يبدو كأنه سحلية خضراء؛ وفي غرفة أخرى، يبدو كأنه سحلية بنية. الذكاء الاصطناعي يأخذ مفهوم "الرجل الشرير" ويلونه بألوان الثقافة المحلية، بدلاً من الالتزام بصورة واحدة ثابتة.
الخلاصة الكبرى
تخلص الورقة إلى أنه لا يمكننا فقط تعليم الذكاء الاصطناعي أن يكون مهذباً بالإنجليزية ونتوقع منه أن يكون عادلاً في كل مكان.
قواعد السلامة الحالية تشبه لوحة "ممنوع اللمس" في معرض متحفي. إنها تمنع الناس من تحطيم الزجاج (خطاب الكراهية الصريح)، لكنها لا تمنع المعرض من عرض نسخة مشوهة ومنحازة من التاريخ (الصور النمطية الخفية).
الحل؟
نحن بحاجة لاختبار الذكاء الاصطناعي في لغات عديدة، وفي محادثات حقيقية، وليس فقط في الاختبارات القصيرة. نحن بحاجة لبناء "درع سلامة" يناسب كل ثقافة، وليس فقط الثقافة التي صُمم الدرع فيها في الأصل.
باختاً مختصراً: الذكاء الاصطناعي مهذب، لكنه لا يزال متحيزاً. وهو أكثر تحيزاً عندما يتحدث مع الأشخاص الذين هم في أمسّ الحاجة إليه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.