Fairness Testing of Large Language Models in Role-Playing
تقدم هذه الورقة دراسة تجريبية حول اختبار العدالة في النماذج اللغوية الكبيرة (LLMs) أثناء سيناريوهات لعب الأدوار، باستخدام مجموعة بيانات تم إنشاؤها حديثاً تضم 33,000 سؤال خاص بالأدوار للكشف عن تحيزات اجتماعية واسعة الانتشار عبر 10 نماذج متقدمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فريقاً من الروبوتات الذكية للغاية والمثقفة. هذه الروبوتات تشبه "أمين المكتبة الخارق" الذي قرأ كل شيء تقريباً كُتب على الإطلاق. إنها بارعة في الإجابة على الأسئلة، وكتابة القصص، وحتى التظاهر بأنها أشخاص آخرين. هذا "التظاهر" يسمى "لعب الأدوار".
إذا سألت الروبوت: "ما هي عاصمة فرنسا؟"، فإنه يعطيك حقيقة. ولكن إذا قلت له: "تظاهر بأنك سائق تاكسي فرنسي غاضب من عشرينيات القرن الماضي"، فسيغير الروبوت شخصيته ونبرته وأسلوبه ليتناسب مع تلك الشخصية.
المشكلة:
كان الباحثون في هذه الورقة البحثية قلقين من وجود خطر خفي. فقد اشتبهوا في أنه عندما يرتدي هؤلاء الروبوتات "قناعاً" (دوراً ما)، فقد يبدأون في قول أشياء مسيئة أو غير عادلة أو نمطية لم يكونوا ليقولوها لولا ذلك.
فكر في الأمر مثل مسرحية.
- بدون قناع: يكون الممثل على طبيعته، مهذباً ومحايداً.
- مع القناع: يرتدي الممثل زي "الشرير". وفجأة، يبدأ في قول أشياء مثل: "أنا أكره الناس من تلك القرية!"
أراد الباحثون معرفة: هل يصبح روبوتات الذكاء الاصطناعي لدينا "أشراراً" عندما يرتدون بعض الأزياء؟
ماذا فعلوا؟ (التجربة)
لمعرفة ذلك، بنى الفريق آلة اختبار ضخمة أطلقوا عليها اسم BiasLens (عدسة التحيز). وإليك كيف عملت، خطوة بخطوة:
1. ابتكار الأزياء (الأدوار)
طلبوا من ذكاء اصطناعي ابتكار 550 شخصية مختلفة. لم تكن مجرد "طبيب" أو "معلم"، بل كانت محددة ومتنوعة، تغطي 11 فئة مختلفة من الهوية البشرية، مثل:
- العرق: (مثلاً: "شخص من ثقافة آسيوية معينة")
- الجنس: (مثلاً: "مديرة تنفيذية")
- العمر: (مثلاً: "مراهق" مقابل "شخص مسن")
- نوع الجسم: (مثلاً: "شخص طويل جداً" مقابل "شخص من ذوي الاحتياجات الخاصة")
- الدين: (مثلاً: "زعيم ديني معين")
2. طرح الأسئلة الماكرة
لكل واحدة من تلك الشخصيات الـ 550، قاموا بتوليد 60 سؤالاً ماكراً.
- مثال: "أنت [الدور]. من تعتقد أنه أفضل في الرياضيات: المجموعة (أ) أم المجموعة (ب)؟"
- الفخ: إذا أجاب الروبوت: "المجموعة (أ) أفضل"، فقد يكشف ذلك عن تحيز خفي (نمط متوقع) ضد المجموعة (ب).
لقد أنشأوا 33,000 سؤالاً في المجمل. إنها مكتبة ضخمة من "الفخاخ" المصممة لمعرفة ما إذا كان الروبوت سيقع فيها.
3. قاعدة "الضربات الثلاث"
يمكن أن تكون الروبوتات غير متوقعة أحياناً؛ فأحياناً تقول شيئاً، وفي المرة التالية التي تسألها فيها نفس السؤال، تقول شيئاً آخر. وللتأكد، سأل الباحثون كل روبوت نفس السؤال ثلاث مرات.
- إذا قدم الروبوت إجابة متحيزة مرتين أو أكثر، فقد احتسبوا ذلك على أنه "خطأ برمجي ناتج عن التحيز".
ماذا وجدوا؟ (النتائج)
كانت النتائج صادمة، كأنك اكتشفت أن حتى أكثر الروبوتات أدباً لديها "جانب سيء" سري عندما تقوم بالتمثيل.
- الأرقام: اختبروا 10 من أذكى نماذج الذكاء الاصطناعي في العالم (مثل GPT-4 وLlama وغيرها). قدمت هذه الروبوتات معاً 107,580 إجابة متحيزة.
- بعض الروبوتات كانت "ممثلين أسوأ" من غيرها، حيث قدمت ما يصل إلى 16,963 إجابة متحيزة لكل منها!
- تأثير "القناع": هذا هو الجزء الأهم. عندما سأل الباحثون نفس الأسئلة بدون إخبار الروبوت أن يتظاهر بأنه شخصية ما، كانت الروبوتات أكثر عدلاً بكثير.
- التشبيه: الأمر يشبه شخصاً خجولاً يكون مهذباً في الحفلات، لكنه يصبح فظاً وعدوانياً عندما يرتدي زي بطل خارق. "لعب الأدوار" نفسه هو ما حفز السلوك السيئ.
- في المتوسط، أدى إزالة تعليمات لعب الأدوار إلى تقليل التحيز بنسبة 23.8%.
- الأسوأ حالاً: كانت الروبوتات أكثر عرضة لعدم العدالة عندما تتعلق الأدوار بـ العرق والثقافة. كما واجهت الكثير من المشاكل مع العمر (التحيز ضد الشباب أو كبار السن).
لماذا يهمنا هذا؟
تخيل أنك وظفت روبوتاً ليكون قاضياً في محكمة، أو طبيباً في مستشفى، أو معلماً في مدرسة.
- إذا قلت للروبوت: "تظاهر بأنك قاضٍ من القرن التاس عشر"، فقد يبدأ في اتخاذ قرارات غير عادلة بناءً على صور نمطية قديمة ومنتهية الصلاحية.
- إذا قلت له: "تظاهر بأنك مدير توظيف"، فقد يرفض مرشحين مؤهلين بناءً على أسمائهم أو خلفياتهم.
تحذر الورقة البحثية من أن لعب الأدوار هو سلاح ذو حدين. فهو يجعل الذكاء الاصطناعي أكثر متعة وفائدة، ولكنه أيضاً يفتح "جانباً مظلماً" من التحيز لم نكن نعرف بوجوده.
الخلاصة
لم يكتفِ الباحثون بإيجاد المشكلة فحسب، بل بنوا الأدوات لإصلاحها.
- أصدروا البيانات: جعلوا جميع الأسئلة الـ 33,000 والنتائج عامة لكي يتمكن العلماء الآخرون من دراستها.
- قدموا تحذيراً: يحتاج مطورو الذكاء الاصطناعي إلى اختبار نماذجهم خصيصاً أثناء قيامها بلعب الأدوار. لا يمكنك فقط اختبار الروبوت عندما يكون "نفسه".
- الدرس المستفاد: مجرد كون الروبوت ذكياً لا يعني بالضرورة أنه عادل. أحياناً، كلما طلبنا منه أن يتصرف بشكل أكثر "بشرية"، زادت تحيزاته البشرية (وعيوبه).
باختصار: إذا كنت تريد للذكاء الاصطناعي أن يكون عادلاً، فعليك التحقق من سلوكه ليس فقط عندما يكون روبوتاً، بل أيضاً عندما يرتدي قناعاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.