LLM Bias Evaluation: Gender, Racial, and Age Disparities in Occupational and Crime Scenarios
تقيم هذه الورقة التحيزات القائمة على النوع الاجتماعي، والعرق، والعمر في أربعة من النماذج اللغوية الكبيرة الرائدة لعام 2024 عبر سيناريوهات مهنية وإجرامية، مما يكشف عن انحرافات كبيرة عن بيانات الواقع ويُظهر أن جهود معالجة التحيز الحالية غالباً ما تخلق مقايضات جديدة للعدالة تُعرف باسم "مفارقة معالجة التحيز".
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أربعة مساعدين رقميين أذكياء جداً ومطلعين جداً (نماذج لغوية كبيرة، أو LLMs) اسمهم Gemini وClaude وGPT وLlama. هؤلاء المساعدون قرأوا كل شيء تقريباً على الإنترنت، من المقالات الإخبارية إلى الروايات، وهم الآن يُطلب منهم كتابة قصص قصيرة لنا.
هذه الورقة البحثية تشبه لعبة "أوجد الفروق" بين الصور. فقد طلب الباحثون من هؤلاء المساعدين الأربعة كتابة قصص حول شيئين محددين:
- الوظائف: "اكتب قصة عن ممرضة"، "اكتب قصة عن إطفائي"، إلخ.
- الجرائم: "اكتب قصة عن شخص ارتكب سرقة"، "اكتب قصة عن شخص قاد سيارته تحت تأثير الكحول"، إلخ.
بعد ذلك، قام الباحثون بفحص القصص لمعرفة: من هم الشخصيات؟ هل هم رجال أم نساء؟ ما هي أعراقهم؟ كم تبلغ أعمارهم؟ وأخيراً، قارنوا إجابات المساعدين بـ الحقائق في العالم الحقيقي (مثل الإحصاءات الرسمية للحكومة الأمريكية حول من يشغل هذه الوظائف أو يرتكب هذه الجرائم فعلياً).
إليك ما وجدوه، مشروحاً ببساطة:
1. قصص الوظائف: "التصحيح المفرط"
عندما طُلب منها كتابة قصص عن الوظائف، نجحت المساعدات عموماً في كتابة "الصور النمطية السهلة" بشكل صحيح. إذا كان الطلب هو "ممرضة" أو "موظفة استقبال"، فغالباً ما كتبن عن النساء. وإذا كان الطلب هو "إطفائي" أو "عامل بناء"، فغالباً ما كتبن عن الرجال. وهذا يتطابق مع الواقع بشكل جيد جداً.
ومع ذلك، تعثرت المساعدات في "الوظائف ذات المكانة العالية".
- العالم الحقيقي: وفقاً لبيانات الحكومة الأمريكية، حوالي 69% من الرؤساء التنفيذيين و80% من مهندسي البرمجيات هم من الرجال.
- المساعدات الرقمية: عندما طُلب منها كتابة قصة عن رئيس تنفيذي أو مهندس برمجيات، كتبت هذه المساعدات عن النساء بشكل حصري تقريباً (أحياناً بنسبة 99% من الوقت).
التشبيه: تخيل مدير مدرسة يحاول حل مشكلة حيث يتم اختيار مجموعة واحدة دائماً لتولي دور القائد. ولحل المشكلة، يقرر المدير اختيار المجموعة الأخرى فقط للعام القادم. لقد ذهب المدير بعيداً جداً! تطلق الورقة على هذا اسم "الإفراط في التخصيص" (Over-indexing). لقد حاولت المساعدات جاهدات أن يكنّ عادلات وألا يكنّ متحيزات جنسياً، لكنهن انحرفن بالبندول إلى الطرف الآخر تماماً، مما خلق نوعاً جديداً من عدم الإنصاف حيث أصبح الرجال الآن ممثلين بنقص في هذه الأدوار ذات السلطة العالية.
2. قصص الجرائم: "المرآة المشوهة"
عندما كتبت المساعدات قصصاً عن الجرائم (مثل السرقة، أو الاحتيال، أو القتل)، كانت النتائج مختلطة ومربكة مقارنة ببيانات الشرطة الحقيقية.
- الجنس: يظهر العالم الحقيقي أن الرجال يرتكبون معظم الجرائم.
- GPT كان دقيقاً بعض الشيء، حيث كتب غالباً عن الرجال.
- Gemini و Llama انحرفا إلى الطرف الآخر، حيث كتبا غالباً عن النساء يرتكبن الجرائم، رغم أن البيانات تقول إن الرجال هم الأغلبية.
- Claude كان الأكثر توازناً، لكنه لا يزال يعاني من بعض الثغرات.
- العرق: في الولايات المتحدة الحقيقية، تظهر إحصاءات الجريمة مزيجاً معيناً من الأعراق.
- معظم المساعدات (باستثناء Gemini) كتبن قصصاً كان المجرمون فيها معظمهم من البيض، رغم أن البيانات الحقيقية تظهر توزيعاً مختلفاً. بدا وكأن المساعدات قد "بالغن في التخصيص" نحو الشخصيات البيضاء، ربما لتجنب أن يكنّ عنصريات، لكن انتهى بهن الأمر بمحو واقع المجموعات الأخرى.
- العمر: نجحت المساعدات عموماً في جعل أعمار المجرمين أقرب إلى الواقع أكثر من الجنس أو العرق، رغم أن بعضها لا يزال يخمن الفئات العمرية الخاطئة بشكل متكرر.
3. الخلاصة الرئيسية
تخلص الورقة إلى أنه على الرغم من أن الشركات التي تبني هذه النماذج تعمل بجد لإزالة التحيز (باستخدام تدريب خاص وتغذية راجعة بشرية)، إلا أنها لم تحل المشكلة تماماً بعد.
المشكلة الأساسية: الأمر يشبه محاولة موازنة ميزان.
- إذا كان الميزان ثقيلاً في جانب واحد (التحيز التاريخي)، وحاولت إصلاحه، فقد تضع ثقلاً زائداً بالخطأ على الجانب الآخر.
- وجدت الورقة أنه عندما تحاول الذكاء الاصطناعي إصلاح التحيز الجنسي أو العرقي، فإنها غالباً ما تخلق مشكلة جديدة حيث تفضل مجموعة واحدة أكثر من اللازم، مما يجعل البيانات تبدو مزيفة مقارنة بالواقع.
الملخص
اختبر الباحثون أربعة من أفضل نماذج الذكاء الاصطناي في عام 2024. ووجدوا أنه بينما يتحسن الذكاء الاصطناعي، فإنه لا يزال يكافح ليقول الحقيقة حول من يفعل ماذا في عالمنا.
- في الوظائف، غالباً ما تتجاهل الرجال في الأدوار القيادية.
- في الجرائم، غالباً ما تتجاهل الرجال والملونين، أو تخترع واقعاً لا يتطابق مع تقارير الشرطة.
تحذر الورقة من أن مجرد محاولة "إصلاح" التحيز ليست كافية إذا كان هذا الإصلاح يخلق تحيزاً جديداً ومعاكساً. الهدف ليس فقط أن نكون "مختلفين" عن الماضي، بل أن نكون دقيقين بالنسبة للحاضر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.