When LLMs Imagine People: A Human-Centered Persona Brainstorm Audit for Bias and Fairness in Creative Applications
تقدم هذه الورقة البحثية "تدقيق عصف الشخصيات" (PBA)، وهو منهج قابل للتوسع للكشف عن التحيز في الشخصيات التي تولدها النماذج اللغوية الكبيرة ذات الاستجابات المفتوحة باستخدام معامل "كرامر في" (Cramér's V) المعياري، والذي يكشف أن النماذج الأكبر لا تضمن تحسين العدالة وأن التحيزات التقاطعية غالبًا ما تظل خفية في التقييمات أحادية المحور.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مدير توظيف، أو مصمم ألعاب، أو كاتب يحاول إنشاء مجموعة متنوعة من الشخصيات لقصة جديدة. تطلب من مساعد ذكاء اصطناعي فائق الذكاء أن "يستعرض 20 شخصاً مختلفاً" من أجلك. أنت تتوقع مزيجاً من الأطباء، والفنانين، والمهندسين، والمعلمين من كافة مناحي الحياة.
ولكن ماذا لو استمر الذكاء الاصطناعي، دون أن تدرك ذلك، في جعل جميع الأطباء رجالاً، والممرضات نساءً، والمهندسين من بلد معين؟ هو لا يحاول أن يكون لئيماً؛ هو فقط يكرر الأنماط التي تعلمها من الإنترنت.
هذه الورقة البحثية تتحدث عن أداة جديدة تسمى "تدقيق استعراض الشخصيات" (Persona Brainstorm Audit - PBA) والتي تعمل مثل "محقق العدالة" لمساعدي الذكاء الاصطناعي هؤلاء. إليك تفصيل الأمر بكلمات بسيطة:
1. المشكلة: تأثير "غرفة الصدى"
فكر في النماذج اللغوية الكبيرة (LLMs) كأنها إسفنجات عملاقة امتصت كل شيء تقريباً مما كُتب على الإنترنت. عندما تحاول هذه النماذج ابتكار شخص ما (شخصية)، فهي لا تخترع شخصاً جديداً فحسب؛ بل تسحب من تلك الإسفنجة. وإذا كانت الإسفنجة مليئة بالصور النمطية القديمة (مثل: "الرجال بارعون في الرياضيات"، "النساء بارعات في الرعاية")، فإن الذكاء الاصطناعي سيبصق تلك الصور النمطية بالخطأ.
كانت الطرق السابقة للتحقق من هذا تشبه اختبار الإسفنجة عبر عصرها مرة أو مرتين. لقد استخدموا أسئلة جامدة ومحددة مسبقاً (مثل "هل الممرضة رجل أم امرأة؟"). لكن في العالم الحقيقي، لا يجيب الناس داخل دوائر الاختيار من متعدد؛ بل يكتبون قصصاً. الاختبارات القديمة فاتتها الطرق الإبداعية والمفتوحة التي يستخدمها الذكاء الاصطناعي في خلق التحيز.
2. الحل: "محقق العدالة" (PBA)
ابتكر المؤلفون طريقة جديدة تسمى PBA. بدلاً من إعطاء الذكاء الاصطناعي اختباراً قصيراً، نقول له: "يا ذكاء اصطناعي، تخيل 20 شخصاً مختلفاً. أخبرني بأسمائهم، ووظائفهم، وهواياتهم، وخلفياتهم."
بعد ذلك، ننظر إلى النتائج مثلما ينظر الإحصائي إلى جدول بيانات ضخم. نحن نسأل:
- "هل الأشخاص الذين يحملون اسم العائلة 'سميث' يتم تعيينهم دائماً كمديرين تنفيذيين؟"
- "هل الأشخاص الذين تظهر كلمة 'مثلي/مثلية' في ملفاتهم يتم تعيينهم دائماً كفنانين؟"
- "هل يتم تعيين أصحاب الأسماء 'السوداء' في وظائف ذات أجور أقل من أصحاب الأسماء 'البيضاء' بشكل متكرر؟"
نحن نستخدم صيغة رياضية خاصة (نسخة متطورة من "مقياس الارتباط") لإعطاء هذه التحيزات درجة شدة. إنها تشبه إشارة المرور:
- 🟢 الأخضر: تحيز منخفض (الذكاء الاصطناعي يتصرف بعدل).
- 🟡 الأصفر: تحيز متوسط (انتبه).
- 🔴 الأحمر: تحيز عالٍ (الذكاء الاصطناعي يكرر الصور النمطية بكثافة).
- ⚫ الأحمر الداكن: تحيز عالٍ جداً (الذكاء الاصطناعي في مشكلة كبيرة).
3. المفاجأة الكبرى: الأكبر ليس دائماً الأفضل
اختبر الباحثون 12 نموذجاً مختلفاً للذكاء الاصطناعي (بما في ذلك الأحدث والأكبر والأغلى ثمناً). كانوا يتوقعون أنه كلما أصبح الذكاء الاصطناعي أكثر ذكاءً وحداثة، فإنه سيصبح أكثر عدلاً.
التحول غير المتوقع؟ ليس بالضرورة.
- أسطورة "رائحة السيارة الجديدة": وجدوا أن النماذج الأحدث والأكثر قوة (مثل سلسلة GPT-5) كانت في الواقع أكثر تحيزاً في بعض الجوانب من النماذج الأقدم قليلاً.
- أفعوانية "الارتفاع والانخفاض": التحيز لا ينخفض في خط مستقيم. إنه يرتفع، ثم ينخفض، ثم يقفز مجدداً. إنه يشبه الحمية الغذائية حيث تفقد الوزن، ثم تسترجعه، ثم تخسره مرة أخرى. مجرد كون النموذج هو "الإصدار 5.0" لا يعني أنه "عدالة 5.0".
- الحجم يهم (ولكن ليس بالطريقة التي تظنها): في بعض الأحيان، كانت النماذج الأصغر والأبسط أكثر عدلاً من النماذح الضخمة والمعقدة.
4. الخطر الخفي: التقاطعية (Intersectionality)
هذا هو الجزء الأهم. تخيل أنك تتحقق مما إذا كان الذكاء الاصطناعي عادلاً مع "النساء" ووجدت أنه بخير. ثم تتحقق مما إذا كان عادلاً مع "المثليين" ووجدته بخير. قد تعتقد: "يا للهول، نحن بخير!"
لكن أداة PBA نظرت إلى الدمج (التقاطعية). وجدوا أنه بينما قد يكون الذكاء الاصطناعي جيداً مع "النساء" بشكل عام، وجيداً مع "المثليين" بشكل عام، إلا أنه يصبح غريباً جداً عند الجمع بينهما.
- مثال: قد يتعامل الذكاء الاصطناعي مع "الرجال المثليين" و"النساء المغايرات" بعدل، ولكن عندما ينشئ "امرأة مثلية" أو "رجلاً ثنائي الجنس"، فإنه فجأة يخصص لهم وظائف محددة جداً وغالباً ما تكون ذات مكانة اجتماعية منخفضة.
- الاستعارة: الأمر يشبه التحقق مما إذا كانت السيارة تمتلك مكابح جيدة وإطارات جيدة. كل منهما على حدة جيد. ولكن إذا قدت السيارة على طريق زلق (هوية متقاطعة)، فقد تصطدم السيارة لأن "التركيبة" لم تُختبر.
5. "المطالبة السحرية" لم تنجح
حاول الباحثون حيلة شائعة: أخبروا الذكاء الاصطناعي: "يرجى أن تكون متنوعاً وتتجنب الصور النمطية!" (وهذا ما يسمى "مطالبة تقليل التحيز").
النتيجة؟ لم يغير ذلك شيئاً تقريباً. الأمر يشبه إخبار شخص اعتاد على تناول الوجبات السريعة طوال حياته: "تناول سلطة واحدة فقط"، وتوقع أن يتحول فوراً إلى مهتم بالصحة. "الإسفنجة" الداخلية للذكاء الاصطناعي كانت ممتلئة جداً بالأنماط القديمة لدرجة أن تعليمات بسيطة لن تتمكن من إصلاحها.
6. لماذا يهمك هذا؟
إذا كنت تستخدم الذكاء الاصطناعي لكتابة القصص، أو تصميم ألعاب الفيديو، أو حتى للمساعدة في محاكاة التوظيف، فقد تنشر صوراً نمطية ضارة دون قصد.
- للمبدعين: لا يمكنك الوثوق بالذكاء الاصطناعي "الأحدث" فحسب. يجب عليك تدقيقه.
- للشركات: لا يمكنك افتراض أن شراء نموذج ذكاء اصطناعي أغلى ثمناً يعني أنك ستكون أكثر أخلاقية.
- للجميع: نحن بحاجة إلى الاستمرار في فحص هذه الأدوات. العدالة ليست حلاً لمرة واحدة؛ إنها عملية مستمرة من الفحص وإعادة الفحص، تماماً كما نفحص سلامة الجسر كل عام.
باخت-مختصر: تقدم لنا هذه الورقة مسطرة جديدة ومرنة لقياس مدى عدالة الذكاء الاصطناعي عندما يبتكر أشخاصاً. تخبرنا أن الذكاء الاصطناعي لا يزال مليئاً بالصور النمطية القديمة، وأن النماذج الأحدث ليست بالضرورة أفضل، وأننا بحاجة إلى مراقبة كيفية اختلاط الهويات المختلفة لرؤية الصورة الحقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.