Investigating Counterfactual Unfairness in LLMs towards Identities through Humor
تبحث هذه الورقة في عدم الإنصاف الافتراضي في النماذج اللغوية الكبيرة من خلال تحليل كيفية تغير استجابات الفكاهة عند تبديل هويات المتحدث والمستهدف، مما يكشف أن النماذج ترفض بشكل منهجي، وتعتبر كاذبة أو خبيثة، وتصنف كأكثر ضرراً النكات التي يلقيها المتحدثون المتميزون مقارنة بتلك الصادرة عن المجموعات المهمشة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ذكيًا ومطلعًا للغاية يُدعى "كوميدي بوت" (Comedy Bot). هذا الروبوت قد قرأ كل شيء تقريبًا على الإنترنت، لذا فهو يعرف الكثير عن النكات، والثقافة، وكيف يتحدث البشر مع بعضهم البعض. ولكن نظرًا لأنه تعلم من الإنترنت، فقد امتص أيضًا كل الافتراضات غير العادلة والمؤذية والمسيئة التي يتبناها البشر تجاه بعضهم البعض.
هذه الورقة البحثية تشبه مجموعة من المحققين الذين يجرون على "كوميدي بوت" سلسلة من اختبارات "تبادل الهويات" ليروا ما إذا كان سيعامل الناس بإنصاف. لقد استخدموا الفكاهة كعدسة مكبرة لهم لأن النكات أمر معقد: فهي تعتمد كليًا على من يلقي النكتة، ومن يسمعها، وطبيعة العلاقة بينهما.
إليك ما وجدوه، مشروحًا عبر تشبيهات بسيطة:
1. حارس الباب ذو "المعايير المزدوجة" (المهمة 1)
تخيل أن "كوميدي بوت" هو حارس أمن عند مدخل ملهى ليلي. تطلب منه أن يخبرك بنكتة.
- السيناريو أ: شخص ثري وذو نفوذ يطلب نكتة تسخر من شخص فقير.
- السيناريو ب: شخص فقير يطلب نكتة تسخر من شخص ثري.
النتيجة: يغلق الحارس الباب في وجه السيناريو (أ) بنسبة تزيد عن 67.5% مقارنة بالسيناريو (ب).
- التشبيه: الأمر يشبه حارس أمن يخشى بشدة أن يسخر شخص غني من عامل نظافة، لكنه لا يمانع تمامًا أن يسخر العامل من الغني. لقد استوعب الروبوت قاعدة مفادها: "إذا كنت تملك القوة، فلا يمكنك السخرية من الأقل حظًا". لكنه من شدة خوفه من ارتكاب الأخطاء، يقوم أحيانًا بحظر النكتة حتى لو كانت غير ضارة، لمجرد هوية الشخص الذي طلبها.
2. المحقق ذو "العقل المرتاب" (المهمة 2)
الآن، يعطي المحققون الروبوت نفس النكتة تمامًا لتحليلها، لكنهم يغيرون الشخصيات التي تلقيها.
- النكتة: "لماذا عبر الدجاج الطريق؟ ليكون في الجانب الآخر." (لنتخيل أن هذه النكتة تتعلق بصورة الجسد).
- السيناريو أ: شخص رياضي يلقي هذه النكتة على شخص من ذوي الاحتياجات الخاصة.
- السيناريو ب: شخص من ذوي الاحتياجات الخاصة يلقي هذه النكتة على شخص رياضي.
النتيجة: رغم أن النكتة متطابقة، إلا أن الروبوت يعتقد أن الشخص الرياضي كان خبيثًا وقاسيًا، بينما يعتقد أن الشخص من ذوي الاحتياجات الخاصة كان مجرد ودود أو يمزح مع نفسه.
- التشبيه: الأمر يشبه مشاهدة فيلم حيث يُفترض دائمًا أن الرجل الغني ببدلته الأنيقة هو الشرير، حتى لو كان يقول فقط "مرحبًا". الروبوت ينظر إلى "الزي الرسمي" (الهوية) للمتحدث ويقرر نيته قبل أن ينهي جملته. إنه يفترض أن الامتياز يعني نوايا سيئة.
3. "المرآة الاجتماعية" (المهمة 3)
أخيرًا، يتعين على الروبوت تخيل كيف سيكون رد فعل المستمع تجاه نكتة ما.
- السيناريو أ: مدير يلقي نكتة لموظف لديه.
- السيناريو ب: موظف يلقي نفس النكتة لمديره.
النتيجة: يتوقع الروبوت أن الموظف سيكون أكثر إهانة واستياءً بكثير، وأن المدير سيكون أكثر حساسية عندما يلقي المدير النكتة. كما يعطي المدير "درجة ضرر" أعلى بمقدار 1.5 نقطة على مقياس مكون من 5 نقاط.
- التشبيه: إنه يشبه مرآة تشوه الواقع. عندما يتحدث شخص ذو سلطة، تجعل المرآة النكتة تبدو ضخمة وخطيرة. وعندما يتحدث شخص أقل سلطة، تقوم المرآة بتصغير النكتة لتصبح شيئًا صغيرًا وآمنًا. الروبوت لا ينظر إلى النكتة؛ بل ينظر إلى ميزان القوى.
المشكلة الكبرى: خلل "شارة الهوية"
وجد الباحثون أن نماذج الذكاء الاصطناعي هذه تشبه الأشخاص الذين يرتدون شارات الهوية بدلاً من قراءة المحادثة الفعلية.
- إذا كانت شارتك تقول "صاحب امتياز"، يضعك الروبوت تحت المجهر ويفترض أنك خطر.
- إذا كانت شارتك تقول "مهمش"، يضعك الروبوت داخل فقاعة ويفترض أنك غير ضار، حتى لو كنت تحاول أن تكون مضحكًا بطريقة مختلفة.
المفارقة: يحاول الروبوت جاهدًا أن يكون "آمنًا" و"عادلًا" لدرجة أنه أصبح غير عادل. لقد توقف عن الحكم على محتوى النكتة وبدأ يحكم على الشخص الذي يرويها. إنه يشبه معلمًا يرفض السماسة بترك رئيس الفصل يلقي نكتة لأنه "قد يكون لئيمًا"، لكنه يسمح لـ "مهرج الفصل" بقول نفس النكتة بالضبط لأنه "مجرد شخص مرح".
لماذا هذا الأمر مهم؟
خلصت الورقة البحثية إلى أننا لا يمكننا مجرد قول "كن لطيفًا" للذكاء الاصطناعي. نحن بحاجة لتعليمه السياق.
- الذكاء الاصطناعي الحالي: "شخص غني + نكتة عن فقير = سيء". (هذا بسيط للغاية).
- الذكاء الاصطناعي المستقبلي: "شخص غني + نكتة عن فقير + سياق نادي كوميدي + نبرة ساخرة = ربما يكون أمرًا مقبولًا؟ دعنا نتحقق من التفاصيل".
الهدف هو بناء ذكاء اصطناعي يفهم تفاصيل العلاقات الإنسانية بدلاً من مجرد اتباع كتاب قواعد جامد قائم على الصور النمطية. وحتى ذلك الحين، ستظل هذه النماذج مثل حارس ملهى ليلي خائف جدًا من إغضاب أي شخص لدرجة أنه نسي كيف يستمع فعليًا إلى النكتة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.