GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

ملخص تقني: GKnow: قياس تشابك التحيز الجندري والجنس الواقعي

بيان المشكلة
ركزت أبحاث التفسير الآلي الحديثة على تحديد وتخفيف التحيز الجندري في النماذج اللغوية الكبيرة (LLMs) من خلال تحليل المكونات المحددة المسؤولة عن المخرجات المتحيزة. ومع ذلك، تعاني النهج الحالية من قصورين رئيسيين: (1) غالبًا ما تستهدف مهامًا محددة للغاية، مثل التنبؤ بالضمائر المرتبطة بالجنس، (2) وتفشل في التمييز بين الجنس الواقعي (الارتباط الدلالي الصحيح بين الاسم وجنسه، مثل "امرأة" $\leftarrow$ "هي") والجين التقليدي/النمطي (المخرات القائمة على الصور النمطية الاجتماعية، مثل "ممرضة" $\leftarrow$ "هي").

يؤدي هذا الافتقار إلى التمييز إلى أثر جانبي حرج في جهود إزالة التحيز: تدهور معرفة النموذج بالجنس الواقعي. تشير الأعمال الحالية إلى أن إشارات الجنس الواقعي والتحيز الجندري متشابكة داخل التمثيلات الداخلية للنموذج، ومع ذلك، لا تزال القصة الآلية لهذا التشابك عند مستويات الدوائر والعصبونات غير مفسرة إلى حد كبير. وبناءً على ذلك، فإن تقنيات إزالة التحيز البسيطة مثل استئصال العصبونات (neuron ablation) قد تؤدي دون قصد إلى إزالة قدرة النموذج على التنبؤ الصحيح بالجنس الواقعي مع ادعاء النجاح في اختبارات معايير التحيز.

المنهجية
لمعالجة هذه الفجوات، يقترح المؤلفون نهجًا متعدد الأوجه يجمع بين تنسيق مجموعات البيانات، وتحليل الدوائر، وتجارب استئصال العصبونات على نموذجين من نماذج Transformer ذات فك الترميز (decoder-only): Llama-3.1-8b و Olmo-7b.

1. تنسيق مجموعة البيانات (GKnow):
   قدم المؤلفون GKnow، وهو معيار مصمم لتقييم المعرفة والتحيز الجندري عبر أنواع تنبؤ متنوعة. تصنف GKnow المطالبات (prompts) حسب الافتراض (الموضوع) والمخرج المتوقع. تتضمن مجموعة البيانات:

• المجموعات الفرعية الواقعية: تعتمد على الأسماء المرتبطة لغويًا بالجنس (مثل "امرأة")، والأسماء، والمؤشرات الصريحة للجنس.
• المجموعات الفرعية النمطية: تعتمد على المهن أو السمات المرتبطة نمطيًا بالجنس (مثل "ممرضة" أو "مربية/حنونة").
• أنواع التنبؤ: التنبؤ بالضمائر المرتبطة بالجنس، وتحديد الجنس، والتنبؤ بالأسماء.
  تسمح GKnow بفصل المهام إلى فئات "نمطية" (عرضة للتحيز) و"واقعية" (قائمة على المعرفة) لقياس التشابك.

2. تحليل الدوائر:
   باستخدام EAP-IG (نسب الحواف مع التدرج المتكامل)، يحدد المؤلفون دوائر دنيا وفية مسؤولة عن التنبؤات الجندرية. ويحللون:

• التقاطع فوق الاتحاد (IoU): قياس التداخل بين الحواف والعقد بين الدوائر لمهام مختلفة.
• الأمانة عبر المهام (Cross-task Faithfulness): تقييم ما إذا كانت الدائرة المحددة لمهمة واحدة (مثل التنبؤ النمطي) يمكنها إعادة إنتاج سلوك مهمة مختلفة بأمانة (مثل التنبؤ الواقعي).

3. التحليل على مستوى العصبون والاستئصال:
   يستخدم المؤلفون التدرج المتكامل لتحديد العصبونات ذات الصلة بالمهمة، وتحديدًا تلك المرتبطة بالتنبؤات النمطية (باعتبارها الأهداف النموذجية لإزالة التحيز). يقومون بإجراء استئصال العصبونات (ضبط التنشيطات إلى الصفر) على أفضل 10 و50 عصبونًا تم تحديدهم.

• التقييم: يتم قيال أثر الاستئصال على GKnow، وStereoSet، وDiFair (معيار للتقييم المنفصل لمعرفة الجنس والتحيز).
• المقاييس: تتبع الدراسة $P_{exp}$ (احتمالية الرمز المتوقع)، و$P_{opp}$ (رمز الجنس المعاكس)، و$P_{other}$، وفجوة الاحتمالية ($\Delta$) بين المخرجات الذكورية والأنثوية.

النتائج الرئيسية

• التشابك على مستوى الدائرة:

  • تُظهر الدوائر المسؤولة عن التنبؤات الجندرية النمطية والواقعية تداخلًا عاليًا وانفصالًا منخفضًا.
  • الأمانة عبر المهام عالية: الدوائر المحددة للمهام النمطية يمكنها استعادة أداء المهام الواقعية (والعكس صحيح). على سبيل المثال، تطبيق دائرة gender_prediction_based_on_stereo على مجموعة gender_prediction_based_on_pronoun حقق أمانة بلغت 1.0.
  • يشير هذا إلى أن الجنس الواقعي والنمطي متشابكان بشدة على مستوى الدائرة.

• التشابك على مستوى العصبون وآثار الاستئصال:

  • يؤدي استئصال العصبونات المحددة عبر المطالبات النمطية إلى انخفاض كبير في قدرة النموذج على التنبؤ بالجنس الواقعي.
  • في المجموعات الفرعية لـ GKnow الواقعية، أدى استئصال أفضل العصبونات إلى انخفاضات حادة في $P_{exp}$ (على سبيل المثال، انخفاض من 91.49% إلى 79.86% في Llama عند استئصال 50 عصبونًا) وزيادات في $P_{opp}$ و$P_{other}$.
  • والأهم من ذلك، بينما يحسن الاستئصال غالبًا المقاييس في الاختبارات النمطية (مثل تقليل $P_{exp}$ للتنبؤات النمطية في StereoSet)، فإن هذه النتائج "الإيجابية" تخفي انهيارًا متزامنًا في كفاءة الجنس الواقعي.
  • تنخفض فجوة الاحتمالية ($\Delta$) بين المخرجات الذكورية والأنثوية بشكل كبير، مما يشير إلى فقدان الثقة في التنبؤات الجندرية عبر كل من المجموعات الواقعية والنمطية.

• القابلية للتفسير البشري:

  • باستخدام تقنية Logit Lens، وجد المؤلفون أن العصبونات المشتركة عبر المهام الجندرية المختلفة هي قابلة للتفسير البشري. على سبيل المثال، وُجد أن عصبونات معينة في Olmo وLlama تعمل على كبح أو تعزيز رموز جندرية محددة (مثل الضمائر مثل "هي" أو الأسماء مثل "ماري") عبر السياقات الواقعية والنمطية على حد سواء.

المساهمات الرئيسية

1. معيار GKnow: تنسيق GKnow الذي يسد الفجوة في الموارد المتاحة لتقييم تشابك التحيز الجندري ومعرفة الجنس الواقعي عبر أنواع المهام المختلفة في اللغة الإنجليزية.
2. الدليل على مستوى الدائرة: إثبات، عبر EAP-IG، أن إشارات الجنس النمطي والواقعي متشابكة داخل نفس الدوائر الحسابية، مما يتحدى افتراض إمكانية فصلهما بسهولة.
3. تحليل استئصال العصبونات: النتيجة التجريبية التي تفيد بأن استئصال العصبونات البسيط، رغم فعاليته المحتملة في تقليل التحيز النمطي في معايير معينة، فإنه يضر بشدة بمعرفة الجنس الواقعي. وهذا يشير إلى أن الاستئصال هو طريقة غير موثوقة بمفردها لإزالة التحيز.

الأهمية والادعاءات
تجادل الورقة بأن تشابك التحيز الجندري والجنس الواقعي هو خاصية أساسية لبنيات النماذج اللغوية الكبيرة الحالية، وهي ملاحظة على مستويات الدائرة والعصبون. يدعي المؤلفون أن:

• طرق إزالة التحيز الحالية معيبة: التقنيات مثل استئصال العصبونات، التي تستهدف "عصبونات التحيز"، تدمر دون قصد المعرفة الواقعية لأن الآليات الأساسية مشتركة.
• معايير التقييم غير كافية: المعايير التي لا تأخذ في الاعتبار الجنس الواقعي (مثل StereoSet) يمكن أن تخفي تدهور الكفاءة اللغوية الناتج عن محاولات إزالة التحيز.
• العمل المستقبلي يتطلب تقييمًا قويًا: هناك حاجة ملحة لمجموعات بيانات تقييم التحيز الجندري التي تقيس صراحةً الحفاظ على معرفة الجنس الواقعي جنبًا إلى جنب مع تقليل التحيز.

يختتم المؤلفون بالتحذير من "الاستئصال غير المفلتر للعصبونات" كوسيلة وحيدة لإزالة التحيز الجندري، مؤكدين أنه بدون معايير قوية مثل GKnow، يخاطر المجال بتحسين مقاييس التحيز على حساب الفهم اللغوي الأساسي. وتقر الورقة بالقيود، مشيرة إلى أن النتائج حاليًا خاصة باللغة الإنجليزية والنماذج الصغيرة نسبيًا، وأن التحيز الجندري قد يظهر في أشكال لا تغطيها أنماطهم المهنية أو الصفاتية.