Neuron-Level Interventions for Gendered and Gender-Neutral Generation in Language Models

ملخص تقني: التدخلات على مستوى العصبونات لتوليد لغة جندرية وجندرية محايدة في النماذج اللغوية

بيان المشكلة
غالباً ما تولد النماذج اللغوية الكبيرة (LMs) لغةً ذات صبغة جندرية وتكرس الصور النمطية، حتى عند تزويدها بمدخلات محايدة. وبينما بحثت الأبحاث السابقة باستفاضة في التحيز الجندري من منظور ثنائي (مؤنث مقابل مذكر)، إلا أن هناك فهماً محدوداً لكيفية ترميز الصيغ المحايدة جندرياً (مثل "هم" للمفرد، أو المسميات الوظيفية المحايدة) داخل تمثيلات النموذج. علاوة على ذلك، فإن استراتيجيات التخفيف الحالية تعمل غالباً على مستوى الاستدلال (مثل التلقين بلقطات قليلة، أو القيود الهيكلية) دون تحديد الآليات الداخلية المسؤولة عن السلوك الجندري بشكل صريح. والسؤال المحدد الذي يتم معالجته هو ما إذا كان يمكن تحديد إشارات متعلقة بالجندر في عصبونات محددة داخل الشبكات التغذية الأمامية (FFN) في نماذج "ترانسفورمر" (Transformers)، وما إذا كان يمكن التلاعب بهذه العصبونات سببياً لتوجيه التوليد نحو الصيغ المؤنثة أو المذكرة أو المحايدة مع الحفاظ على المعنى الدلالي.

المنهجية
يقترح المؤلفون إطار عمل للتدخل على مستوى العصبون يتضمن ثلاث مراحل رئيسية:

1. تنشيط وتحديد العصبونات:
   يركز البحث على العصبونات الوسيطة داخل كتل "المدرك متعدد الطبقات" (MLP) في نماذج "ترانسفورمر". ولثلاث فئات جندرية ($g \in \{masculine, feminine, neutral\}$)، يحسب المؤلفون إحصائيات التنشيط لكل عصبون عبر مجموعات نصية متخصصة جندرياً. ولتحديد العصبونات المرتبطة بقوة بجندر معين مع تقليل التداخل، قدموا درجة الحصرية المركبة (Combined Exclusivity Score). تجمع هذه الدرجة ثلاثة مقاييس متكاملة لكل عصبون $j$ في الطبقة $l$:

• حجم الأثر (Cohen's $d$): الفرق المعياري في متوسط التنشيط بين الجندر المستهدف وجميع الأجناس الأخرى.
• فرق لوغاريتم الأرجحية ($\Delta$): الاحتمالية النسبية للتنشيط الإيجابي للجندر المستهدف مقابل الآخرين.
• الفرق في المتوسط النسبي ($r$): الفرق النسبي في مقدار التنشيط.
  يتم اختيار العصبون لجندر معين فقط إذا حقق أعلى درجة حصرية لتلك الفئة واستوفى عتبات محددة مسبقاً عبر جميع المقاييس الثلاثة.

2. التوليد المتحكم به عبر الحجب (Masking):
   للتحقق من السببية، يقوم المؤلفون بإجراء تدخلات أثناء الاستدلال. يقومون بتوليد مخرجات "أساسية" ومخرجات "محجوبة". في حالة الحجب، يطبقون استراتيجية "الإبقاء فقط": بالنسبة لجندر مستهدف $g$، تظل العصبونات المحددة لـ $g$ نشطة، بينما يتم حجب (إلغاء تنشيط) العصبونات المحددة للجنسين الآخرين. يختبر هذا ما إذا كانت العصبونات المحددة كافية لتوجيه النموذج نحو الصيغة الجندرية المستهدفة.

3. بروتوكول التقييم:
   يتم تقييم فعالية التدخل باستخدام مجموعتي بيانات: GCGender (المشتقة من مجموعات البيانات الثنائية الموجودة مع إضافة نسخ محايدة لها) و InclusiveGender (التي تم تنسيقها باستخدام قواميس اللغة الشاملة). تشمل مقاييس التقييم:

• التحليل القائم على الكلمات المفتاحية: قياس التغير في نسبة المصطلحات المحددة جندرياً (مذكر، مؤنث، محايد) في المخرجات بالنسبة للأساس.
• التقييم البشري: تقييم "الحفاظ على الفكرة العامة" (الاحتفاظ بالمعنى) و"تحقيق الجندر المستهدف" (صحة الصياغة الجندرية).

المساهمات الرئيسية

• التحليل الجندري الثلاثي: يوسع هذا العمل دراسات الجندر الثنائية السابقة من خلال تحديد والتحكم في العصبونات لثلاث فئات: المؤنث، المذكر، والمحايد جندرياً.
• مقياس تحديد مبتكر: تقديم نظام تسجيل حصرية مركب لعزل العصبونات المرتبطة بشكل لا لبس فيه بفئة جندرية واحدة، مما يعالج مشكلة التنشيط المتداخل.
• مجموعات بيانات جديدة: تنسيق مجموعة InclusiveGender (8,600 جملة لكل فئة) وتوسيع GCGender لتشمل المتغيرات المحايدة، مع التحقق من جودتها وانخفاض غموضها عبر التوسيم البشري.
• التحقق السببي: بروتوكول صارم يثبت أن حجب عصبونات محددة يغير المخرجات الجندرية سببياً مع الحفاظ على السلامة الدلالية.

النتائج
أسفرت التجارات التي أجريت على Llama-3.1-8B و Q2.5-7B عن النتائج التالية:

• توزيع الطبقات: لا تتوزع العصبونات المحددة جندرياً بالتساوي؛ فهي تتركز بكثافة في الطبقات الأولى (عادةً الطبقات 0-3) من النماذج، مع مساهمات أقل بكثير من الطبقات الوسطى والمتأخرة. وهذا يتناقض مع الطرق المنافسة (LAPE, sNeuron-TST)، التي تميل إلى تحديد العصبونات في الطبقات المتأخرة.
• دقة التحكم: تحقق الطريقة المقترحة تحكماً أكثر دقة في الجندر مقارنة بالنماذج المرجعية الحالية. فعند استهداف جندر معين، تنجح الطريقة في الحفاظ على نسبة مصطلحات الجندر المستهدف أو زيادتها مع كبح المصطلحات غير المستهدفة. أظهرت الطرق المنافسة "تسرباً" أعلى، حيث تسببت غالباً في تضخيم نسب جندرية غير ذات صلة (مثل زيادة المصطلحات المحايدة عند استهداف المذكر).
• مقايضات الجودة: أظهر التقييم البشري أن طريقة التدخل تحسن بشكل كبير "تحقيق الجندر المستهدف" مقارنة بالنماذج المرجعية. وبينما كان هناك انخفاض طفيف في "الحفاظ على الفكرة العامة" (يُعزى إلى الأحكام الذاتية لتغيرات الصياغة)، إلا أن المعنى الجوهري تم الحفاظ عليه إلى حد كبير.
• حساسية مجموعة البيانات: لاحظت الدراسة أن مجموعات التدريب الأصغر (كما في GCGender) يمكن أن تؤدي إلى تحديد أكثر ضجيجاً للعصبونات، خاصة للفئة المحايدة، مما يشير إلى أن حجم البيانات يؤثر على دقة تصفية الحصرية.

الأهمية والادعاءات
يزعم البحث أنه يقدم نهجاً بسيطاً وفعالاً لفهم كيفية ترميز الجندر في النماذج اللغوية. ومن خلال إثبات أن التمثيلات الجندرية تتركز في نسبة صغيرة من العصبونات (غالباً أقل من 0.5% من إجمالي المعلمات) وتتمركز في الطبقات المبكرة، يقدم العمل تفسيراً ميكانيكياً للتوليد الجندري. ويؤكد المؤلفون أن تدخلهم على مستوى العصبون يوفر فهماً أوضح للسلوك الداخلي للنموذج مقارنة باستراتيجيات التخفيف التي تقتصر على المخرجات فقط. ويضع المؤلفون هذا العمل كخطوة تأسيسية نحو التحكم الجندري المنضبط، موفرين أداة لتقييم تخفيف التحيز القائم على العصبونات ولتقليل التحيز الجندري في عمليات نشر النماذج المستقبلية. ويظل المؤلفون متواضعين بشأن القيود، معترفين بأن نتائجهم تقتصر حالياً على نماذج ذات 7-8 مليار معلمة، وأن مجموعات البيانات الأصغر قد تسبب ضجيجاً في اختيار العصبونات.