It's How You Ask: Gender-Associated Linguistic Bias in LLMs
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة تولد بشكل منهجي استجابات أقصر، وأقل رقيًا، وأقل رسمية للمطالبات التي تحتوي على سمات لغوية مرتبطة عادةً بالنساء، مما يكشف عن تحيز عميق الجذور في طبقات المحولات (transformer) المبكرة يصعب تخفيفه من خلال تقديم المستخدم لنفسه.
المؤلفون الأصليون:Katherine Van Koevering, Anjalie Field
تخيل أنك تسير داخل مكتبة عملاقة غير مرئية، حيث الكتب مكتوبة بواسطة روبوت فائق الذكاء قرأ كل شيء تقريباً كُتب على الإنترنت. هذا الروبوت هو "نموذج لغوي كبير" (LLM)، وهو يصبح صديقنا الجديد في كتابة رسائل البريد الإلكتروني، وطلبات التوظيف، والملاحظات الهامة الأخرى. لكن هنا تكمن المشكلة: تماماً مثل البشر، تعلم هذا الروبوت من عالم اللغة البشرية الفوضوي والمعقد، المليء بالعادات الدقيقة والقواعد غير المعلنة. إحدى هذه القواعد هي أن الرجال والنساء غالباً ما يتحدثون ويكتبون بطرق مختلفة قليلاً، ليس لأنهم يحاولون أن يكونوا مختلفين، بل بسبب الطريقة التي نشأوا بها والثقافة التي يعيشون فيها. على سبيل المثال، قد تستخدم النساء كلمات "تلطيفية" أكثر مثل "ربما" أو "أعتقد"، أو يطرحن المزيد من الأسئلة في نهاية الجمل مثل "أليس كذلك؟"، أو يقلن "نحن" بدلاً من "أنا". السؤال الكبير الذي يسأله العلماء هو: هل يعاملنا هذا الروبوت بشكل مختلف بناءً على هذه العادات اللغوية الصغيرة وغير الواعية؟ إذا اعتقد الروبوت أن أسلوب كتابة المرأة يبدو "أقل جدية"، فقد يكتب لها بريداً إلكترونياً أضعف، مما قد يضر بفرصها في العمل. لا يتعلق الأمر بأن الروبوت شرير؛ بل يتعلق بما إذا كان الروبوت قد تعلم نسخ الصور النمطية دون أن نلاحظ ذلك حتى.
قرر الباحثون وراء هذه الدراسة لعب لعبة "البحث عن الفروق" مع هذا الروبوت فائق الذكاء. لقد أخذوا طلبات حقيقية قدمها الناس للروبوت - مثل "اكتب بريداً إلكترونياً إلى مديري" - وقاموا بتعديلها سراً. بالنسبة لبعض الطلبات، أضافوا العادات "الناعمة" المرتبطة غالباً بالنساء (مثل إضافة "ربما" أو "لنقم بهذا معاً"). وبالنسبة لطلبات أخرى، جعلوا الطلبات تبدو أكثر مباشرة وحزماً، وهي عادات ترتبط غالباً بالرجال. ثم طلبوا من أربعة نماذج مختلفة من الروبوتات كتابة رسائل البريد الإلكتروني رداً على ذلك.
كانت النتائج مفاجئة ومثيرة للقلق نوعاً ما. فعندما تلقت الروبوتات الطلبات "الأنعم" والأكثر تعاوناً، كتبت ردوداً كانت أقصر وأبسط وأقل رسمية. وكأن الروبوت سمع كلمة "ربما" وفكر: "أوه، هذا الشخص ليس متأكداً، لذا سأعطيه إجابة سريعة وسهلة فقط". ولكن عندما كانت الطلبات مباشرة وحازمة، كتبت الروبوتات رسائل بريد إلكتروني أطول وأكثر تطوراً واحترافية. تحقق الباحثون للتأكد من أن الروبوتات لم تكن مجرد نسخة من أسلوب الطلب (مثل الببغاء الذي يكرر الكلمات)، ووجدوا أن الروبوتات كانت في الواقع تغير "جودة" إجاباتها بناءً على هذه الإشارات اللغوية الصغيرة.
هذا هو الجزء الصعب حقاً: اختبر الباحثون أيضاً ما إذا كانت الروبوتات تهتم بإشارات النوع الاجتماعي الصريحة، مثل وضع اسم رجل أو اسم امرأة في نهاية الطلب. ووجدوا أن الأسماء لم تكن مهمة على الإطلاق. لم يهتم الروبوت إذا كان البريد الإلكتروني موقعاً باسم "جون" أو "جين". ما اهتم به هو كيفية تركيب الكلمات معاً. الأمر كما لو أن الروبوت لديه مفتاح خفي ينقلض بناءً على "روح" اللغة، وليس بناءً على بطاقة الاسم.
لمعرفة "كيف" كان الروبوت يفعل ذلك، نظر العلماء داخل دماغ الروبوت (كوده البرمجي). ووجدوا أن الروبوت يتعرف على هذه العادات اللغوية "الناعمة" في وقت مبكر جداً، في الطبقات الأولى من معالجته، وبشكل فوري تقريباً. ومع ذلك، لم يكن الروبوت يستخدم الاسم لاتخاذ قراره. هذا يشيع أن الروبوت تعلم استخدام أسلوب اللغة كطريق مختصر لتخمين النوع، ومن ثم يطبق صورة نمطية على الإجابة التي يقدمها.
تشير الدراسة إلى أن هذه مشكلة صعبة الحل. ولأن هذه العادات اللغوية غالباً ما تكون غير واعية - فالناس لا يدركون أنهم يستخدمون "ربما" أو "نحن" طوال الوقت - فلا يمكن للمستخدمين مجرد "بذل جهد أكبر" ليبدوا أكثر مباشرة للحصول على إجابة أفضل. سيكون من غير العادل مطالبة الناس بتغيير طريقة حديثهم الطبيعية فقط لإرضاء الكمبيوتر. ويخلص الباحثون إلى أننا بحاجة إلى توخي الحذر بشأن كيفية بناء هذه الأدوات، لأنها في الوقت الحالي، قد تجعل التواصل في مكان العمل أصعب للأشخاص الذين يستخدمون أسلوباً أكثر تعاوناً أو "نعومة"، حتى لو كان هذا الأسلوب طبيعياً واحترافياً تماماً. الروبوت ليس شريراً عن قصد، لكنه منحاز بسبب الطريقة التي تعلم بها كيف يستمع.
ملخص تقني: "إنها الطريقة التي تسأل بها: التحيز اللغوي المرتبط بالنوع الاجتماعي في النماذج اللغوية الكبيرة"
بيان المشكلة مع تزايد اعتماد النماذج اللغوية الكبيرة (LLMs) في الوساطة في التواصل المهني، يبرز سؤال جوهري حول مدى عدالتها تجاه مختلف مجموعات المستخدمين. وبينما وثقت الأبحاث المكثفة أن النماذج اللغوية الكبيرة تدمج تحيزات اجتماعية تتعلق بالسمات الديموغرافية (مثل الأسماء، العرق، والهوية الجنسانية) في السرديات وسيناريوهات اتخاذ القرار، إلا أن هناك فجوة في فهم ما إذا كانت النماذج تؤدي بشكل مختلف بناءً على الأسلوب اللغوي للمستخدمين. وتؤكد أدبيات اللسانيات الاجتماعية أن الرجال والنساء غالبًا ما يُظهرون اختلافات منهجية، غير واعية إلى حد كبير، في استخدام اللغة، مثل وتيرة استخدام أدوات التلطيف (hedges)، والأسئلة التقريرية (tag questions)، والإشارات الجماعية، والصفات التعبيرية. تبحث هذه الورقة فيما إذا كانت النماذج اللغوية الكبيرة تستجيب لهذه الأنماط اللغوية المرتبطة بالنوع الاجتماعي (GALPs) في مطالبات المستخدمين عبر توليد مخرجات مختلفة بشكل منهجي، مما قد يؤدي إلى إلحاق الضرر بالمستخدمين الذين يستخدمون السمات اللغوية المرتبطة بالنساء (WALF) في السياقات المهنية.
المنهجية قام المؤلفون ببناء إطار تقييم محكم باستخدام 427 مطالبة مهنية من الواقع مستمدة من مجموعة بيانات WildChat، تغطي ثلاثة أنواع من المستندات: رسائل البريد الإلكتروني، طلبات التوظيف، ورسائل الاستقالة.
تلاعب المطالبات: باستخدام GPT-4، قام المؤلفون بإنشاء نسخ مزدوجة من كل مطالبة.
السمات اللغوية المرتبطة بالنساء (WALF): تمت إعادة كتابة المطالبات لتشمل أدوات التلطيف (مثل "ربما")، والأسئلة التقريرية (مثل "أليس كذلك؟")، والإشارات الجماعية (مثل "نحن")، والصفات التعبيرية.
السمات اللغوية المرتبطة بالرجال (MALF): تمت إعادة كتابة المطالبات لتتميز بالتأكيدات المباشرة، والإشارات الفردية (مثل "أنا")، والصفات المحايدة، وتقليل استخدام أدوات التلطيف.
التحقق من الصحة: أكد المقيمون البشريون أن 95% من الأزواج المعاد كتابتها حافظت على المعنى الدلالي للمهمة الأساسية مع تغيير السجل اللغوي. كما أشارت فحوصات الواقعية إلى أن المطالبات المعاد كتابتها ظلت منطقية، وإن كانت أقل واقعية قليلاً من مطالبات WildChat الأصلية.
تقييم النموذج: تم إدخال المطالبات المعدلة إلى أربعة نماذج لغوية كبيرة شهيرة (GPT-4، وGemma 2، وMistral، وLlama 3). وقاس المؤلفون الاختلافات في الاستجابة عبر:
التعقيد: عدد الكلمات، عدد الرموز (tokens)، الرقي المعجمي (متوسط طول الكلمة)، سهولة القراءة (Flesch Reading Ease)، المستوى الدراسي، ونسبة النوع إلى الرمز (TTR).
الأسلوب: كثافة التأدب، الرسمية (F-measure)، والسطوة (الثقة/السلطة).
ضبط المحاكاة (Mirroring): لضمان أن الاختلافات ليست مجرد محاكاة للنموذج لأسلوب المدخلات، أجرى المؤلفون تحليلات الانحدار واختبارات الوساطة. وفحصوا ما إذا كان تعقيد المطالبة يتنبأ بتعقيد الاستجابة، وما إذا كانت السمات اللغوية المنتقلة من المطالبة إلى الاستجابة قد توسطت في الآثار الملحوظة.
التفسير الآلي (Mechanistic Interpretability):
الإشارات الصريحة مقابل الضمنية: أجرى المؤلفون تجربة عاملية (2x2) ربطت بين السمات اللغوية (WALF/MALF) مع التوقيعات (الأسماء المرتبطة بالرجال مقابل النساء) لمقارنة تأثير السجل الضمني مقابل علامات النوع الاجتماعي الصريحة.
المسبار الخطي (Linear Probing): تم تدريب مصنفات الانحدار اللوجستي على تنشيطات الطبقات لنموذج Llama-3.2-3B-Instruct لفك تشفير السمات اللغوية وجنس الاسم، وتحديد مكان تشفير هذه التمثيلات.
رقع التنشيط (Activation Patching): استبدل المؤلفون التنشيطات من مطالبات WALF بتنشيطات من مطالبات MALF المقابلة عند طبقات محددة، لقياس التأثير السببي على توزيعات المخرجات عبر تباعد KL (KL divergence).
النتائج الرئيسية
اختلافات منهجية في المخرجات: أدت مطالبات WALF باستمرار إلى استجابات أقصر، وأقل رقيًا معجميًا، وأكثر سهولة في القراءة (مستوى دراسي أقل)، وأقل رسمية مقارنة بمطالبات MALF. وكانت هذه الآثار قوية عبر GPT-4 وGemma وMistral وLlama، لا سيالما في رسائل البريد الإلكتروني وطلبات التوظيف.
معايرة الأسلوب: بينما كانت الرسمية أقل بشكل ملحوظ في استجابات WALF، لم تظهر كثافة التأدب ودرجات السطوة أي فروق ذات دلالة إحصائية. يشير هذا إلى أن النماذج تعاير التأدب وفقًا لنوع المهمة (genre) وليس وفقًا لسجل المستخدم، لكنها تعدل التعقيد والرسمية بناءً على الإشارات اللغوية.
المحاكاة غير كافية: أظهرت تحليلات الانحدار أن تعقيد المطالبة فسر بحد أقصى 34% من التباين في تعقيد الاستجابة. وكشف تحليل الوساطة أن انتقال السمات (وجود أدوات التلطيف، إلخ، في المخرجات) فسر جزئيًا فقط الاختلافات في التعقيد. كان النموذج يعدل سجله العام، وليس مجرد ترديد الميزات المحقونة.
الإشارات الضمنية مقابل الصريحة: في تجربة التوقيع، لم يكن لعلامات النوع الاجتماعي الصريحة (الأسماء) أي تأثير فعلي على تعقيد الاستجابة أو أسلوبها. في المقابل، أنتج السجل اللغوي الضمني آثارًا كبيرة ومتسقة.
النتائج الآلية:
التشفير: يتم تشفير معلومات السمات اللغوية بقوة في النموذج، حيث قفزت دقة فك التشفير من الصدفة عند الطبقة 0 إلى 0.962 عند الطبقة 1 وبلغت ذروتها عند 0.988 عند الطبقة 5.
السببية: كشفت عملية رقع التنشيط أن الطبقات المبكرة (0–7) حاسمة سببيًا لهذه الآثار، حيث لوحظ أعلى تباعد KL في الطبقات 0، 3، 4، 6، و7.
التعامد (Orthogonality): بينما تصل كل من السمات اللغية وجنس الاسم إلى ذروة التمثيل في الطبقة 5، إلا أنهما يشغلان مساحات فرعية متعامدة إلى حد كبير. يقوم الشبكة بتشفير إشارات النوع الاجتماعي الصريحة (الأسماء) لكنها لا توجهها للتأثير على التوليد، بينما السجل اللغوي الضمني مشفر بقوة ومؤثر سببيًا.
الأهمية والادعاءات تجادل الورقة بأن استراتيجيات تخفيف التحيز الحالية التي تركز على العلامات الديموغرافية الصريحة (مثل إزالة التحيز القائم على الاسم) غير كافية لأنها تفشل في معالجة التحيزات التي تحفزها السجلات اللغوية الضمنية والمتجذرة ثقافيًا. ويدعي المؤلفون ما يلي:
عبء المستخدم: نظرًا لأن هذه الأنماط اللغوية غالبًا ما تكون غير واعية، لا يمكن للمستخدمين تجنبها بسهولة من خلال تقديم الذات الاستراتيجي دون تبني أساليب تواصل غير طبيعية.
المخاطر المهنية: في بيئات العمل، حيث قد تواجه أساليب تواصل النساء تحيزًا بالفعل، فإن قيام النماذج اللغوية الكبيرة بتوليد مخرجات أقل تعقيدًا أو رسمية لمطالبات WALF قد يعزز دون قصد الصور النمطية حول الكفاءة المهنية أو يضعف السلطة المتصورة لاتصالات النساء.
مسارات التدخل: تشير الدراسة إلى أنه نظرًا لأن هذه التحيزات متجذرة في طبقات المحولات (transformer) المبكرة ومرتبطة سببيًا بتمثيلات محددة، فإن التدخلات المستهدفة (مثل توجيه التنشيط أو توحيد المطالبات) ممكنة تقنيًا. ومع ذلك، يحذر المؤلفون من أن مثل هذه التدخلات يجب تصميمها بعناقة لتجنب الوصاية أو تجاوز تفضيلات المستخدم المشروعة.
تخلص الدراسة إلى أن المجال يجب أن يتجاوز الإشارات الديموغرافية الصريحة للنظر في كيفية استجابة النماذج للميزات اللغوية الدقيقة للمستخدمين، حيث يمكن لهذه الميزات أن تؤدي إلى آثار متباينة في المهام المهنية اللاحقة.