Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
تكشف هذه الورقة أن النماذج اللغوية غالباً ما تحتفظ بانحيازات تمثيلية داخلية فيما يتعلق بكفاءة المستخدم بناءً على الخصائص الديموغرافية مثل النوع الاجتماعي والعرق، حتى عندما تبدو مخرجاتها الملحوظة غير منحازة، مما يثبت أن التقييمات السلوكية وحدها غير كافية للكشف عن أوضاع الفشل الكامنة هذه.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
البشر قادرون على حمل افتراضات لاواعية عن الآخرين، غالباً دون إدراك ذلك. قد يعتقد الشخص أن فئة ديموغرافية معينة أقل ملاءمة لوظيفة ما، حتى لو كان يرفض مثل هذه الأفكس في وعيه. هذه الارتباطات الخفية يمكن أن تشكل القرارات بهدواً، من تحديد من يتم توظيفه إلى مقدار المساعدة التي يتلقاها الشخص. وفي عالم الذكاء الاصطناعي، تعلمت النماذج اللغوية الكبيرة محاكاة الكلام البشري من خلال دراسة كميات هائلة من النصوص. ولأنها تتعلم من الكتابة البشرية، فإنها غالباً ما تلتقط هذه الارتباطات الخفية نفسها. لسنوات، حاول الباحثون قياس ما إذا كانت هذه البرامج الحاسوبية منحازة من خلال طرح أسئلة مباشرة عليها أو مراقبة إجاباتها. وإذا رفض النموذج قول شيء متحيز، فغالباً ما يُعتبر آمناً. ومع ذلك، تشير دراسة جديدة إلى أن النموذج يمكن أن يبدو مهذباً تماماً في الظاهر بينما لا يزال متمسكاً بهذه الأفكار المنحازة في أعماق معالجته الخاصة.
أراد الباحثان وراء هذا العمل، كيرين فوينتيس وآرون مولر، معرفة ما إذا كانت أفكار النموذج الداخلية تتطابق مع سلوكه الخارجي. وقد ركزا على نوع محدد من الانحياز: الافتراض بأن بعض الأشخاص أكثر أو أقل قدرة بناءً على جنسهم أو عرقهم أو وضعهم الاجتماعي والاقتصادي، بدلاً من مهاراتهم الفعلية. وللتحقيق في ذلك، نظروا في طريقتين مختلفتين للحكم على النموذج. الأولى هي الرؤية "السلوكية"، وهي ما يقوله النموذج بالفعل عندما يُسأل سؤالاً. والثانية هي الرؤية "التمثيلية"، والتي تنظر إلى الأنماط الرياضية التي ينشئها النموذج داخل دماغه أثناء التفكير. تخيل الحالة الداخلية للنموذج كطبقة خفية من الفكر توجد قبل أن يشكل جملة. لقد طور الباحثون طريقة لقياس هذه الطبقة الخفية لمعرفة ما إذا كان النموذج يعامل المستخدم كخبير أو كمبتدئ، بغض النظر عما قاله المستخدم فعلياً عن خبرته.
وللقيام بذلك، أنشأ الفريق مجموعة من الأسئلة المهنية تغطي عشرين وظيفة مختلفة، تتراوح من التمريض إلى تطوير البرمجيات. طرحوا هذه الأسئلة على ثلاثة نماذج لغوية كبيرة مختلفة، لكنهم غيروا السياق قليلاً في كل حالة. في بعض الأحيان أخبروا النموذج أن المستخدم محترف في ذلك المجال؛ وفي أحيان أخرى ذكروا جنس المستخدم أو عرقه أو مستوى دخله دون ذكر وظيفته. ثم قاموا بقياس شيئين: تعقيد اللغة التي استخدمها النموذج في إجابته، و"الدرجة" الداخلية التي أعطاها لخبرة المستخدم. وقد عمل تعقيد اللغة كمقياس سلوكي، بينما عملت الدرجة الداخلية كنافذة على تفكيره الخفي.
كشفت النتائج عن انفصال صارخ. في كثير من الحالات، أنتجت النماذج إجابات تبدو عادلة وغير منحازة. فعندما طُلب منها توظيف مرشح أو الإجابة على سؤال تقني، لم تقدم النماذج إجابات مختلفة باستمرار بناءً على عرق المستخدم أو جنسه. إذا نظرت فقط إلى النص النهائي، ستبدو النماذج وكأنها تعامل الجميع بالتساوي. ومع ذلك، عندما ألقى الباحثون نظرة داخل المعالجة الداخلية للنموذج، وجدوا قصة مختلفة. كانت النماذج تمنح مستويات مختلفة من الخبرة للمستخدمين بناءً على تفاصيل ديموغرافية لا ينبغي أن تهم. على سبيل المثال، قد يصنف نموذج ما مستخدماً أبيض اللون على أنه أكثر كفاءة من مستخدم من أصول هسبانية، حتى عندما يطرح كلا المستخدمين نفس السؤال تماماً ويمتلكان نفس المسمى الوظيفي. كان هذا الانحياز الداخلي موجوداً حتى عندما لم تظهر كلماته النهائية أي تحيز.
أثبت الباحثون أن هذه الدرجات الداخلية لم تكن مجرد ضوضاء عشوائية؛ بل كانت تتحكم فعلياً في سلوك النموذج. فباستخدام تقنية تسمى "التوجيه"، استطاعوا دفع النموذج داخلياً ليرى المستخدم كأكثر أو أقل خبرة. وعندما فعلوا ذلك، تغيرت إجابات النموذج. إذا وجهوا النموذج ليرى المستخدم كخبير، استخدم النموذج لغة أكثر تعقيداً وقدم نصائح تقنية أكثر تفصيلاً. وإذا وجهوه ليرى المستخدم كمبتدئ، أصبحت الإجابات أبسط. وقد أكد هذا أن التمثيل الداخلي للخبرة كان قوة سببية حقيقية تقود مخرجات النموذج. وأظهرت الدراسة أن هذه الانحيازات الداخلية كانت حساسة للإشارات الديموغرافية. فحتى عندما عرف النموذج مهنة المستخدم، ظلت الاختلافات الدقيقة في كيفية إدراكه للكفاءة بناءً على العرق أو الجنس قابلة للكشف في حالته الداخلية، حتى لو لم تظهر دائماً في النص النهائي.
تشير هذه النتيجة إلى أن الطرق الحالية لاختبار الانحياز في الذكاء الاصطناعي قد تكون غافلة عن الكثير. فإذا تحققنا فقط مما يقوله النموذج، فقد نعتقد أنه عادل بينما هو ليس كذلك. أظهرت النماذج التي تمت دراستها هنا، والتي شملت نسخاً من "Gemma" و"Llama"، أنها تستطيع ترميز الارتباطات بين المجموعات الديموغرافية والكفاءة في طبقاتها الخفية. ويمكن لهذه الارتباطات أن تؤثر على قرارات النموذج بطرق لا تظهر فوراً. على سبيل المثال، في مهمة توظيف، اختلفت الدرجات الداخلية للنماذج للمرشحين حسب العرق والجنس، رغم أن قرارات التوظيف النهائية بدت متشابهة إحصائياً عبر المجموعات. ووجد الباحثون أنه بينما يمكن توجيه النماذج لتغيير معدلات التوظيف لديها، إلا أن الانحيازات الداخلية الأساسية استمرت، مما يشير إلى أن النماذج لا تزال تعالج المعلومات الديموغرافية بطريقة تؤثر على حكمها.
إن تداعيات هذا العمل كبيرة لكيفية تقييم وتحسين الذكاء الاصطناعي. فهي تشير إلى أن النموذج يمكن أن يجتاز اختبار سلامة قياسي بينما لا يزال يحمل انحيازات عميقة الجذور يمكن تحفيزها من خلال مطالبات أو ظروف معينة. ويرى الباحثون أننا بحاجة إلى النظر إلى ما وراء المستوى السطحي لما يقوله النموذج وفحص كيفية تفكيره. ومن خلال قياس هذه التمثيلات الداخلية، قد نتمكن من اكتشاف وإصلاح الانحيازات قبل أن تظهر في سلوك ضار. يقدم هذا النهج طريقة جديدة لضمان أن هذه الأدوات القوية عادلة حقاً، ليس فقط في كلماتها، بل في جوهر طبيعتها. وتخلص الدراسة إلى أنه بينما تعتبر المقاييس السلوكية ضرورية، إلا أنها ليست كافية بمفردها؛ فالفهم القوي للعدالة يتطلب النظر إلى الآليات الخفية للنموذج نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.