Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
من خلال ثلاث تجارب عاملية تضمنت 4,320 استدعاءً لواجهة برمجة التطبيقات عبر أربعة نماذج لغوية كبيرة، تُظهر هذه الدراسة أن الهيبة المؤسسية ومكان النشر يمارسان تأثيرات تمييزية أقوى بكثير على تقييمات المرشحين من العرق المرتبط باسم المتقدم أو الأصل الجغرافي، مع وجود "تأثير إنقاذ" يُظهر أن المنشورات ذات التأثير العالي يمكن أن تعوض بشكل غير متناسب انخفاض الهيبة المؤسسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الحديث، أصبح الذكاء الاصطناعي، وبشكل هادئ، حارساً للبوابات. فهذه البرامج الحاسوبية، المعروفة باسم نماذج اللغات الكبيرة، يُطلب منها بشكل متزايد اتخاذ قرارات تشكل حياة البشر. فهي تساعد في تحديد من يحصل على وظيفة، ومن يتلقى منحة بحثية، ومن يتأهل للحصول على قرض. وهي تفعل ذلك من خلال قراءة الطلبات وتخصيص درجات لها، لتعمل كقضاة آليين. لسنوات طويلة، ظل العلماء قلقين من أن هؤلاء القضاة الرقميين قد يحملون نفس التحيزات التي يحملها البشر الذين بنوهم. نحن نعلم أنهم قد يكونون منحازين ضد الأشخاص بناءً على أسمائهم، أو جنسهم، أو عرقهم. ولكن برز سؤال جديد وأكثر دقة: هل تفضل هذه النماذج أيضاً المرشحين لمجرد المكان الذي درسوا فيه؟ لا يتعلق هذا الأمر بجودة العمل الذي أنجزه الشخص، بل بسمعة المؤسسة المذكورة في سيرته الذاتية. فإذا منح برنامج حاسوبي درجة أعلى لعالم من جامعة مشهورة مقارنة بعالم آخر مؤهل بنفس القدر من جامعة أقل شهرة، فهو ليس محايداً؛ بل إنه يعزز الهياكل الهرمية القائمة.
وضع فريق من الباحثين هدفاً لاختبار هذا النوع المحدد من التحيز باستخدام أربعة نماذج مختلفة من الذكاء الاصطناعي. أرادوا معرفة ما إذا كانت النماذج تتفاعل مع سمعة الجامعة أم ببساطة مع البلد الذي تقع فيه تلك الجامعة. ولإيجاد الإجابة، أنشأوا الآلاف من طلبات الوظائف والمنح الوهمية. لقد أبقوا مهارات المرشح وخبراته متطابقة تماماً في كل سيناريو. الشيء الوحيد الذي غيروه كان اسم الجامعة التي التحق بها المرشح، وفي بعض الحالات، اسم المجلة التي نشر فيها المرشح أعماله. اختبروا مرشحين من جامعات أمريكية من الطراز الأول، ومن مؤسسات مرموقة في تشيلي وكولومبيا، ومن جامعة في الإكوادور لا تظهر في قوائم التصنيف العالمية. كما نوّعوا الأسماء في الطلبات لتشمل أصولاً أنجلو، ولاتينية، وعربية لمعرفة ما إذا كانت النماذج ستتمسك بالصور النمطية القديمة.
كانت النتائج واضحة وقوية إحصائياً. فقد أعطت نماذج الذكاء الاصطناعي باستمرار درجات أعلى للمرشحين من جامعات مرموقة. لم يكن هذا الفارق مجرد تقلب بسيط؛ بل كان توجهاً ثابتاً وقابلاً للقياس. عبر النماذج والمجالات المهنية المختلفة، حصل المرشح من جامعة مصنفة ضمن الطراز الأول على درجة أعلى بنحو ثلاثة أعشار من النقطة من المرشح من جامعة غير مصنفة. وفي عالم التقييم الآلي، يعد هذا الفرق جوهرياً. ومع ذلك، عندما نظر الباحثون إلى الأسماء في الطلبات، تغيرت القصة. لم تظهر النماذج تفضيلاً ذا دلالة إحصائية للمرشحين ذوي الأسماء الأنجلو على أولئك ذوي الأسماء اللاتينية أو العربية. كانت الدرجات لهذه المجموعات المختلفة متقاربة جداً لدرجة أنه يمكن إرجاع الفرق إلى الصدفة العشوائية. وهذا يشير إلى أنه بينما تم تدريب النماذج بنجاح على تجاهل الأسماء العرقية، إلا أنها لم تُدرب على تجاهل مكانة المدرسة في السيرة الذاتية.
لفهم ما إذا كان هذا التحيز ناتجاً عن سمعة المدرسة أو البلد الذي تنتمي إليه، أجرى الباحثون مجموعة ثانية من التجارب. قارنوا بين جامعة ذات تصنيف عالٍ في المكسيك وجامعة منخفضة التصنيف أو غير مصنفة في الولايات المتحدة. لو كانت النماذج منحازة ببساطة ضد الدول النامية، لكانت قد فضلت المدرسة الأمريكية. بدلاً من ذلك، مالت النماذج إلى تفضيل الجامعة المكسيكية، رغم أنها كانت أقل شهرة من المدارس الأمريكية الكبرى، لكنها أكثر شهرة من المدرسة الأمريكية الصغيرة. أثبت هذا أن النماذج كانت تتفاعل مع سمعة المؤسسة نفسها، وليس فقط الجغرافيا. كان التحيز متعلقاً بالعلامة التجارية للجامعة، وليس بجنسية المتقدم.
جاء الاكتشاف الأكثر إثارة للدهشة عندما أدخل الباحثون متغيراً ثالثاً: المجلة التي نشر فيها المرشح أبحاثه. قارنوا بين مرشحين نشروا في أشهر مجلة علمية في العالم مقابل أولئك الذين نشروا في مجلة أصغر ومتاحة للجميع (open-access). كان الفرق في الدرجات هائلاً. لقد كانت سمعة المجلة أكثر أهمية بكثير من سمعة الجامعة. فالمرشح من جامعة أقل شهرة والذي نشر في المجلة الكبرى حصل على درجة أعلى بكثير من المرشح من جامعة كبرى والذي نشر في المجلة الأصغر. في الواقع، كان الدفع الناتج عن المجلة الشهيرة أقوى بنحو ست مرات من الدفع الناتج عن الجامعة الشهيرة. لقد خلق هذا "تأثير الإنقاذ"، حيث استطاع النشر في مجلة كبرى أن يعوض تماماً عن نقص السمعة المؤسسية. بدا أن النماذج ترى في النشر في مجلة رفيعة المستوى إشارة قوية جداً للجودة لدرجة أنها طغت على التحيز ضد المدرسة.
كما نظر الباحثون في مدى اتساق النماذج في تقييمها. ووجدوا أنه عند تقييم المرشحين من مؤسسات أقل شهرة، كانت النماذج أكثر عدم اتساق. ففي مرة، قد تعطي النماذج درجة منخفضة لمرشح من جامعة أصغر، وفي المرة التالية، قد تعطي درجة أعلى قليلاً لنفس الملف الشخصي تماماً. لم يحدث هذا التضارب في الاتساق بنفس القدر مع المرشحين من الجامعات الكبرى. يشير هذا إلى أن النماذج تكون أقل يقيناً بشأن كيفية تقييم الأشخاص من مؤسسات تعرف عنها معلومات أقل، مما يؤدي إلى عقوبة مزدوجة: درجات متوسطة أقل وتقييمات أكثر عدم قابلية للتنبؤ.
في نهاية المطاف، تكشف هذه الدراسة أنه بينما حقق الذكاء الاصطناعي تقدماً في تجنب بعض أشكال التمييز، فإنه قد ورث تحيزاً عميق الجذور تجاه المكانة والسمعة. تعمل هذه النماذج كمضخمات للهياكل الاجتماعية القائمة، حيث تكافئ المألوف والمرموق وتعاقب المجهول. لا يبدو أنها تهتم بالبلد الأصلي بقدر اهتمامها بالعلامة التجارية للمدرسة. ومع ذلك، تقدم الدراسة أيضاً مساراً للمضي قدماً. فهي تظهر أن العمل عالي الجودة، عندما يُنشر في الأماكن الصحيحة، يمكنه كسر هذه الحواجز. بالنسبة للباحثين من مؤسسات أقل شهرة، فإن الطريق نحو التقييم العادل من قبل هؤلاء القضاة الرقميين لا يكمن في تغيير أسمائهم أو بلدانهم، بل في الوزن الذي لا يمكن إنكاره لأعمالهم المنشورة. إن الآلات تتعلم تقدير العمل، ولكن فقط عندما يُقدم على المسرح الأكثر شهرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.