Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews
تتقصى هذه الورقة البحثية التحيز في مراجعات النظراء المدعومة بالنماذج اللغوية الكبيرة من خلال الكشف عن أن النماذج تظهر تحيزات كبيرة في الانتماء، والأقدمية، وتاريخ النشر لصالح المؤلفين المرموقين، مع ازدياد وضوح هذه التفضيلات الضمنية عند تحليلها على مستوى الرمز (token level) رغم احتمال وجود قناع المحاذاة (alignment masking).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل برنامج مواهب ضخم وعالي المخاطر، حيث يقدم آلاف العلماء أفضل أعمالهم ليتم تقييمها من قبل لجنة تحكيم. تقليديًا، يقوم خبراء بشريون بمراجعة هذه المشاركات بشكل مجهول لتحديد من يستحق جائزة (النشر). لكن مؤخرًا، بدأ المنظمون في توظيف نوع جديد من الحكام: روبوت كمبيوتر فائق الذكاء (نموذج لغوي كبير، أو LLM) للمساعدة في كتابة المراجعات.
هذه الورقة البحثية تشبه تحقيق "المتسوق الخفي". أراد الباحثون معرفة ما إذا كان هؤلاء الحكام الروبوتات عادلين حقًا، أم أن لديهم محاباة سرية لأشخاص معينين بناءً على هوية المؤلف، بدلاً من جودة العمل نفسه.
إليكم ما وجدوه، مشروحًا ببساًطة:
1. اختبار "بطاقة الاسم" (تحيز الانتماء المؤسسي)
أخذ الباحثون نفس الورقة العلمية تمامًا وأعطوها للحكام الروبوتات عدة مرات. الشيء الوحيد الذي قاموا بتغييره هو اسم الجامعة التي يُفترض أن المؤلف ينتمي إليها.
- السيناريو أ: الورقة تقول إنها قادمة من جامعة عالمية مشهورة ومرموقة (مثل MIT أو كامبريدج).
- ** السيناريو ب:** الورقة تقول إنها قادمة من جامعة أصغر وأقل شهرة.
النتيجة: أعطت الروبوتات درجات أعلى باستمرار للأوراق القادمة من الجامعات الشهيرة. يبدو الأمر كما لو أن الروبوت الحكم نظر إلى بطاقة الاسم، ورأى "هارفارد"، وفكر فورًا: "هذا لا بد أن يكون جيدًا!" دون أن يقرأ العمل بدقة كافية. وإذا كانت البطاقة تقول "كلية ولاية صغيرة"، كان الروبوت أكثر صرامة.
الالتواء الخفي: لاحظ الباحثون شيئًا أكثر دهاءً. عندما كانت الروبوتات تعطي إجابتها النهائية بـ "نعم/لا"، كانت تحاول أحيانًا التظاهر بالحياد. لكن عندما نظر الباحثون إلى عملية التفكير الداخلي للروبوت (تقييماته "الناعمة")، كان التحيز أقوى حتى. إنه يشبه شخصًا يقول: "أنا عادل"، بينما مونولوجه الداخلي يصرخ: "أنا بالتأكيد أفضل الطفل الغني!"
2. تأثير "السيرة الذاتية" (الأقدمية والتاريخ)
اختبر الباحثون أيضًا ما إذا كانت الروبوتات تهتم بخبرة المؤلف.
- السيناريو أ: المؤلف بروفيسور مشهور وكبير في السن ولديه مئات المنشورات السابقة.
- السيناريو ب: المؤلف طالب شاب ليس لديه أي منشورات سابقة.
النتيجة: أحبت الروبوتات البروفيسور المشهور. فقد أعطت درجات أعلى للأوراق القادمة من "كبار المسؤولين" والمؤلفين الذين لديهم قوائم طويلة من الأعمال السابقة. وكانوا أكثر تشككًا تجاه الطالب، رغم أن محتوى الورقة الفعلي كان متطابقًا. بدا أن الروبوتات تعتقد: "إذا كانوا قد فعلوا ذلك من قبل، فلا بد أنهم يفعلونه بشكل صحيح مرة أخرى".
3. تخمين "الجنس" (تحيز النوع الاجتماعي)
قام الباحثون أيضًا باستبدال الأسماء الذكورية والأنثوية في الأوراق.
النتيجة: كانت هذه النتيجة أكثر فوضوية. بعض الروبوتات فضلت الرجال، وبعضها فضل النساء، وبعضها كان محايدًا. لم يكن الأمر ثابتًا مثل تحيز الجامعة، لكنه كان موجودًا. إنه يشبه رمي عملة معدنية تميل قليًا حسب الروبوت الذي تسأله.
4. خطر "المنطقة الرمادية"
كان الاكتشاف الأكثر إثارة للقلق هو الأوراق التي كانت "على الحافة"—تلك التي لم تكن رائعة بوضوح ولا سيئة بوضوح.
- عندما تم إرفاق اسم "جامعة مشهورة" بورقة في المنطقة الرمادية، غالبًا ما تغير الروبوت رأيه من "رفض" إلى "قبول".
- وعندما تم إرفاق اسم "جامعة أقل شهرة" بنفس الورقة، غالبًا ما غير الروبوت رأيه من "قبول" إلى "رفض".
هذا يعني أن تحيز الروبوت لم يكن مجرد تفضيل بسيط؛ بل كان قويًا بما يكفي ليقرر مسيرة عالم علمي وما إذا كان عمله سينشر أم لا.
الصورة الكبيرة
تخلص الورقة إلى أن هؤلاء الحكام من الذكاء الاصطناعي ليسوا الحكام المحايدين والموضوعيين الذين كنا نأملهم. لقد امتصوا التحيزات الواقعية للإنترنت الذي تدربوا عليه. يبدو أنهم يعتقدون أن "الهيبة = الجودة" و"الخبرة = الصلاح"، حتى عندما لا يدعم العمل الفعلي ذلك الاستنتاج.
يحذر المؤلفون من أننا إذا تركنا هذه الروبوتات تدير العرض دون مراقبة عملها، فقد ينتهي بنا الأمر بنشر الأوراق من المشاهه في الجامعات المشهورة فقط، بينما نتجاهل الأفكار العظة من أشخاص موهوبين في أماكن أصغر. الروبوتات "تهلوس" بالعدالة بينما هي في الواقع متحيزة للغاية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.