Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?
تحلل هذه الدراسة البيانات الوصفية لما يقرب من 160,000 مراجعة عبر مؤتمرات تعلم الآلة، وتجد أنه لا يوجد دليل إحصائي يدعم صورة "المراجع رقم 2" النمطية المتمثلة في القسوة المتأصلة أو الاستقطاب، مما يشير بدلاً من ذلك إلى أن هذه الظاهرة هي على الأرجح نتاج خطأ في القياس أو انحياز يعتمد على المؤسسة بدلاً من كونها حقيقة عالمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم العلوم الأكاديمية، يُعبد الطريق من الفكرة الجديدة إلى الورقة البحثية المنشورة بعملية تُسمى مراجعة النظراء. فقبل أن ترى الدراسة النور، تُرسل إلى خبراء آخرين في المجال يقرؤونها بعناية ويقدمون حكمهم عليها. هؤلاء الخبراء، المعروفون باسم المراجعين، يعملون كحراس للبوابة، يقررون ما إذا كان العمل رصيناً بما يكفي لمشاركته مع العالم. هم يخصصون الدرجات، ويكتبون تعليقات مفصلة، وغالباً ما يوصون بما إذا كان ينبغي قبول الورقة، أو رفضها، أو إعادتها لإجراء تغييرات جوهرية. هذا النظام مصمم لضمان الجودة، ولكنه أيضاً مصدر لقلق كبير للمؤلفين؛ إذ يمكن لتعليق قاسم واحد أن يعصف بمسيرة مهنية، كما أن العملية غالباً ما تكون محاطة بالسرية، حيث تُخفى هويات المراجعين عن المؤلف الذي يحكمون عليه.
ومع مرور الوقت، ظهرت قصة ثقافية محددة داخل هذا النظام. فقد طور المؤلفون والعلماء شكوكاً مشتركة بأن المراجع الثاني المدرج في التقرير هو شخص صعب الإرضاء بشكل فريد. لقد أصبح "المراجع 2" (Reviewer 2) بمثابة "الشرير الشعبي" في المجتمع العلمي، وهو شخص يتخيله الجميع بأنه قاسٍ أو مستخف أو معرقل للعمل بشكل غير متناسب مقار بنظيره. تشير هذه الصورة النمطية إلى أنه إذا كان للورقة مراجع ثانٍ، فإن هذا الشخص هو الأرجح لقتل المشروع. ولكن هل هذا نمط حقيقي في كيفية تصرف الناس، أم أنه مجرد شعور نابع من الإحباط؟ للإجابة على ذلك، احتاج باحث إلى تجاوز الحكايات والقصص الشخصية والنظر إلى الأرقام الفعلية وراء آلاف المراجعات لمعرفة ما إذا كان الشخص الثاني في القائمة يتصرف حقاً بشكل مختلف عن الأول أو الثالث.
قام باحث بالتحقيق في هذه الأسطورة من خلال فحص مجموعة ضخمة من البيانات الواقعية من مؤتمرات العلوم المفتوحة. لقد جمع معلومات من ما يقرب من 63,000 مخطوطة وأكثر من 157,000 مراجعة فردية. كان هدفه هو تجريد العملية من العواطف والقصص والنظر بدقة في الدرجات والقرارات. ركز على سؤال محدد: هل الأشخاص المصنفين كـ "المراجع 2" يعطون بالفعل درجات أقل، أو يستخدمون تقييمات متطرفة بشكل أكبر، أو يختلفون أكثر مع زملائهم الذين يقيمون نفس الورقة؟ كان الباحث حريصاً على التمييز بين الرقم المخصص للمراجع والترتيب الفعلي الذي كتب به تقريره، مدركاً أن هذين الأمرين لا يتطابقان دائماً. ومن المهم ملاحظة أن البيانات المستخدمة في هذه الدراسة كانت تتركز بشكل أساسي في مؤتمرات تعلم الآلة، وتحديداً من خلال استقاء 7,966 مخطوطة من مؤتمر (ICLR) بين عامي 2018 و2021. وهذا يعني أن النتائج هي الأكثر قابلية للتطبيق في بيئات المراجعة المفتوحة هذه، وقد لا تعمم بالكامل على المجلات التقليدية متعددة التخصصات.
بعد تحليل البيانات بطرق إحصائية صارمة، لم تجد الدراسة أي دليل يدعم فكرة أن "المراجع 2" هو نوع خاص من الأشرار. فعندما قارن الباحث الدرجات التي أعطاها المراجع الثاني مقابل متوسط درجات أقرانه، كان الفرق صغيراً جداً لدرجة أنه يكاد يكون معدوماً. في الواقع، أظهرت البيانات أن المراجع الثاني لم يكن قاسياً بشكل منهجي، ولا كان أكثر عرضة لاستخدام تقييمات "الرفض" أو "القبول" الأكثر تطرفاً. إن الخوف من أن الشخص الثاني في القائمة هو الوحيد الصعب يبدو وكأنه أسطورة. كما نظر الباحث فيما إذا كان رأي المراجع الثاني يحمل وزناً أكبر لدى المحررين الذين يتخذون القرار النهائي. وبينما يمكن لأي مراجعة قاسية أن تؤدي إلى الرفض، لم يكن هناك تأثير "مضاعف" خاص للمراجع الثاني يجعل رأيه أقوى من الآخرين.
كشفت الدراسة أيضاً عن بعض التفاصيل المثيرة للاهتمام حول كيفية سير العملية، حتى وإن كانت قد دحضت الأسطورة الرئيسية. وجد الباحث أن الرقم الذي يراه المراجع على شاشته غالباً لا يتطابق مع الترتيب الذي قدم به عمله بالفعل. في مجموعة البيانات التي فحصها، تطابق الملصق العام لـ "المراجع 2" مع الشخص الثاني الفعلي الذي قدم تقريراً في حوالي 30 بالمائة فقط من الحالات. وهذا يعني أن "الشرير" الذي يشتكي منه المؤلفون قد لا يكون هو الشخص الثاني الذي كتب المراجعة؛ فالترقيم غالباً ما يكون مجرد تخصيص عشوائي أو ترتيب تخزين ليس له علاقة بتسلسل الأحداث. علاوة على ذلك، عندما نظر الباحث فيما إذا كانت الخلافات بين المراجعين قد حُلت بعد كتابة المؤلف لرد (rebuttal)، رأى أن المجموعة ككل تميل إلى الاقتراب من بعضها البعض في آرائها، ولكن لم يكن هناك أي مؤشر على أن المراجع الثاني هو من غير رأيه أو تسبب في الاحتكاك.
تضمن الجزء الأكثر دلالة في التحقيق اختبار ما إذا كان معرفة أي مراجع قدم أي درجة يمكن أن يساعد في التنبؤ بالنتيجة النهائية للورقة. قام الباحث ببناء نماذج حاسوبية لمعرفة ما إذا كان التعامل مع درجة المراجع الثاني كعامل منفصل وخاص سيحسن من قدرتها على تخمين قبول الورقة أو رفضها. أظهرت النتائج أن المتوسط البسيط لجميع الدرجات كان يعمل بنفس جودة النموذج الذي حاول إعطاء وزن خاص للمراجع الثاني، بل وفي بعض الحالات كان يعمل بشكل أفضل قليلاً. وهذا يشير إلى أن المحررين يميلون على الأرجح إلى النظر في الحكمة الجماعية للمجموعة بدلاً من التركيز على موقع رقمي محدد. تشير البيانات إلى أن تصور وجود مراجع ثانٍ صعب هو على الأرجح نتيجة لكيفية تذكر البشر للتجارب السلبية، وليس نتيجة لواقع إحصائي في نظام المراجعة نفسه.
كما بحثت الدراسة في ديناميكيات عملية المراجعة بمرور الوقت. في مجموعة فرعية من الأوراق حيث سُمح للمؤلف بالرد على المراجعين، تتبع الباحث كيف تغيرت الدرجات. ووجد أن الفجوة بين آراء المراجعين المختلفين تميل إلى التقلص بعد مرحلة الرد، مما يعني أن المراجعين غالباً ما يجدون أرضية مشتركة. ومع ذلك، حدث هذا التقارب عبر جميع المستويات ولم يكن مدفوعاً بتغيير في سلوك المراجع الثاني تحديداً. وخلص الباحث إلى أنه بينما كانت تجربة التعامل مع مراجع صعب حقيقية ومؤلمة للعديد من المؤلفين، فإن فكرة أن الشخص الثاني في القائمة هو المسؤول الوحيد ليست مدعومة بالأدلة. النظام معقد، والخلافات تحدث، لكنها ليست نتيجة لانحياز خفي ضد موقع رقمي معين.
في نهاية المطاف، يعمل هذا التحقيق واسع النطاق كتذكير بأن حدسنا حول كيفية عمل الأنظمة يمكن أن يكون مضللاً في بعض الأحيان. إن ظاهرة "المراجع 2" هي قصة قوية تتردد أصداؤها لأنها تعطي وجهاً للإحباط الناتج عن الرفض، ولكن البيانات تظهر أن هذا الوجه ليس مرتبطاً برقم محدد. إن القسوة، والاختلاف، والمخاطر العالية للمراجعة من قبل الأقراء موزعة على كامل مجموعة الخبراء، وليست مركزة في الخانة الثانية. ومن خلال استبدال الأسطورة بالقياس، أظهر الباحث أنه يمكن للمجتمع العلمي فهم عملياته بشكل أفضل، والتركيز على المصادر الحقيقية للتباين في الأحكام بدلاً من مطاردة شبح لا وجود له في الأرقام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.