AttribRank: An Open and Reproducible Framework for Diagnosing Attribution Sensitivity in Author-Level Research Assessment
تقدم هذه الدراسة "AttribRank"، وهو إطار عمل مفتوح المصدر بلغة بايثون يحدد كمياً كيفية تغير تصنيفات البحث على مستوى المؤلف بناءً على خيارات التقييم مثل قواعد التعاون وأنواع المؤشرات، مما يكشف أن هذه الاختلافات منظمة وفقاً للمجالات التخصصية وليس مجرد ضجيج عشوائي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم العلوم الحديثة، كيف نقرر من هو الباحث الأكثر أهمية؟ لعقود من الزمن، غالباً ما كانت الإجابة تؤول إلى الأرقام: كم عدد الأوراق العلمية التي كتبها العالم، وكم مرة استشهد علماء آخرون بتلك الأوراق. تُستخدم هذه الحسابات لاتخاذ قرارات تغير مجرى الحياة فيما يتعلق بالتوظيف، والترقيات، والتمويل. لكن هذه الأرقام ليست حقائق بسيطة مثل وزن صخرة؛ بل هي ملخصات مبنية تعتمد بشكل كبير على القواعد المستخدمة في حسابها. فإذا غيرت القاعدة الخاصة بكيفية تقاسم الائتمان (النسبة) بين فريق المؤلفين، أو إذا قررت تجاهل الاستشهادات التي يضعها العالم لأعماله الخاصة، فإن النتيجة النهائية يمكن أن تتغير. وهذا يعني أن مكانة الباحث ليست نقطة ثابتة على الخريطة، بل هي موقع يتحرك اعتماداً على العدسة التي يُنظر من خلالها إليه. والسؤال الذي يواجه المجتمع العلمي ليس فقط من هو في القمة، بل ما مدى تغير هذا التصنيف عندما يتم التلاعب بقواعد اللعبة.
للإجابة على ذلك، طور فريق من الباحثين أداة جديدة تسمى "AttribRank"، صُممت لقياس مدى "تذبذب" تصنيف العالم عندما تتغير قواعد التقييم. تخيل عالماً يقف على سلم؛ أراد الباحثون معرفة عدد الدرجات التي قد ينزلقها صعوداً أو هبوطاً إذا تغير تعريف "التسلق" قليلاً. هم لم يخترعوا طرقاً جديدة لقياس النجاح، بل أخذوا أربع طرق شائعة لتعديل الدرجة — كيفية تقسيم الائتمان في الفريق، وكيفية التعامل مع الاستشهادات الذاتية، وكيفية وزن ترتيب المؤلفين، ونوع الدرجة المستخدمة — وطبقوها على مجموعة ضخمة من العلماء الأكثر استشهاداً. ومن خلال تشغيل مجموعات القواعد المختلفة هذه عبر برمجياتهم، استطاعوا رؤية مدى تغير المكانة النسبية لكل عالم. وكانت النتيجة صورة واضحة لمدى هشاشة أو استقرار هذه التصنيفات.
طبق الباحثون إطار عملهم على قاعدة بيانات تضم أكثر من 230,000 عالم من الأكثر استشهاداً حول العالم، تغطي مجموعة واسعة من المجالات من الطب إلى الفيزياء. ووجدوا أن التصنيفات حساسة بالفعل للقواعد المستخدمة. في المتوسط، تغير موقع العالم بنحو عشر نقاط مئوية عند تغيير القواعد. ولتوضيح ذلك، إذا كان باحث ما ضمن أفضل 10 بالمائة في مجاله بموجب مجموعة واحدة من القواعد، فقد يهبط إلى أفضل 20 بالمائة بموجب مجموعة أخرى، أو يرتفع أعلى من ذلك. هذا ليس مجرد تذبذب طفيف؛ بل يمثل تغيراً غير ضئيل في المكانة يمكن أن يؤثر على القرارات الواقعية. وأظهرت الدراسة أن هذه التحولات ليست ضجيجاً عشوائياً أو أخطاء في البيانات، بل هي نتائج هيكلية للخيارات التي يتخذها الأشخاص الذين يقومون بالتقييم.
لم تتسبب جميع القواعد في نفس القدر من الحركة. فقد اكتشف الباحثون أن استبعاد الاستشهادات الذاتية — أي إزالة الاستشهادات التي يضعها العالم لأعماله السابقة — تسبب في أصغر قدر من التغيير في التصنيفات. وفي المقابل، حدثت أكبر التحولات عندما انتقل الباحثون من عدد استشهادات قياسي إلى درجة مركبة أكثر تعقيداً تجمع بين عدة مقاييس مختلفة. كما تسبب تغيير كيفية تقاسم الائتمان بين المؤلفين المشاركين أو كيفية تفسير ترتيب المؤلفين في الورقة العلمية في حركة كبيرة، وإن كانت أقل قليلاً من تغيير نظام تسجيل النقاط بأكمله. وهذا يخبرنا أن اختيار أي درجة إجمالية نستخدمها يهم أكثر من قرار تصفية الاستشهادات الذاتية عندما يتعلق الأمر بإعادة ترتيب لوحة الصدارة.
كما كشفت الدراسة أن هذه التحولات ليست متساوية للجميع. إذ يعتمد مقدار تحرك التصنيف بشكل كبير على المجال العلمي المحدد الذي يعمل فيه الباحث. فعلى سبيل المثال، في مجالات مثل الفيزياء وعلم الفلك، حيث تسود الفرق الكبيرة، كان للطريقة التي يتم بها تقاسم الائتمان بين المؤلفين تأثير كبير على من ينتهي بهم المطاف في القمة. وفي مجالات أخرى، كان ترتيب المؤلفين في الورقة العلمية هو العامل الأكثر تأثيراً. وهذا يعني أنه لا يمكن تطبيق قاعدة واحدة بإنصاف على كل تخصص دون مراعاة كيفية عمل العلماء في ذلك المجال. ووجد الباحثون أن التخصص الفرعي المحدد الذي ينتمي إليه العالم غالباً ما يكون مؤشراً أفضل لمدى حساسية تصنيفه من بلد منشئه.
وعندما نظر الباحثون في الاختلافات الوطنية، وجدوا أنه بمجرد مراعاة أنواع المجالات التي يعمل فيها العلماء ومدة نشرهم للأبحاث، لم يفسر البلد نفسه إلا القليل جداً من التباين في حساسية التصنيف. وبينما أظهرت بعض الدول تحولات متوسطة أعلى أو أقل قليلاً، إلا أن هذه الاختلافات كانت صغيرة مقارنة بالاختلافات الملحوظة بين الأفراد وبين التخصصات العلمية المختلفة. وهذا يشير إلى أن الأنظمة البحثية الوطنية ليست المحركات الأساسية لتغيرات التصنيف هذه؛ بل إن هيكل العلم نفسه والخيارات المحددة في عملية التقييم هي الأكثر أهمية.
يؤكد الباحثون أن أداة "AttribRank" ليست طريقة جديدة لتصنيف العلماء أو مقياساً لمن هو الأفضل حقاً. بدلاً من ذلك، هي أداة تشخيصية، مثل اختبار الضغط لنظام التقييم. هي لا تخبرك بمن يجب أن يحصل على وظيفة أو منحة؛ بل تخبرك بمقدار ما قد يتغير في قرارك إذا استخدمت مجموعة مختلفة قليلاً من القواعد. ومن خلال جعل هذه التحولات مرئية وقابلة للقياس، تسمح الأداة للجامعات، ووكالات التمويل، وصناع السياسات برؤية الافتراضات الكامنة وراء رقم واحد. وهي تشجع على نهج أكثر شفافية حيث يتم الاعتراف بالقواعد التي تحكم اللعبة ومناقشتها، بدلاً من معاملة التصنيف كحقيقة غير قابلة للتغيير. وتخلص الدراسة إلى أنه لكي يكون تقييم البحث العلمي مسؤولاً وعادلاً، يجب أن نتوقف عن البحث عن رقم واحد مثالي، ونبدأ في فهم كيف تشكل خياراتنا النتائج التي نراها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.