One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
تستخدم هذه الدراسة محاكاة "مونت كارلو" قابلة للتكرار لـ 700 جامعة اصطناعية لتوضيح أن التصنيفات المؤسسية تتباين بشكل كبير عبر قواعد بيانات OpenAlex وScopus وWeb of Science نتيجة لآليات خاصة بكل قاعدة بيانات مثل نطاق التغطية ومقياس الاستشهاد، مما يكشف أن التوافق العالي على مستوى النظام يخفي عدم استقرار جوهري في التصنيف على مستوى المؤسسات وتحيزات إقليمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في كل عام، تُصطف الجامعات من جميع أنحاء العالم في عمود واحد، وتُصنف من الأول إلى الأخير، كما لو كان مكانتها حقيقة ثابتة مثل ارتفاع جبل. تعتمد هذه الممارسة على مكتبات رقمية ضخمة تخزن الملايين من الأوراق البحثية، والاستشهادات، وأسماء المؤلفين. هذه المكتبات، التي تُسمى غالبًا قواعد بيانات، هي الأدوات التي يستخدمها الباحثون لعدّ كمّ ما تنتجه الجامعة ومدى تكرار قراءة هذا العمل من قبل الآخرين. الافتراض الكامن وراء هذه التصنيفات هو أنك إذا عددت نفس الجامعة في مكتبتين مختلفتين، فستحصل تقريبًا على نفس النتيجة. ومع ذلك، فإن الواقع هو أنه لا توجد مكتبتان تحتويان على المجموعة ذاتها من الأعمال تمامًا. فقد تتضمن إحداهما أوراقًا مكتوبة بلغات أخرى غير الإنجليزية، بينما قد تركز أخرى بقوة على مجالات علمية محددة أو تستبعد أنواعًا معينة من الوثائق مثل أعمال المؤتمرات. ولأن قائمة الأوراق الأولية مختلفة، فإن العدد النهائي والترتيب الناتج يمكن أن يتغيرا بشكل كبير، رغم أن الجامعة نفسها لم تغير إنتاجها البحثي على الإطلاق.
وضع باحث يدعى مصطفى كيالي نفسه في مواجهة لفهم مدى أهمية هذه الاختلافات. وبدلاً من محاولة إصلاح التصنيفات الحالية أو مقارنة جامعات حقيقية، بنى محاكاة حاسوبية لاختبار آليات النظام. لقد أنشأ عالمًا خياليًا يحتوي على سبعمائة جامعة اصطناعية. وقد مُنحت كل مؤسسة من هذه المؤسسات الوهمية ملفًا تعريفياً فريدًا، يشمل حجمها، وجودة أبحاثها، واللغات التي تنشر بها، ومزيج الموضوعات التي تدرسها، مثل الطب، أو الهندسة، أو الفنون. ثم قام ببرمجة ثلاث مكتبات رقمية مختلفة لـ "مراقبة" هذه المجموعة من الجامعات نفسها. صُممت هذه المكتبات لمحاكاة السلوكيات المعروفة للأنظمة في العالم الحقيقي: إحداها كانت واسعة وشاملة، والأخرى كانت في المنتصف، والثالثة كانت أكثر انتقائية وصرامة فيما يتعلق بما تدرجه. لم يكن الهدف هو معرفة أي مكتبة هي الأفضل، بل لمعرفة مدى تذبذب ترتيب جامعة واحدة اعتمادًا على المكتبة المستخدمة للقياس.
أظهرت النتائج تناقضًا مفاجئًا. فعندما نظر الباحث إلى القائمة الإجمالية، بدا أن التصنيفات من المكتبات المختلفة تتفق جيدًا؛ حيث تحرك ترتيب الجامعات معًا بطريقة توحي بوجود صلة قوية. ومع ذلك، عندما نظر إلى الجامعات الفردية، تغيرت الصورة تمامًا. فالجامعة التي تظهر ضمن المائة الأوائل في مكتبة ما، قد تهبط عشرات المراكز في مكتبة أخرى. وفي المتوسط، تحركت الجامعة حوالي واحد وأربعين مركزًا بين المكتبة الأكثر شمولاً والمكتبة الأكثر انتقائية. وهذا يعني أن حوالي ثماني عشرة جامعة عبرت الخط لتصبح أو تخرج من قائمة المائة الأوائل لمجرد أن المراقب قد تغير. لقد كان الاتفاق العام العالي يخفي وراءه قدرًا كبيرًا من عدم الاستقرار للمؤسسات المحددة.
كما كشفت الدراسة أن هذه التحركات لم تكن عشوائية، بل اتبعت نمطًا واضحًا بناءً على موقع الجامعة واللغات التي تستخدمها. فالجامعات في دول الجنوب العالمي، أو تلك التي تنشر جزءًا كبيرًا من أعمالها بلغات غير الإنجليزية، تميل إلى التصنيف بشكل أعلى في المكتبة الواسعة والشاملة. وفي المكتبة الأكثر انتقائية، انخفض تصنيف هذه المؤسسات نفسها بشكل ملحوظ. وعلى العكس من ذلك، شهدت جامعات في مناطق أخرى انخفاضًا في تصنيفاتها عندما أصبحت المكتبة أكثر شمولاً. حدث هذا لأن نظام التصنيف هو لعبة صفرية؛ فإذا ارتفع ترتيب مجموعة ما لأن المزيد من أعمالها قد تم عدّها، فلا بد لمجموعة أخرى أن تنخفض. أظهرت المحاكاة أن اتجاه التحول يعتمد كليًا على القواعد المبنية في المكتبة، وليس على الجودة الفعلية للبحث.
ولفهم سبب وجود هذه الفجوات، قام الباحث بتفكيك الاختلافات إلى أربعة أسباب رئيسية: عدد الأوراق التي تم العثور عليها، ومدى ربط اسم الجامعة بأوراقها، وكيفية عد الاستشهادات، والأخطاء العشوائية في البيانات. وكان العامل الأكبر هو التغطية، أو ببساطة عدد الأوراق التي تمكنت المكتبة من العثور عليها. فسر هذا العامل وحده ما يقرب من ثلثي الفرق في التصنيفات. أما الطريقة التي رُبطت بها الجامعات بأوراقها فكانت عاملًا أصغر، وفي بعض الحالات، جعل إصلاح عملية الربط عدم الاتفاق يزداد سوءًا قليلاً قبل أن يتحسن. وخلصت الدراسة إلى أن التباين لم يكن خطأً يجب إصلاحه بتحسين العد، بل كان سمة أساسية لاستخدام مصادر مختلفة.
تجادل الورقة بأن تقديم رقم واحد لترتيب الجامعة هو أمر مضلل لأنه يخفي عدم اليقين الكامن وراء ذلك الرقم. فقد تُصنف جامعة ما في المركز السابع والأربعين في نظام ما والخامس والخمسين في نظام آخر، وهو فرق صغير، ولكن يمكن أيضًا أن تُصنف في المركز الثاني والستين في نظام و المائة وواحد وثمانين في آخر. يقترح الباحث أنه بدلاً من تقديم رتبة واحدة، يجب إظهار نطاق من المواقع المحتملة للجامعات، جنباً إلى جنب مع احتمالية وجودها ضمن المائة الأوائل. هذا النهج من شأنه أن يجعل من الواضح أن موقع الجامعة ليس نقطة ثابتة على الخريطة، بل هو موقع يتغير اعتمادًا على العدسة التي يُنظر من خلالها. لا تدعي الدراسة أنها حلت مشكلة التصنيف، لكنها تقدم طريقة واضحة لقياس مدى تأثير اختيار مصدر البيانات على النتيجة، وتحث على ضرورة جعل حالة عدم اليقين هذه مرئية لأي شخص يستخدم هذه القوائم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.