An analysis of university ranking systems using an unsupervised machine learning-based ranking framework
تقترح هذه الدراسة إطار عمل للتعلم الآلي غير الخاضع للإشراف يستخدم تحليل المكونات الرئيسية وتحليل العوامل للتحقق من شفافية واستقرار تصنيفات الجامعات وتحسينهما من خلال استخلاص العوامل الكامنة وتطبيق أوزان متوازنة، مما يثبت في النهاية أنه بينما تتقلب التصنيفات الفردية، فإن الأنماط التوزيعية العامة للجامعات الأسترالية المرموقة تظل متسقة مع الأنظمة الراسخة مثل "تايمز للتعليم العالي" (THE) و"كيو إس" (QS).
في كل عام، يواجه ملايين الطلاب وعائلاتهم سؤالاً شاقاً: أي جامعة هي الأنسب لهم؟ وللمساعدة في الإجابة على هذا السؤال، تنشر منظمات عالمية قوائم سنوية تصنف المؤسسات بناءً على مزيج من العوامل مثل النتاج البحثي، ورضا الطلاب، والتنوع الدولي. هذه التصنيفات هي أكثر من مجرد أرقام؛ فهي تشكل توجهات الطلاب في التقديم، وكيفية تلقي الجامعات للتمويل، وحتى سمعة دول بأكملها. ومع ذلك، فإن الأساليب المستخدمة لإنشاء هذه القوائم غالباً ما تكون غامضة؛ إذ نادراً ما تكشف المنظمات التي تجمعها عن كيفية حساب الدرجات بدقة أو كيفية التعامل مع المعلومات المفقودة، مما يجعل العملية تبدو وكأنها "صندوق أسود". علاوة على ذلك، تميل التصنيفات التقليدية غالباً إلى التركيز بشدة على الإنجازات البحثية، مما قد يؤدي إلى إغفال جودة التدريس أو تجربة الطالب. وقد دفع هذا النقص في الشفافية والتوازن الباحثين للتساؤل عما إذا كانت هناك طريقة أكثر وضوحاً وأمانة لقياس أداء الجامعات.
لقد تصدى فريق من الباحثين من جامعة نيو ساوث ويلز في سيدني لهذه المشكلة من خلال بناء إطار عمل جديد لتقييم الجامعات. وبدلاً من الاعتماد على الأوزان الذاتية التي تستخدمها وكالات التصنيف الكبرى، لجأوا إلى التعلم الآلي غير الخاضع للإشراف، وهو نوع من التحليل الحاسوبي الذي يجد أنماطاً خفية في البيانات دون إخبار الحاسوب بما يجب البحث عنه. جمع الباحثون بيانات عقد من الزمن من اثنين من أبرز أنظمة التصنيف في العالم، وهما "تايمز للتعليم العالي" (THE) وتصنيف "كيو إس" (QS) للجامعات في العالم. وجمعوا معلومات عن آلاف الجامعات، مستطلعين مؤشرات تتراوح بين السمعة الأكاديمية ورضا أصحاب العمل، إلى نسبة أعضاء هيئة التدريس إلى الطلاب وتنوع الهيئة الطلابية. وكان أحد العوائق الكبيرة التي واجهتهم هو أن البيانات كانت غير مكتملة؛ حيث لم تبلغ العديد من الجامعات عن كل مؤشر كل عام، كما أن بعض المؤشرات لم تُستحدث إلا مؤخراً، مما ترك فجوات كبيرة في السجل التاريخي.
ولمعالجة هذه الفجوات، استخدم الفريق تقنيات حاسوبية متقدمة لتقدير القيم المفقودة. واختبروا عدة طرق مختلفة، بما في ذلك الخوارزميات التي تتعلم من أنماط الجامعات المماثلة والنماذج الإحصائية التي تتنبأ بما كان الرقم المفقود من المرجح أن يكون بناءً على حقائق أخرى معروفة. ووجدوا أن نهجين محددين من التعلم الآلي، يُعرفان بـ "الغابة العشوائية" (Random Forest) و"إكس جي بوست" (XGBoost)، كانا الأكثر فعالية في ملء الفراغات دون تشويه الصورة العامة. سمحت هذه الأساليب لهم بإنشاء مجموعة بيانات كاملة، مما يضمن عدم معاقبة أي جامعة لمجرد فشلها في تقديم قطعة معينة من البيانات. ومع وجود مجموعة معلومات نظيفة وكاملة، استخدم الباحثون أدوات إحصائية لتبسيط الشبكة المعقدة من المؤشرات، حيث اختزلوا العشرات من المقاييس المختلفة إلى خمسة موضوعات أساسية ("عوامل كامنة") تقود أداء الجامعة حقاً.
كشفت هذه العوامل الخمسة عن الهيكل الخفي لما يجعل الجامعة ناجحة. فقد جمع العامل الأول والأكثر أهمية بين السمعة الأكاديمية والسمعة لدى أصحاب العمل ونتائج التوظيف، وهو ما يقيس جوهرياً التأثير العام ونجاح خريجي الجامعة وأبحاثها. وركز العامل الثاني على التأثير الدولي، حيث رصد مدى قدرة الجامعة على جذب الطلاب والموظفين من جميع أنحاء العالم. أما العامل الثالث فقد قاس تأثير المشاركة الصناعية، بينما نظر الرابع في بيئة التعلم من خلال نسبة الموظفين إلى الطلاب. وتركز العامل الخامس على جودة البحث وعدد الاستشهادات التي يتلقاها عمل الجامعة. ومن خلال تحليل كيفية تفاعل هذه العوامل الخمسة، أنشأ الفريق نظام تصنيف جديد يطبق نفس الوزن على هذه الموضوعات كل عام، بدلاً من تغيير "قواعد اللعبة" كما تفعل التصنيفات التقليدية غالباً.
وعندما قارن الباحثون تصنيفاتهم الجديدة بالقوائم القائمة، وجدوا أن الجامعات الرائدة ظلت كما هي إلى حد كبير، مع استمرار مؤسسات مثل أكسفورد ومعهد ماساتشوستس للتكنولوجيا وكامبريدج في احتلال أعلى المراكز. وهذا يشير إلى أن الجامعات الرائدة في العالم قوية بالفعل عبر أبعاد متعددة. ومع ذلك، أظهر الإطار الجديد صورة مختلفة للجامعات في المستويات المتوسطة والدنيا؛ إذ غالباً ما تشهد التصنيفات التقليدية قفزات وانخفاضات كبيرة في المراكز من سنة إلى أخرى، ويرجع ذلك إلى قيام المنظمات المسؤلة عنها بتغيير كيفية وزن المؤشرات المختلفة. وفي المقابل، قدم النظام الجديد رؤية أكثر استقراراً لقوة المؤسسات. فعلى سبيل المثال، عند النظر إلى الجامعات الأسترالية، أظهر الإطار الجديد أن مكانتها النسبية ظلت ثابتة بمرور الوقت، في حين أظهرت التصنيفات التقليدية تقلبات حادة يبدو أنها تعكس التغييرات في المنهجية بدلاً من التغييرات الفعلية في أداء الجامعات.
ويخلص البحث إلى أنه بينما قد تتغير مواقع الجامعات الفردية قليلاً اعتماداً على الطريقة المستخدمة، فإن النمط العام للتميز يظل قوياً. ويقدم الإطار الجديد نهجاً أكثر شفافية وتوازناً، حيث يمنح اعتباراً متساوياً للتدريس والبحث والمشاركة العالمية دون الاعتماد على الاستطلاعات الذاتية أو الحسابات الغامضة. ومن خلال جعل البيانات والشيفرة البرمجية المستخدمة في التحليل متاحة للجمهور، قدم الباحثون أداة تسمح لأي شخص برؤية كيفية اشتقاق التصنيفات بدقة. ويشير هذا العمل إلى أن وجود طريقة أكثر عدلاً لتقييم التعليم العالي هو أمر ممكن، وهي طريقة تعتمد على رؤى واضحة مدفوعة بالبيانات بدلاً من الرمال المتحركة للسمعة والمعلومات غير المكتملة. وبالنسبة للطلاب وصناع السياسات والجامعات أنفسهم، فإن هذا يوفر مساراً أوضح لفهم ما يشكل حقاً مؤسسة عالمية المستوى.
ملخص تقني: تحليل أنظمة تصنيف الجامعات باستخدام إطار عمل للتصنيف يعتمد على التعلم الآلي غير الخاضع للإشراف
بيان المشكلة تؤثر تصنيفات الجامعات بشكل كبير على تنقل الطلاب الدوليين، والحوكمة المؤسسية، والتمويل، والمكانة الجيوسياسية. ومع ذلك، تعاني أنظمة التصنيف الرئيسية الحالية، وتحديداً تصنيفات "تايمز للتعليم العالي" (THE) و"كواكواريللي سيموندز" (QS)، من قيود منهجية حرجة. وتشمل هذه القيود نقص الشفافية في التعامل مع البيانات (خاصة فيما يتعلق بالقيم المفقودة)، والتعيينات الذاتية لأوزان المؤشرات، وتحيزات الاختيار التي تفضل المؤسسات كثيفة البحث على جودة التدريس أو السياقات الإقليمية المحددة. علاوة على ذلك، فإن الاعتماد على استطلاعات السمعة وطبيعة "الصندوق الأسود" لتعويض البيانات (imputation) يقوض إمكانية إعادة إنتاج هذه التصنيفات وعدالتها. ويحدد المؤلفون الحاجة إلى إطار عمل يعالج شفافية البيانات، ويتعامل مع البيانات المفقودة بقوة، ويستمد الأوزان من بنية البيانات نفسها بدلاً من التعيين الذاتي.
المنهجية يقترح المؤلفون إطار عمل مبتكر للتصنيف يدمج معالجة البيانات المتقدمة مع تقنيات التعلم الآلي غير الخاضع للإشراف. تسير المنهجية عبر سبع مراحل متميزة:
جمع البيانات ومعالجتها مسبقاً: تجمع الدراسة بيانات من تصنيفات QS وTHE الممتدة من 2015 إلى 2025. تتضمن مجموعة البيانات أكثر من 10,000 عينة مع سمات متنوعة مثل السمعة الأكاديمية، والسمعة لدى أصحاب العمل، ونسب أعضاء هيئة التدريس إلى الطلاب، ومقاييس التدويل. يتم ترميز المتغيرات الفئوية، وإزالة القيم المتطرفة (مثل الجامعات ذات أعداد الطلاب الهائلة في بيانات THE).
تعويض البيانات (Data Imputation): يبرز تحدٍ كبير يتمثل في المعدل المرتفع للقيم المفقودة في بيانات QS، لا سيما للمؤشرات الجديدة مثل "شبكة البحث الدولية"، و"نتائج التوظيف"، و"الاستدامة"، والتي كانت مفقودة بين عامي 2018 و2023. يقارن المؤلفون أربع استراتيجيات للتعويض: ملء المتوسط/المنوال (Mean/Mode filling)، والتعويض المتعدد عبر المعادلات المتسلسلة (MICE)، والغابة العشوائية (Random Forest)، والانحدار البايزي (Bayesian Regression)، وXGBoost.
تم استخدام مقاييس التقييم (R²، RMSE، MAE) ومخططات تقدير كثافة النواة (KDE) لتقييم الأداء.
النتيجة: تفوقت الغابة العشوائية (Random Forest) وXGBoost على MICE والانحدار البايزي، لا سيما في الحفاظ على التوزيع الملتوي نحو اليمين لدرجات التصنيف. وتستخدم مجموعة البيانات النهائية المتوسط النقطي لتعويضات Random Forest وXGBoost.
تقليل الأبعاد (Dimensionality Reduction): للقضاء على التكرار والأوزان الذاتية، يطبق المؤلفون تحليل المكونات الرئيسية (PCA) والتحليل العاملي (FA).
تحليل المكونات الرئيسية (PCA): استُخدم لتحديد العدد الأمثل للمكونات، حيث تبيّن أن المكونات الرئيسية الخمس الأولى تفسر أكثر من 85% من التباين التراكمي.
التحليل العاملي (Factor Analysis): استُخدم لاستخراج العوامل الكامنة. وباستخدام تدوير "فاريمكس" (Varimax rotation)، تم تحديد خمسة عوامل متميزة تلتقط البنية الأساسية للمؤشرات.
استخراج العوامل وتحديد الأوزان: العوامل الخمسة المستخرجة هي:
العامل 1 (التطوير الأكاديمي): يشمل السمعة الأكاديمية، والسمعة لدى أصحاب العمل، ونتائج التوظيف، والتدريس، والبيئة البحثية، وشبكة البحث الدولية، والاستدامة.
العامل 2 (التأثير الدولي): يشمل أعضاء هيئة التدريس الدوليين، والطلاب الدوليين، والمنظور الدولي.
العامل 3 (تأثير الصناعة): يمثل تأثير الصناعة.
العامل 4 (بيئة التعلم): يلتقط نسبة أعضاء هيئة التدريس إلى الطلاب.
العامل 5 (المساهمة العلمية): يضم جودة البحث والاقتباسات لكل عضو هيئة تدريس.
تحديد الأوزان: على عكس الأنظمة التقليدية، يتم تعيين الأوزان بناءً على مساهمة التباين لهذه العوامل والرؤى المستمدة من أدبيات التعليم العالي. يحصل العامل 1 على أعلى وزن (50%)، يليه العامل 5 (20%)، ثم العامل 2 (15%)، ثم العامل 4 (10%)، وأخيراً العامل 3 (5%).
بناء التصنيف: درجة التصنيف النهائية هي مجموع مرجح لدرجات هذه العوامل الخمسة. يطبق إطار العمل مزيج أوزان متسق عبر جميع السنوات لضمان الاستقرار.
التحقق والمقارنة: تتم مقارنة التصنيفات المقترحة مع تصنيفات THE وQS لأفضل 20 جامعة عالمياً، وبشكل خاص لتسع جامعات أسترالية من 2018 إلى 2025.
المساهمات الرئيسية
اشتقاق الأوزان غير الخاضع للإشراف: يبتعد إطار العمل عن التوزين الذاتي للمؤشرات عبر استخدام PCA والتحليل العاملي لاشتقاق أوزان قائمة على البيانات تعكس هيكل التباين والارتباط الفعلي داخل البيانات.
التعامل القوي مع البيانات المفقودة: تثبت الدراسة أن طرق التعلم الجمعي (Random Forest وXGBoost) هي الأفضل مقارنة بطرق التعويض الإحصائية التقليدية (MICE) للتعامل مع أنماط البيانات المفقودة المعقدة وغير الخطية الموجودة في مجموعات بيانات تصنيف الجامعات.
الشفافية والقابلية لإعادة الإنتاج: من خلال نشر الكود والبيانات والمنهجية التفصيلية (بما في ذلك خطوات التعويض واستخراج العوامل المحددة)، يوفر المؤلفون بديلاً شفافاً لطبيعة "الصندوق الأسود" للتصنيفات التجارية.
تحليل الاستقرار: أظهر إطار العمل أنه أقل عرضة للتقلبات السنوية الناتجة عن تغييرات أوزان المؤشرات في THE وQS، مما يوفر مرجعاً أكثر استقراراً للقوة المؤسسية بمرور الوقت.
النتائج
أداء التعويض: حقق XGBoost وRandom Forest أعلى درجات R² (حوالي 0.67–0.75) وأقل معدلات خطأ في تعويض مؤشرات QS المفقودة، متفوقين على MICE والانحدار البايزي.
بنية العوامل: نجحت العوامل الخمسة المستخرجة في تفسير 84.73% من التباين التراكمي. وأكد مخطط الارتباط الحراري أن العوامل غير مترابطة فيما بينها، مما يثبت استخراج هياكل كامنة متميزة.
مقارنات التصنيف:
الجامعات العليا: ظلت الجامعات الست الأولى (أكسفورد، MIT، كامبريدج، إمبريال، هارفارد، ستانفورد) ثابتة عبر جميع أنظمة التصنيف الثلاثة (THE، QS، والنموذج المقترح).
تباين الفئات المتوسطة: لوحظت اختلافات كبيرة في المراكز المتوسطة، حيث منح إطار العمل المقترح غالباً مراكز وسيطة للمؤسسات التي تباعدت فيها نتائج QS وTHE بشكل كبير.
الجامعات الأسترالية: حللت الدراسة تسع جامعات أسترالية. وبينما تذبذبت المراكز الفردية، ظل النمط التوزيعي العام متشابهاً عبر الأنظمة. ومن الجدير بالذكر أن إطار العمل المقترح أظهر استقراراً أكبر للمؤسسات الأسترالية بين عامي 2023 و2024، وهي الفترة التي شهدت فيها تصنيفات QS وTHE تقلبات بسبب مراجعات أوزانها الخاصة. لقد نجح إطار العمل في تحييد التقلبات الناتجة عن التغييرات الخارجية في الأوزان.
التحيز الجغرافي: بينما لا تزال الدول الناطقة بالإنجليزية (الولايات المتحدة، المملكة المتحدة، أستراليا) تهيمن على قائمة الـ 100 الأوائل، أظهر إطار العمل المقترح انخفاضاً في التحيز تجاه الولايات المتحدة والمملكة المتحدة مقارنة بـ THE، واستقراراً أكبر للدول الآسيوية (الصين، اليابان، كوريا الجنوبية) مقارنة بالتقلبات المشهودة في QS وTHE.
الأهمية والادعاءات يدعي المؤلفون أن إطار عملهم يوفر "تقييماً أكثر توازناً وشمولية" للجامعات من خلال معالجة قيود الشفافية والوزن في الأنظمة الحالية. ويجادلون بأن تخصيص الأوزان بشكل أكثر توازناً وتطبيق مزيج أوزان متسق عبر السنوات يجعل من إطار العمل "مرجعاً أكثر استقراراً للقوة المؤسسية".
تفترض الدراسة أن هذا النهج يساعد في تخفيف تحيز الاختيار المتأصل في التصنيفات المرتكزة على البحث، مما يوفر أداة تعكس بشكل أفضل المهام المزدوجة للتعليم والبحث. ويؤكد المؤلفون أن إطار العمل يعمل كـ "مورد عملي وشفاف" للمؤسسات التعليمية لفهم تنافسيتها ولأصحاب المصلحة لاتخاذ قرارات أكثر استنارة. كما يقرون بالقيود، مثل تحديات المطابقة التقريبية (fuzzy matching) لأسماء المؤسسات، وافتراض الخطية في PCA/FA، مقترحين عملاً مستقبلياً يمكن أن يتضمن تقنيات تقليل الأبعاد غير الخطية (مثل UMAP، t-SNE) وتوسيع مصادر البيانات لتشمل أنظمة تصنيف أخرى مثل ARWU.
في النهاية، تقدم الورقة بديلاً قابلاً لإعادة الإنتاج وقائماً على البيانات يهدف إلى تعزيز مصداقية تصنيفات الجامعات من خلال جعل عملية التقييم شفافة وأقل عرضة للتقلبات التعسفية لمنهجيات التصنيف التجارية.