Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

إليك ملخص تقني مفصل لورقة "نمذجة التجانس داخل القسم في تصنيفات جودة البحث: تطبيق على نظام ISPD الإيطالي" من إعداد مونتاناري ودوريتي.

1. بيان المشكلة

تتناول الورقة خللاً حرجاً في نظام تصنيف الأقسام الأكاديمية الإيطالية، وتحديداً "مؤشر الأداء المعياري للقسم" (ISPD). يُستخدم هذا المؤشر من قبل الوكالة الوطنية لتقييم النظم الجامعية والبحثية (ANVUR) لتخصيص التمويل العام وتحديد "أقسام التميز".

المشكلة الجوهرية:
يظهر صياغة الـ ISPD الحالية ميلاً واضحاً نحو الاستقطاب، حيث يحصل عدد كبير من الأقسام على درجات متطرفة (0 أو 100)، مما يقلل من القدرة التمييزية للمؤشر. وقد حدد المؤلفون السبب الجذري ليس في عملية تسجيل النقاط نفسها، بل في فرضية إحصائية: يفترض الـ ISPD أن درجات المخرجات البحثية داخل القسم الواحد مستقلة عن بعضها البعض.

الواقع:
في الواقع، تكون الدرجات داخل القسم الواحد مرتبطة داخلياً بسبب:

• إنتاج الباحثين لمخرجات متعددة.
• بيئات واستراتيجيات بحثية مشتركة داخل الأقسام.
• التجانس في القدرات العلمية بين أعضاء القسم.

عواقب تجاهل الارتباط:

• التقليل من تقدير التباين: يتم التقليل من تقدير الانحراف المعياري لـ "المتوسط المعياري" (المقياس الأساسي) لأن الارتباط ($\rho > 0$) يزيد من تباين مجموع الدرجات.
• التحيز المرتبط بالحجم: ينمو تباين المتوسط المعياري مع حجم القسم ($N_d$). فالأقسام الكبيرة أكثر عرضة إحصائياً للحصول على درجات متطرفة (0 أو 100) ببساطة بسبب حجمها والارتباط الداخلي بين أعضائها، وليس بسبب جودتها المتفوقة أو المتدنية.
• عدم الإنصاف: يخلق هذا آلية تصنيف غير عادلة حيث يتم معاقبة أو مكافأة الأقسام الكبيرة بشكل غير متناسب مقارداً بالأقسام الصغيرة ذات الأداء المتوسط المماثل.

2. المنهجية

يقترح المؤلفون إطاراً إحصائياً لنمذجة هذا الارتباط داخل القسم وتعديل الـ ISPD بناءً على ذلك.

أ. التعديل النظري

يعرّف المؤلفون "قسماً افتراضياً" (VD) يأخذ في الاعتبار الارتباط.

• ليكن $\tilde{z}_d$ هو المتوسط المعياري للقسم $d$.
• في حالة الاستقلال، يكون $\tilde{z}_d \sim N(0, 1)$.
• مع وجود ارتباط داخل القسم $\rho_d$، يصبح التباين $\sigma_d^2 = 1 + \rho_d(N_d - 1)$.
• يتم تعريف الـ ISPD المعدل كالتالي:
  $$ISPD^{adj}_d = \lfloor 200 \cdot \Phi(\tilde{z}_d / \sigma_d) + 0.5 \rfloor / 2$$
  حيث $\Phi$ هي دالة التوزيع التراكمي للرتبة المعيارية العادية. يضمن هذا إعادة القياس أن يعكس المؤشر موقع المئوي الحقيقي بالنسبة لتوزيع مرتبط.

ب. نمذجة الارتباط كدالة للحجم

بما أن البيانات الدقيقة (درجات الأوراق الفردية) غالباً ما تكون غير متاحة للجمهور، يقترح المؤلفون نموذجاً موجزاً يربط الارتباط بحجم القسم ($N_d$). ويفترضون أن الأقسام الأكبر تمتلك متوسط ارتباطات أقل بسبب زيادة التباين.

• نموذج الارتباط الكامل (FCM): يستخدم تحويلاً مشابهاً لتحويل فيشر لنمذجة $\rho_d$ كدالة لـ $N_d$:
  $$\text{logit-like transformation: } F(\rho_d) = \alpha + \beta(N_d - 1)$$
  $$\rho_d = \frac{\exp(F(\rho_d)) - 1}{\exp(F(\rho_d)) + \tilde{N}}$$
  حيث $\tilde{N}$ هو الحد الأقصى لحجم القسم. ومن المتوقع أن تكون قيمة المعلمة $\beta$ سالبة.

ج. التوزيع "البيتويدي" (Betoidal Distribution)

لتقدير معلمات النموذج باستخدام بيانات متاحة للجمهور (والتي تكون خشنة بسبب التقريب إلى أنصاف الأعداد، وبالنسبة لتصنيف 2022، تم قطعها من جهة اليسار لتظهر فقط أفضل 350 قسماً)، يقدم المؤلفون توزيعاً احتمالياً مبتكراً:

• التوزيع البيتويدي: هو توزيع $X = \Phi(Z)$ حيث $Z \sim N(0, \sigma^2)$.
• يشبه توزيع بيتا متماثل ولكنه مشتق من تحويل التوزيع الطبيعي التراكمي.
• التوزيع البيتويدي المقطوع من اليسار: تم تكييفه للتعامل مع بيانات 2022 حيث يظهر الذيل العلوي فقط.
• يسمح هذا بـ تقدير الإمكان الأعظم (ML) للمعلمات $\alpha$ و $\beta$ مباشرة من قيم الـ ISPD المقربة دون الحاجة إلى البيانات الدقيقة (micro-data).

د. المقدرات المنافسة

تقارن الورقة التعديل المقترح القائم على FCM مقابل:

1. الـ ISPD الأصلي: يفترض أن $\rho = 0$.
2. النموذج غير المعلمي ($ISPD_{np}$): يقدر $\rho$ مباشرة من البيانات الدقيقة (وهو غير مستقر للأقسام ذات الحجم المتوسط $N_d$).
3. نموذج التقاطع العشوائي ($ISPD_{rim}$): يفترض ارتباطاً ثابتاً عبر جميع الأقسام (نموذج الارتباط الثابت، CCM).

3. المساهمات الرئيسية

1. تحديد خلل هيكلي: تثبت الورقة رسمياً أن استقطاب الـ ISPD الإيطالي هو نتاج اصطناعي إحصائي ناتج عن تجاهل الارتباط داخل القسم، والذي يتفاعل مع حجم القسم.
2. التوزيع البيتويدي: تقديم توزيع احتمالي جديد مصمم لتحليل المتغيرات الطبيعية المحولة الخاضعة للتقريب والقطع، مما يتيح تقديراً قوياً من البيانات العامة الخشنة.
3. نموذج الارتباط المعتمد على الحجم: اقتراح والتحقق من صحة نموذج حيث ينخفض الارتباط مع زيادة حجم القسم، مما يوفر افتراضاً هيكلياً أكثر واقعية من نماذج الارتباط الثابت.
4. إطار تقدير قابل للتطبيق: تطوير إجراء تقدير الإمكان الأعظم (ML) الذي يعمل مع البيانات المحدودة والخشنة التي تتوفر عادة للجمهور، وليس فقط للوكالة التي تمتلك البيانات الدقيقة.

4. النتائج

التحليل التجريبي (بيانات 2017 و 2022)

• وجود الارتباط: رفضت اختبارات نسبة الإمكان (LRT) نموذج الارتباط الصفري ($\rho=0$) بشكل ساحق. الارتباط داخل القسم معتد به إحصائياً في كلتا مجموعتي البيانات.
• تأثير الحجم: كانت تقديرات $\beta$ سالبة بشكل ملحوظ في كلتا السنتين، مما يؤكد أن الأقسام الأكبر لديها ارتباطات داخلية أقل.
• الاستقطاب: كانت الانحرافات المعيارية المقدرة ($\hat{\sigma}_d$) أكبر بكثير من 1 (تتراوح بين ~2.1 إلى ~3.2)، مما يفسر توزيع درجات ISPD الذي يتخذ شكل حرف U الملاحظ في الواقع.
• ملائمة النموذج: يتفوق نموذج FCM في ملاءمة البيانات بشكل ملحوظ على نموذج الارتباط الثابت (CCM) والنموذج الصفري.

دراسة المحاكاة

قام المؤلفون بمحاكاة 1,000 مجموعة بيانات تحاكي تصنيف 2017 تحت سيناريوهات اضطراب مختلفة.

• المقاييس: متوسط الانحراف المطلق (MAD) وأقل نسبة مئوية للمقارنات المتنافرة (PDC).
• النتائج:
  • الـ ISPD الأصلي: كان أداؤه ضعيفاً (MAD مرتفع ~13.6، PDC مرتفع ~5.8%)، مما يؤكد الاستقطاب الشديد وأخطاء التصنيف.
  • النموذج غير المعلمي ($ISPD_{np}$): كان غير مستقر بسبب ضجيج الإحصاء من الدرجة الثانية.
  • الـ ISPD المقترح القائم على FCM ($ISPD^{fcm}$): حقق باستمرار أدنى MAD (0.02–0.94) وأدنى PDC (0.08–1.64)، متفوقاً على جميع المنافسين، بما في ذلك نهج RIM/CCM.
  • أنتج المؤشر المعدل بواسطة FCM توزيعاً شبه منتظم للدرجات، مما استعاد القدرة التمييزية.

5. الأهمية والآثار المترتبة

• العدالة في التمويل: تثبت الدراسة أن نظام التصنيف الحالي يشوه تخصيص التمويل بشكل منهجي بناءً على حجم القسم بدلاً من جودة البحث الصرفة. يضمن التعديل المقترح مقارنة الأقسام الكبيرة والصغيرة على أساس إحصائي عادل.
• شفافية السياسات: تسلط الضوء على ضرية وجوب قيام وكالات التقييم بتوضيح ونمذجة الافتراضات الإحصائية (مثل الاستقلال) التي تدعم مؤشرات الأداء بشكل صريح. تجاهل هذه الافتراضات يؤدي إلى تحيز منهجي.
• الدقة المنهجية: توضح الورقة أن الخيارات الإحصائية "التقنية" في بناء المؤشرات لها عواقب توزيعية ملموسة. إن النمذجة الصحيحة للارتباط ليست مجرد تحسين، بل هي شرط مسبق للمساءلة في تقييم البحث العلمي.
• القابلية للتعميم: يمكن تطبيق الإطار والتوزيع البيتويدي على أنظمة تقييم وطنية أخرى تعتمد على مقاييس أداء مجمعة وتواجه مشكلات مماثلة في خشونة البيانات والارتباط داخل المجموعات.

في الختام، يقدم مونتاناري ودوريتي حلاً إحصائياً صارماً لخلل رئيسي في نظام تقييم البحث الإيطالي، مما يوفر مساراً نحو آلية تصنيف أكثر إنصافاً ودقة تأخذ في الاعتبار الهياكل الداخلية المعقدة للأقسام الأكاديمية.