📊 statistics

Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

यह शोध पत्र एक नवीन सांख्यिकीय मॉडल प्रस्तावित करता है जो इतालवी अनुसंधान गुणवत्ता स्कोर में विभाग-वार समरूपता को ध्यान में रखते हुए एक अधिक निष्पक्ष, समायोजित रैंकिंग सूचकांक (ISPD) बनाता है, जो एक नए पेश किए गए "बेटोइडल" (Betoidal) वितरण का उपयोग करके मोटे तौर पर उपलब्ध सार्वजनिक डेटा पर लागू होने के बावजूद, मूल प्रणाली और अन्य प्रतिस्पर्धी विधियों दोनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Giorgio E. Montanari, Marco Doretti

प्रकाशित 2026-04-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giorgio E. Montanari, Marco Doretti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: "यूनिवर्सिटी ओलंपिक"

कल्पना कीजिए कि एक विशाल ओलंपिक खेल हो रहे हैं जहाँ हर विश्वविद्यालय विभाग एक एथलीट है। लक्ष्य यह है कि शोध (रिसर्च) में अपने प्रदर्शन के आधार पर पदक (फंडिंग) जीते जा रहे।

इटली में, एक विशिष्ट रेफरी सिस्टम है जिसे ANVUR कहा जाता है जो इन विभागों का न्याय करता है। वे प्रत्येक विभाग के प्रोफेसरों द्वारा तैयार किए गए शोध पत्रों (वैज्ञानिक उत्पादों) को देखते हैं, उन्हें अंक देते हैं, और फिर सभी को सर्वश्रेष्ठ से सबसे खराब के क्रम में रैंक करने के लिए एक अंतिम "परफॉर्मेंस इंडेक्स" (ISPD) की गणना करते हैं।

समस्या क्या है? वर्तमान रैंकिंग प्रणाली टूटी हुई है। यह एक ऐसी दौड़ की तरह है जहाँ फिनिश लाइन बार-बार बदलती रहती है, और परिणाम चरम सीमाओं (extremes) की ओर बहुत अधिक झुके हुए हैं। या तो आपको 100 का परफेक्ट स्कोर मिलता है या 0 का भयानक स्कोर, बीच में लगभग कोई नहीं है। यह समझना असंभव बना देता है कि कौन वास्तव में महान है और कौन बस ठीक-ठाक है।

समस्या: "इको चैंबर" (गूँजने वाला कमरा) प्रभाव

इस शोध पत्र के लेखकों ने खोजा कि रैंकिंग इतनी ध्रुवीकृत (polarized) क्यों है।

खामी: वर्तमान प्रणाली मानती है कि प्रत्येक विभाग द्वारा उत्पादित प्रत्येक शोध पत्र एक स्वतंत्र घटना है, जैसे कि सिक्का उछालना। यदि किसी विभाग के पास 100 शोध पत्र हैं, तो सिस्टम सोचता है, "ठीक है, यह 100 अलग-अलग सिक्के उछालने के समान है।"

वास्तविकता: शोध सिक्का उछालने जैसा नहीं है। यह एक गायक मंडली (choir) की तरह है।

यदि आपके पास एक ऐसी गायक मंडली है जहाँ हर कोई एक ही गाने को एक ही सुर में गाता है, तो वे बहुत समान सुनाई देते हैं।
एक विश्वविद्यालय विभाग में, प्रोफेसर मिलकर काम करते हैं, विचारों को साझा करते हैं, एक ही लैब का उपयोग करते हैं और एक ही रणनीतियों का पालन करते हैं।
इसलिए, उनके शोध पत्र सहसंबंधित (correlated) होते हैं। वे "तालमेल" में होने की प्रवृत्ति रखते हैं। यदि एक पेपर अच्छा है, तो अन्य भी अच्छे होने की संभावना है। यदि एक बुरा है, तो वे सभी औसत दर्जे के होने की संभावना है।

परिणाम:
क्योंकि वर्तमान प्रणाली इस "गायक मंडली प्रभाव" (एकरूपता) को अनदेखा करती है, इसलिए इसकी गणितीय गणना गलत हो जाती है।

छोटी मंडली: यदि एक छोटे विभाग के पास कुछ अच्छे शोध पत्र हैं, तो सिस्टम सोचता है, "वाह, यह एक बड़ी उपलब्धि है!" और उन्हें एक विशाल स्कोर देता है।
बड़ी मंडली: यदि एक बहुत बड़े विभाग के पास कुछ अच्छे शोध पत्र हैं, तो सिस्टम सोचता है, "चूंकि उनके पास इतने सारे पेपर हैं, तो उनमें कुछ बुरे भी होने चाहिए जो संतुलन बनाए रखें," और उन्हें दंडित करता है।

यह एक U-आकार का वितरण (U-shaped distribution) बनाता है: छोटे विभागों को शीर्ष पर धकेल दिया जाता है, बड़े विभागों को नीचे धकेल दिया जाता है, और "औसत" विभाग बीच में कुचल दिए जाते हैं। यह एक ऐसे तराजू की तरह है जो केवल पूरी तरह से बाईं या दाईं ओर झुकता है, कभी संतुलित नहीं रहता।

समाधान: "फेयरनेस फ़िल्टर" (निष्पक्षता का फिल्टर)

लेखक स्कोर की गणना करने का एक नया तरीका प्रस्तावित करते हैं जो इस "गायक मंडली प्रभाव" को ध्यान में रखता है।

आकार मायने रखता है: उन्होंने महसूस किया कि "गूँज" छोटी मंडली में अधिक मजबूत होती है और बड़ी मंडली में कमजोर होती है (क्योंकि बड़ी मंडली में विविध समूह होते हैं)।
नया फॉर्मूला: उन्होंने विभाग के आकार के आधार पर स्कोर को समायोजित करने के लिए एक गणितीय मॉडल बनाया।
- यदि कोई विभाग छोटा है, तो सिस्टम कहता है, "ठीक है, उनके पेपर बहुत समान हैं, इसलिए हमें उन्हें कुछ अच्छे पेपर होने के लिए बहुत अधिक श्रेय नहीं देना चाहिए।"
- यदि कोई विभाग बहुत बड़ा है, तो सिस्टम कहता है, "उनके पेपर अधिक विविध हैं, इसलिए उनका औसत स्कोर वास्तव में अधिक विश्वसनीय है।"

वे इसे एडजस्टेड ISPD (Adjusted ISPD) कहते हैं। यह कैमरे के लेंस में "फेयरनेस फ़िल्टर" जोड़ने जैसा है ताकि विषय के आकार से तस्वीर विकृत न हो।

"बेटोइडल" (Betoidal) वितरण: अव्यवस्थित डेटा के लिए एक नया उपकरण

यहाँ शोध पत्र थोड़ा तकनीकी हो जाता है, लेकिन हम इसे सरल बना सकते हैं।

जनता जो डेटा देखती है वह "कोर्स" (अस्पष्ट) है। स्कोर को निकटतम आधे अंक (जैसे 85.5 या 86.0) तक पूर्णांकित किया जाता है और कभी-कभी केवल शीर्ष 350 विभागों को ही दिखाया जाता है। यह एक थर्मामीटर देखकर कमरे के सटीक तापमान का अनुमान लगाने की कोशिश करने जैसा है जो केवल पूर्ण संख्याओं को दिखाता है और निचले स्तर पर टूटा हुआ है।

इसे ठीक करने के लिए, लेखकों ने "बेटोइडल" (Betoidal) नामक एक नया गणितीय आकार बनाया।

इसे एक कस्टम-मेड सांचे के रूप में सोचें।
मानक गणितीय आकार (जैसे बेल कर्व) इस विशिष्ट, अव्यवस्थित डेटा में फिट नहीं होते हैं।
बेटोइडल आकार विशेष रूप से उस "राउंडेड, ट्रंकेटेड" (पूर्णांकित, कटे हुए) डेटा के लिए बनाया गया है जिसे इतालवी सरकार जारी करती है। यह उन्हें निजी डेटा की आवश्यकता के बिना कागजों के बीच वास्तविक सहसंबंध का अनुमान लगाने की अनुमति देता है।

परिणाम: जब उन्होंने इसका परीक्षण किया तो क्या हुआ?

लेखकों ने यह देखने के लिए एक सिमुलेशन (एक आभासी प्रयोग) चलाया कि क्या उनकी नई विधि बेहतर काम करती है।

पुरानी प्रणाली (ISPD): यह अराजक थी। इसने नकली बराबरी (Tie) पैदा की (कई विभागों का स्कोर बिल्कुल समान था) और एक "अच्छे" विभाग और एक "महान" विभाग के बीच अंतर नहीं कर सकी।
नई प्रणाली (Adjusted ISPD): यह बहुत अधिक निष्पक्ष थी।
- इसने स्कोर को अधिक स्वाभाविक रूप से फैला दिया।
- इसने बड़े विभागों को केवल बड़े होने के कारण दंडित करना बंद कर दिया।
- इसने छोटे विभागों को अनुचित "भाग्य बोनस" देना बंद कर दिया।

सिमुलेशन में, उनकी नई विधि "स्वर्ण पदक विजेता" रही, जिसने न केवल मूल प्रणाली को बल्कि अन्य जटिल तरीकों को भी पीछे छोड़ दिया जिन्हें काम करने के लिए अधिक डेटा की आवश्यकता थी।

निष्कर्ष: यह क्यों मायने रखता है

यह केवल गणित के बारे में नहीं है; यह निष्पक्षता और पैसे के बारे में है।

जब विश्वविद्यालयों की रैंकिंग की जाती है, तो उन्हें करोड़ों रुपये की फंडिंग मिलती है। यदि रैंकिंग प्रणाली दोषपूर्ण है:

यह गलत चीजों को पुरस्कृत करती है (जैसे छोटा होना या एक घनिष्ठ समूह होना) बजाय वास्तविक गुणवत्ता के।
यह "विजेता-सब-ले-जाता है" (winner-take-all) वाली स्थिति पैदा करती है जहाँ केवल चरम सीमाओं को ही फंड मिलता है।
यह प्रणाली में विश्वास को नष्ट कर देती है।

मुख्य बात:
लेखक कह रहे हैं, "हे, आप एक शोध विभाग को यादृच्छिक कंचों (marbles) के थैले की तरह नहीं मान सकते। वे एक टीम हैं। उन्हें निष्पक्ष रूप से रैंक करने के लिए, आपको यह ध्यान में रखना होगा कि वे कितना मिलकर काम करते हैं और वे कितने बड़े हैं।"

गणित को ठीक करके, वे केवल एक संख्या नहीं बदल रहे हैं; वे यह सुनिश्चित कर रहे हैं कि सबसे अच्छे शोध को वह समर्थन मिले जिसका वह हकदार है, चाहे वह शोध करने वाला विभाग किसी भी आकार का हो।

यहाँ मोंटानारी और डोरेट्टी के शोध पत्र "Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र इतालवी अकादमिक विभाग रैंकिंग प्रणाली, विशेष रूप से इंडेस स्टैंडर्डाइज़्ड डि परफॉरमेंस डिपार्टमेंटल (ISPD) में एक गंभीर दोष को संबोधित करता है। ISPD का उपयोग नेशनल एजेंसी फॉर द इवैल्यूएशन ऑफ द यूनिवर्सिटी एंड रिसर्च सिस्टम्स (ANVUR) द्वारा सार्वजनिक धन आवंटित करने और "उत्कृष्टता के विभागों" (Departments of Excellence) की पहचान करने के लिए किया जाता है।

मुख्य मुद्दा:
वर्तमान ISPD फॉर्मूलेशन में ध्रुवीकरण (polarization) की एक स्पष्ट प्रवृत्ति दिखाई देती है, जहाँ बड़ी संख्या में विभाग चरम स्कोर (0 या 100) प्राप्त करते हैं, जिससे इंडेक्स की विभेदक क्षमता (discriminatory power) कम हो जाती है। लेखक इस समस्या का मूल कारण स्कोरिंग में नहीं, बल्कि एक सांख्यिकीय धारणा में देखते हैं: ISPD यह मानता है कि विभाग के भीतर अनुसंधान आउटपुट स्कोर परस्पर स्वतंत्र (mutually independent) होते हैं।

वास्तविकता:
वास्तविकता में, विभाग के भीतर स्कोर इंट्रा-डिपार्टमेंटल रूप से सह-संबंधित (intra-departmentally correlated) होते हैं, जिसका कारण है:

विद्वानों द्वारा कई आउटपुट का उत्पादन करना।
विभागों के भीतर साझा अनुसंधान वातावरण और रणनीतियाँ।
विभागों के सदस्यों के बीच वैज्ञानिक क्षमताओं में समरूपता (homogeneity)।

सहसंबंध (Correlation) की अनदेखी करने के परिणाम:

विचरण का कम अनुमान (Variance Underestimation): "स्केल्ड एवरेज" (मूल मीट्रिक) का मानक विचलन कम आंका जाता है क्योंकि सहसंबंध ( $\rho > 0$ ) स्कोर के योग के विचरण (variance) को बढ़ा देता है।
आकार-निर्भर पूर्वाग्रह (Size-Dependent Bias): स्केल्ड एवरेज का विचरण विभाग के आकार ( $N_d$ ) के साथ बढ़ता है। बड़े विभाग केवल अपने आकार और आंतरिक सहसंबंध के कारण सांख्यिकीय रूप से चरम स्कोर (0 या 100) प्राप्त करने के लिए अधिक संभावित होते हैं, न कि श्रेष्ठ/निम्न गुणवत्ता के कारण।
अनुचितता (Unfairness): यह एक अनुचित रैंकिंग तंत्र बनाता है जहाँ समान औसत प्रदर्शन वाले छोटे विभागों की तुलना में बड़े विभागों को असंगत रूप से दंडित या पुरस्कृत किया जाता है।

2. कार्यप्रणाली (Methodology)

लेखक इस इंट्रा-डिपार्टमेंटल सहसंबंध को मॉडल करने और उसके अनुसार ISPD को समायोजित करने के लिए एक सांख्यिकीय ढांचा प्रस्तावित करते हैं।

A. सैद्धांतिक समायोजन (Theoretical Adjustment)

लेखक एक सैद्धांतिक "वर्चुअल डिपार्टमेंट" (VD) को परिभाषित करते हैं जो सहसंबंध को ध्यान में रखता है।

मान लीजिए कि $\tilde{z}_d$ विभाग $d$ का स्केल्ड एवरेज है।
स्वतंत्रता (independence) के तहत, $\tilde{z}_d \sim N(0, 1)$ ।
इंट्रा-डिपार्टमेंटल सहसंबंध $\rho_d$ के साथ, विचरण $\sigma_d^2 = 1 + \rho_d(N_d - 1)$ हो जाता है।
समायोजित ISPD (Adjusted ISPD) को इस प्रकार परिभाषित किया गया है:
$ISPD^{adj}_d = \lfloor 200 \cdot \Phi(\tilde{z}_d / \sigma_d) + 0.5 \rfloor / 2$
जहाँ $\Phi$ मानक सामान्य CDF है। यह पुनर्गठन (rescaling) सुनिश्चित करता है कि इंडेक्स एक सह-संबंधित वितरण के सापेक्ष वास्तविक पर्सेंटाइल स्थिति को दर्शाए।

B. आकार के फलन के रूप में सहसंबंध का मॉडलिंग (Modeling Correlation as a Function of Size)

चूंकि माइक्रो-डेटा (व्यक्तिगत पेपर स्कोर) अक्सर जनता के लिए उपलब्ध नहीं होते हैं, इसलिए लेखक सहसंबंध को विभाग के आकार ( $N_d$ ) से जोड़ने वाला एक संक्षिप्त मॉडल प्रस्तावित करते हैं। उनका तर्क है कि बड़े विभागों में विषमता के कारण औसत सहसंबंध कम होता है।

फुल कोरिलेशन मॉडल (FCM): $\rho_d$ को $N_d$ के फलन के रूप में मॉडल करने के लिए एक संशोधित फिशर ट्रांसफॉर्मेशन का उपयोग करता है:
$\text{logit-like transformation: } F(\rho_d) = \alpha + \beta(N_d - 1)$
$\rho_d = \frac{\exp(F(\rho_d)) - 1}{\exp(F(\rho_d)) + \tilde{N}}$
जहाँ $\tilde{N}$ अधिकतम विभाग आकार है। पैरामीटर $\beta$ के ऋणात्मक होने की अपेक्षा है।

C. "बेटॉइडल" वितरण (The "Betoidal" Distribution)

सार्वजनिक रूप से उपलब्ध डेटा (जो राउंडिंग के कारण मोटे तौर पर प्रस्तुत है और 2022 की रैंकिंग के लिए केवल शीर्ष 350 विभागों तक सीमित है) का उपयोग करके मॉडल मापदंडों का अनुमान लगाने के लिए, लेखक एक नया संभाव्यता वितरण पेश करते हैं:

बेटॉइडल वितरण: $X = \Phi(Z)$ का वितरण जहाँ $Z \sim N(0, \sigma^2)$ ।
यह एक सममित बीटा वितरण के समान दिखता है लेकिन सामान्य CDF ट्रांसफॉर्मेशन से प्राप्त होता है।
लेफ्ट-ट्रंकेटेड बेटॉइडल (Left-Truncated Betoidal): 2022 के डेटा को संभालने के लिए अनुकूलित जहाँ केवल ऊपरी टेल (upper tail) दृश्यमान है।
यह बिना कच्चे माइक्रो-डेटा के, सीधे राउंडेड ISPD मानों से $\alpha$ और $\beta$ के मैक्सिमम लाइक्लीहुड (ML) अनुमान की अनुमति देता है।

D. प्रतिस्पर्धी एस्टिमेटर्स (Competing Estimators)

लेखक प्रस्तावित FCM-आधारित समायोजन की तुलना निम्नलिखित से करते हैं:

मूल ISPD: यह मानता है कि $\rho = 0$ है।
नॉन-पैरामीट्रिक (ISPD $_{np}$ ): माइक्रो-डेटा से सीधे $\rho$ का अनुमान लगाता है (मध्यम $N_d$ के लिए अस्थिर)।
रैंडम इंटरसेप्ट मॉडल (ISPD $_{rim}$ ): सभी विभागों में निरंतर सहसंबंध (Constant Correlation Model, CCM) मानता है।

3. मुख्य योगदान (Key Contributions)

संरचनात्मक दोष की पहचान: शोध पत्र औपचारिक रूप से प्रदर्शित करता है कि इतालवी ISPD का ध्रुवीकरण एक सांख्यिकीय आर्टिफैक्ट है, जो इंट्रा-डिपार्टमेंटल सहसंबंध को अनदेखा करने के कारण होता है, जो विभाग के आकार के साथ परस्पर क्रिया करता है।
बेटॉइडल वितरण: एक नया संभाव्यता वितरण पेश करना जो राउंडिंग और ट्रंकेशन के अधीन रूपांतरित सामान्य चरों (transformed Normal variables) के विश्लेषण के लिए उपयुक्त है, जिससे मोटे सार्वजनिक डेटा से मजबूत अनुमान लगाना संभव होता है।
आकार-निर्भर सहसंबंध मॉडल: एक ऐसा मॉडल प्रस्तावित और मान्य करना जहाँ आकार बढ़ने के साथ सहसंबंध घटता है, जो निरंतर सहसंबंध मॉडलों की तुलना में अधिक यथार्थवादी संरचनात्मक धारणा प्रदान करता है।
व्यवहार्य अनुमान ढांचा (Feasible Estimation Framework): एक ML अनुमान प्रक्रिया विकसित करना जो सार्वजनिक रूप से उपलब्ध सीमित और मोटे डेटा के साथ काम करती है, न कि केवल उस एजेंसी के साथ जिसके पास कच्चा डेटा है।

4. परिणाम (Results)

अनुभवजन्य विश्लेषण (2017 और 2022 का डेटा)

सहसंबंध का अस्तित्व: लाइक्लीहुड रेशियो टेस्ट (LRT) व्यापक रूप से नल सहसंबंध मॉडल ( $\rho=0$ ) को खारिज करता है। दोनों डेटासेट में इंट्रा-डिपार्टमेंटल सहसंबंध सांख्यिकीय रूप से महत्वपूर्ण है।
आकार प्रभाव: $\beta$ का अनुमान दोनों वर्षों में काफी ऋणात्मक है, जो पुष्टि करता है कि बड़े विभागों में इंट्रा-डिपार्टमेंटल सहसंबंध कम होता है।
ध्रुवीकरण: अनुमानित मानक विचलन ( $\hat{\sigma}_d$ ) 1 से काफी अधिक (लगभग ~2.1 से ~3.2 तक) है, जो वास्तविकता में देखे गए ISPD स्कोर के U-आकार के वितरण की व्याख्या करता है।
मॉडल फिट: फुल कोरिलेशन मॉडल (FCM) निरंतर सहसंबंध मॉडल (CCM) और नल मॉडल की तुलना में डेटा को काफी बेहतर तरीके से फिट करता है।

सिमुलेशन अध्ययन (Simulation Study)

लेखकों ने विभिन्न व्यवधान परिदृश्यों के तहत 2017 की रैंकिंग की नकल करते हुए 1,000 डेटासेट का अनुकरण किया।

मीट्रिक्स: "वास्तविक" सैद्धांतिक इंडेक्स से माध्य पूर्ण विचलन (MAD) और विसंगत तुलनाओं का प्रतिशत (PDC)।
निष्कर्ष:
- मूल ISPD खराब प्रदर्शन करता है (उच्च MAD ~13.6, उच्च PDC ~5.8%), जो गंभीर ध्रुवीकरण और रैंकिंग त्रुटियों की पुष्टि करता है।
- नॉन-पैरामीट्रिक (ISPD $_{np}$ ) दूसरे क्रम के सांख्यिकीय शोर के कारण अस्थिर था।
- प्रस्तावित FCM-आधारित ISPD ( $ISPD^{fcm}$ ) लगातार सबसे कम MAD (0.02–0.94) और सबसे कम PDC (0.08–1.64) प्राप्त करता है, जो RIM/CCM दृष्टिकोण सहित सभी प्रतिस्पर्धियों से बेहतर प्रदर्शन करता है।
- FCM-समायोजित इंडेक्स ने स्कोर का लगभग समान वितरण (uniform distribution) उत्पन्न किया, जिससे विभेदक शक्ति बहाल हुई।

5. महत्व और निहितार्थ (Significance and Implications)

फंडिंग में निष्पक्षता: यह अध्ययन सिद्ध करता है कि वर्तमान रैंकिंग प्रणाली शुद्ध अनुसंधान गुणवत्ता के बजाय विभाग के आकार के आधार पर फंडिंग आवंटन को व्यवस्थित रूप से विकृत करती है। प्रस्तावित समायोजन यह सुनिश्चित करता है कि बड़े और छोटे विभागों की तुलना एक सांख्यिकीय रूप से निष्पक्ष आधार पर की जाए।
नीति पारदर्शिता: यह रेखांकित करता है कि मूल्यांकन एजेंसियों को उन सांख्यिकीय धारणाओं (जैसे स्वतंत्रता) को स्पष्ट रूप से बताना और मॉडल करना चाहिए जो प्रदर्शन संकेतकों का आधार हैं। इन धारणाओं की अनदेखी करने से व्यवस्थित पूर्वाग्रह पैदा होता है।
पद्धतिगत कठोरता: यह पेपर प्रदर्शित करता है कि इंडेक्स निर्माण में "तकनीकी" सांख्यिकीय विकल्पों के ठोस वितरणात्मक परिणाम होते हैं। सहसंबंध को ठीक से मॉडल करना केवल एक सुधार नहीं बल्कि अनुसंधान मूल्यांकन में जवाबदेही के लिए एक पूर्व शर्त है।
सामान्यीकरण (Generalizability):eters): बेटॉइडल वितरण और फ्रेमवर्क को अन्य राष्ट्रीय मूल्यांकन प्रणालियों पर लागू किया जा सकता है जो एकत्रित प्रदर्शन मेट्रिक्स पर निर्भर करती हैं और डेटा के मोटे होने (data coarsening) तथा इंट्रा-ग्रुप सहसंबंध जैसी समस्याओं का सामना करती हैं।

निष्कर्षतः, मोंटानारी और डोरेट्टी इतालवी अनुसंधान मूल्यांकन प्रणाली की एक प्रमुख खामी के लिए एक कठोर सांख्यिकीय समाधान प्रदान करते हैं, जो एक अधिक न्यायसंगत और सटीक रैंकिंग तंत्र की ओर मार्ग प्रशस्त करता है जो अकादमिक विभागों की जटिल आंतरिक संरचनाओं को ध्यान में रखता है।