Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time
घटते मानकों के लोकप्रिय विमर्श को चुनौती देते हुए, यह शोध पत्र समीक्षा गुणवत्ता को मापने के लिए एक नया ढांचा प्रस्तुत करता है और प्रमुख एआई (AI) एवं भाषाविज्ञान सम्मेलनों के कालानुक्रमिक विश्लेषण के माध्यम से यह प्रदर्शित करता है कि मध्यिका समीक्षा गुणवत्ता समय के साथ स्थिर बनी हुई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ा सवाल: क्या समीक्षाएँ (Reviews) खराब हो रही हैं?
कल्पना कीजिए कि आप एक विशाल, वैश्विक टैलेंट शो चला रहे हैं। हर साल, हज़ारों गायक (शोधकर्ता) अपने गाने (पेपर) विशेषज्ञों के एक पैनल (रिव्यूअर्स) द्वारा जज किए जाने के लिए जमा करते हैं। हाल ही में, दर्शकों के बीच बहुत चर्चा हो रही है: "जज आलसी होते जा रहे हैं! वे अब ध्यान से नहीं सुन रहे हैं। फीडबैक की गुणवत्ता गिर रही है क्योंकि गायकों की संख्या बहुत अधिक है और जजों की संख्या कम है।"
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या यह चर्चा सच है? क्या समीक्षाएँ वास्तव में समय के साथ खराब हो रही हैं, या यह केवल एक अहसास है?
समस्या: आप सेब की तुलना संतरे से नहीं कर सकते
इसका उत्तर देने के लिए, शोधकर्ताओं ने "समीक्षा की गुणवत्ता" को मापने की कोशिश की। लेकिन उन्हें एक बाधा का सामना करना पड़ा। कल्पना कीजिए कि आप 2018 के सैंडविच की तुलना 2025 के सैंडविच की गुणवत्ता से करने की कोशिश कर रहे हैं।
- 2018 में, सैंडविच शायद बिना किसी निर्देश के एक नैपकिन पर परोसा गया होगा।
- 2025 में, यह एक चेकलिस्ट के साथ एक शानदार बॉक्स में आता है।
- कुछ जज लंबे पैराग्राफ लिखते हैं; अन्य बुलेट पॉइंट्स लिखते हैं।
- कुछ जज एक विशिष्ट प्रारूप में लिखते हैं; अन्य स्वतंत्र रूप से लिखते हैं।
क्योंकि वर्षों में और विभिन्न सम्मेलनों (जैसे ICLR, NeurIPS और ACL) में "फॉर्म" और शैलियाँ बहुत बदल गईं, इसलिए उनकी निष्पक्ष तुलना करना असंभव था। यह एक समूह के लिए स्केल (रूलर) और दूसरे के लिए टेप मेजर का उपयोग करके लोगों की ऊंचाई मापने जैसा था।
समाधान: "रिव्यू ट्रांसलेटर" (समीक्षा अनुवादक)
इसे ठीक करने के लिए, लेखकों ने समीक्षाओं के लिए एक सार्वभौमिक अनुवादक (Universal Translator) बनाया।
- फ्लैटनिंग (Flattening): उन्होंने सभी अलग-अलग रूपों को लिया और उन्हें एक लंबे, निरंतर टेक्स्ट ब्लॉक में बदल दिया।
- आइटमाइजेशन (Itemization): उन्होंने एक स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) का उपयोग किया जो एक पेशेवर संपादक की तरह काम करता है। इस AI ने बिखरे हुए टेक्स्ट को व्यवस्थित किया और उसे मानक अनुभागों में पुनर्गठित किया: सारांश (Summary), खूबियाँ (Strengths), कमियाँ (Weaknesses), और अन्य (Other)।
इसे हर सैंडविच को, चाहे वह कैसे भी परोसा गया हो, मानक टुकड़ों में काटने के रूप में सोचें ताकि आप ब्रेड, मांस और पनीर को अलग-अलग चख सकें। इसने उन्हें 2018 की समीक्षाओं की सीधे 2025 की समीक्षाओं से तुलना करने की अनुमति दी।
उन्होंने "गुणवत्ता" को कैसे मापा
एक बार जब समीक्षाएँ मानकीकृत हो गईं, तो टीम ने तीन मुख्य "टेस्ट" का उपयोग करके उन्हें मापा:
तथ्यात्मक गहराई (Substantiveness - क्या इसमें पर्याप्त 'मांस' है?):
- हल्का: समीक्षा कितनी लंबी है? (कैरेक्टर्स गिनकर)।
- गहरा: समीक्षक ने कितने अलग-अलग बिंदु या "आइटम" बनाए?
- उदाहरण: एक छोटी समीक्षा एक छोटे बिस्कुट की तरह है; एक लंबी समीक्षा एक पूर्ण भोजन की तरह है। उन्होंने समीक्षा में सूचना के कितने "निवाले" थे, इसकी गिनती की।
कार्यक्षमता (Actionability - क्या गायक वास्तव में अपना गाना सुधार सकता है?):
- क्या समीक्षक ने विशिष्ट निर्देश दिए? (जैसे, "चित्र 3 बदलें" बनाम "यह बुरा है")।
- उदाहरण: एक अच्छी समीक्षा एक कोच की तरह है जो कहता है, "आपका बायां पैर बहुत आगे है।" एक बुरी समीक्षा केवल चिल्लाने जैसी है, "आप गलत कर रहे हैं!" लेखकों ने मापा कि टेक्स्ट में कितने विशिष्ट "सुधार-निर्देश" (fix-it requests) थे।
आधारित प्रमाण (Grounding - क्या उन्होंने वास्तव में पेपर को देखा?):
- क्या समीक्षक ने पेपर के विशिष्ट हिस्सों की ओर इशारा किया? (जैसे, "पेज 4, लाइन 10 देखें")।
- उदाहरण: एक आधारित (grounded) समीक्षा एक जासूस की तरह है जो मेज पर सबूत की ओर इशारा करता है। एक बिना आधार वाली समीक्षा बिना सुराग देखे केवल अनुमान लगाने जैसी है।
परिणाम: चर्चा गलत थी
कई वर्षों के दौरान शीर्ष कंप्यूटर विज्ञान सम्मेलनों से हजारों समीक्षाओं का विश्लेषण करने के बाद, डेटा ने एक आश्चर्यजनक कहानी बताई:
समीक्षाओं की औसत (median) गुणवत्ता में गिरावट नहीं आई।
इस डर के बावजूद कि रिव्यूअर्स थक रहे हैं या AI उन्हें आलसी बना रहा है, आज की "औसत" समीक्षा उतनी ही मददगार, विस्तृत और आधारित है जितनी कि कुछ साल पहले की समीक्षाएं थीं। गिरावट की "चर्चा" आंकड़ों द्वारा समर्थित नहीं थी।
यह क्यों महसूस होता है कि गुणवत्ता गिर रही है?
यदि गुणवत्ता समान है, तो सबको ऐसा क्यों लगता है कि यह खराब हो रही है? लेखक कुछ सिद्धांत (परिकल्पनाएं) देते हैं:
- "अधिक लोग, अधिक शोर" का सिद्धांत: भले ही औसत गुणवत्ता वही रहती है, लेकिन जैसे-जैसे सबमिशन की संख्या बढ़ती है, खराब समीक्षाओं की कुल संख्या भी बढ़ती है। यदि आपके पास 100 समीक्षाएं हैं और 5 खराब हैं, तो यह 5% है। यदि आपके पास 10,000 समीक्षाएं हैं और 500 खराब हैं, तो यह अभी भी 5% है, लेकिन अचानक 500 लोग नाराज हो जाते हैं। खराब अनुभवों का आयतन (volume) ऐसा महसूस कराता है कि सब कुछ टूट रहा है।
- "सबसे खराब, और भी खराब हो गया" का सिद्धांत: हो सकता है कि औसत ठीक हो, लेकिन जो सबसे खराब समीक्षाएं हैं, वे और भी बदतर होती जा रही हैं, और वही हैं जिनके बारे में लोग सोशल मीडिया पर बात करते हैं।
- "हमें बस पता नहीं है" का सिद्धांत: हो सकता है कि गुणवत्ता वास्तव में गिरी हो, लेकिन उन तरीकों से जिन्हें लेखक माप नहीं सके (जैसे समीक्षा की "आत्मा"), और उनके वर्तमान उपकरण इसे देख नहीं पाए।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि हमें घबराने और यह मानने की ज़रूरत नहीं है कि सिस्टम ढह रहा है। "औसत" समीक्षा अपनी स्थिति बनाए हुए है। हालांकि, चूंकि कागजात (papers) की संख्या विस्फोट की तरह बढ़ रही है, इसलिए हमें यह सुनिश्चित करने के लिए अधिक मेहनत करने की आवश्यकता है कि हर किसी को एक अच्छी समीक्षा मिले, न कि केवल औसत को।
लेखकों ने एक टूलकिट (कोड और डेटा) भी बनाया है जिसे अन्य शोधकर्ता भविष्य में इस समीक्षा प्रणाली के "स्वास्थ्य" की जांच करने के लिए उपयोग कर सकते हैं, जिससे यह सुनिश्चित हो सके कि हमारे पास केवल भावनाओं के बजाय तथ्य हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।