← नवीनतम पेपर
📊 सांख्यिकी

Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?

यह अध्ययन मशीन लर्निंग सम्मेलनों में लगभग 160,000 समीक्षाओं के मेटाडेटा का विश्लेषण करता है और अंतर्निहित कठोरता या ध्रुवीकरण के "रिव्यूअर 2" (Reviewer 2) रूढ़िबद्धता का समर्थन करने के लिए कोई सांख्यिकीय साक्ष्य नहीं पाता है, जो यह सुझाव देता है कि यह घटना संभवतः एक सार्वभौमिक वास्तविकता के बजाय एक मापन संबंधी विसंगति या संस्था-निर्भर पूर्वाग्रह है।

मूल लेखक: Muh. Akbar Idris

प्रकाशित 2026-11-17✓ Author reviewed ⓘ
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Muh. Akbar Idris

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

अकादमिक विज्ञान की दुनिया में, एक नए विचार से प्रकाशित शोध पत्र तक का सफर 'पीयर रिव्यू' (सहकर्मी समीक्षा) नामक एक प्रक्रिया से होकर गुजरता है। किसी अध्ययन के दुनिया के सामने आने से पहले, इसे क्षेत्र के अन्य विशेषज्ञों के पास भेजा जाता है जो इसे ध्यान से पढ़ते हैं और अपना निर्णय देते हैं। ये विशेषज्ञ, जिन्हें समीक्षक (रिव्यूअर) कहा जाता है, द्वारपाल की भूमिका निभाते हैं, जो यह तय करते हैं कि क्या वह कार्य दुनिया के साथ साझा करने के लिए पर्याप्त सुदृढ़ है। वे अंक देते हैं, विस्तृत टिप्पणियाँ लिखते हैं, और अक्सर यह सिफारिश करते हैं कि पेपर को स्वीकार किया जाना चाहिए, खारिज कर दिया जाना चाहिए, या बड़े बदलावों के लिए वापस भेजा जाना चाहिए। यह प्रणाली गुणवत्ता सुनिश्चित करने के लिए बनाई गई है, लेकिन यह लेखकों के लिए अत्यधिक चिंता का भी स्रोत है। एक कठोर टिप्पणी भी करियर को पटरी से उतार सकती है, और यह प्रक्रिया अक्सर गोपनीयता से घिरी होती है, जिसमें समीक्षकों की पहचान उन लेखकों से छिपाई जाती है जिनका वे मूल्यांकन कर रहे होते हैं।

समय के साथ, इस प्रणाली के भीतर एक विशिष्ट सांस्कृतिक कहानी उभर कर आई है। लेखकों और वैज्ञानिकों ने एक साझा संदेह विकसित कर लिया है कि रिपोर्ट में सूचीबद्ध दूसरा समीक्षक विशेष रूप से कठिन होता है। "रिव्यूअर 2" वैज्ञानिक समुदाय में एक लोक-विलेन (folk villain) बन गया है, एक ऐसी आकृति जिसकी कल्पना अपने सहकर्मी की तुलना में अत्यधिक कठोर, उपेक्षापूर्ण या बाधा डालने वाले के रूप में की जाती है। यह रूढ़िवाद बताता है कि यदि किसी पेपर में दूसरा समीक्षक है, तो वही वह व्यक्ति है जो परियोजना को खत्म करने की संभावना रखता है। लेकिन क्या यह लोगों के व्यवहार का वास्तविक पैटर्न है, या यह केवल हताशा से जन्मी एक भावना है? इसका उत्तर देने के लिए, एक शोधकर्ता को उपाख्यानों (anecdotes) से आगे बढ़कर हजारों समीक्षाओं के पीछे के वास्तविक आंकड़ों को देखने की आवश्यकता थी ताकि यह देखा जा सके कि क्या दूसरा व्यक्ति वास्तव में पहले या तीसरे व्यक्ति की तुलना में अलग व्यवहार करता है।

एक शोधकर्ता ने ओपन साइंस सम्मेलनों के वास्तविक डेटा के एक विशाल संग्रह का परीक्षण करके इस मिथक की जांच करने का निश्चय किया। उन्होंने लगभग 63,000 पांडुलिपियों और 157,000 से अधिक व्यक्तिगत समीक्षाओं से जानकारी एकत्र की। उनका लक्ष्य प्रक्रिया के इर्द-गिर्द भावनाओं और कहानियों को हटाकर सीधे अंकों और निर्णयों को देखना था। उन्होंने एक विशिष्ट प्रश्न पर ध्यान केंद्रित किया: क्या "रिव्यूअर 2" के रूप में लेबल किए गए लोग वास्तव में कम अंक देते हैं, अधिक बार चरम रेटिंग का उपयोग करते हैं, या अपने साथियों की तुलना में अधिक असहमत होते हैं जो उसी पेपर का मूल्यांकन कर रहे हैं? शोधकर्ता ने समीक्षक को दिए गए नंबर और समीक्षक द्वारा अपनी रिपोर्ट लिखने के वास्तविक क्रम के बीच अंतर करने में सावधानी बरती, क्योंकि वे जानते थे कि ये दोनों चीजें हमेशा एक समान नहीं होती हैं। हालांकि, यह ध्यान रखना महत्वपूर्ण है कि इस अध्ययन में उपयोग किया गया डेटा मुख्य रूप से मशीन-लर्निंग सम्मेलनों में केंद्रित था, विशेष रूप से 2018 से 2021 के बीच ICLR से 7,966 पांडुलिपियों को लेकर। इसका अर्थ है कि निष्कर्ष इन ओपन-रिव्यू परिवेशों पर अधिक लागू होते हैं और पारंपरिक, क्रॉस-डिसिप्लिनरी जर्नल्स पर पूरी तरह से सामान्यीकृत नहीं हो सकते हैं।

कठोर सांख्यिकीय विधियों के साथ डेटा का विश्लेषण करने के बाद, अध्ययन में इस विचार का समर्थन करने के लिए कोई प्रमाण नहीं मिला कि रिव्यूअर 2 एक विशेष प्रकार का विलेन है। जब शोधकर्ता ने दूसरे समीक्षक द्वारा दिए गए अंकों की तुलना अपने साथियों के औसत अंकों से की, तो अंतर इतना कम था कि वह प्रभावी रूप से शून्य था। वास्तव में, डेटा ने दिखाया कि दूसरा समीक्षक व्यवस्थित रूप रूप से कठोर नहीं था, न ही उनके द्वारा सबसे चरम "रिजेक्ट" (अस्वीकार) या "एसेप्ट" (स्वीकार) रेटिंग का उपयोग करने की संभावना अधिक थी। यह डर कि सूची में दूसरा व्यक्ति विशेष रूप से कठिन होता है, एक मिथक प्रतीत होता है। शोधकर्ता ने यह भी देखा कि क्या दूसरे समीक्षक की राय का अंतिम निर्णय लेने वाले संपादकों के पास अधिक वजन था। हालांकि किसी भी व्यक्ति की कठोर समीक्षा से अस्वीकृति हो सकती है, लेकिन दूसरे समीक्षक के लिए कोई विशेष "मल्टीप्लायर" प्रभाव नहीं था जिसने उनकी राय को दूसरों की तुलना में अधिक शक्तिशाली बना दिया हो।

अध्ययन ने इस बारे में कुछ दिलचस्प विवरण भी उजागर किए कि प्रक्रिया कैसे काम करती है, भले ही इसने मुख्य मिथक का खंडन किया हो। शोधकर्ता ने पाया कि समीक्षक अपनी स्क्रीन पर जो नंबर देखता है, वह अक्सर उसके काम को वास्तव में प्रस्तुत करने के क्रम से मेल नहीं खाता है। उनके द्वारा जांचे गए डेटासेट में, "रिविवर 2" का सार्वजनिक लेबल केवल 30 प्रतिशत मामलों में ही वास्तव में रिपोर्ट प्रस्तुत करने वाले दूसरे व्यक्ति से मेल खाता था। इसका मतलब है कि जिन "विलेन" लेखकों की वे शिकायत करते हैं, वे शायद दूसरा व्यक्ति भी नहीं हैं जिसने समीक्षा लिखी है; नंबरिंग अक्सर एक रैंडम असाइनमेंट या स्टोरेज ऑर्डर होता है जिसका घटनाओं के क्रम से कोई लेना-देना नहीं होता है। इसके अलावा, जब शोधकर्ता ने देखा कि क्या समीक्षकों के बीच असहमति को लेखक द्वारा दिए गए रिबटल (खंडन/जवाब) के बाद सुलझा लिया गया था, तो उन्होंने देखा कि समूह समग्र रूप से अपनी राय में करीब आता गया, लेकिन ऐसा कोई संकेत नहीं था कि दूसरा समीक्षक ही अपनी राय बदल रहा है या घर्षण पैदा कर रहा है।

इस जांच का सबसे महत्वपूर्ण हिस्सा यह परीक्षण करना था कि क्या यह जानना कि किस समीक्षक ने कौन सा स्कोर दिया है, पेपर के अंतिम परिणाम की भविष्यवाणी करने में मदद कर सकता है। शोधकर्ता ने कंप्यूटर मॉडल बनाए यह देखने के लिए कि क्या दूसरे समीक्षक के स्कोर को एक अलग, विशेष कारक के रूप में मानने से पेपर के स्वीकृत या अस्वीकृत होने के अनुमान में सुधार होता है। परिणाम दर्शाते हैं कि सभी स्कोर का एक सरल औसत, उस मॉडल की तुलना में उतना ही अच्छा काम करता है (और कुछ मामलों में थोड़ा बेहतर), जो दूसरे समीक्षक को विशेष महत्व देने की कोशिश करता है। यह सुझाव देता है कि संपादक संभवतः समूह के सामूहिक ज्ञान को देखते हैं न कि किसी विशिष्ट क्रमांकित स्थिति पर ध्यान केंद्रित करते हैं। डेटा इंगित करता है कि कठिन दूसरे समीक्षक की धारणा संभवतः इस बात का परिणाम है कि मनुष्य नकारात्मक अनुभवों को कैसे याद रखते हैं, न कि स्वयं समीक्षा प्रणाली के सांख्यिकीय वास्तविकता का।

अध्ययन ने समय के साथ समीक्षा प्रक्रिया की गतिशीलता को भी देखा। उन पेपरों के एक उपसमुच्चय (subset) में जहाँ लेखक को जवाब देने की अनुमति दी गई थी, शोधकर्ता ने ट्रैक किया कि स्कोर कैसे बदले। उन्होंने पाया कि रिबटल चरण के बाद विभिन्न समीक्षकों की राय के बीच का अंतर कम होता गया, जिसका अर्थ है कि समीक्षक अक्सर आम सहमति पर पहुँच जाते हैं। हालाँकि, यह अभिसरण (convergence) व्यापक स्तर पर हुआ और यह दूसरे समीक्षक के व्यवहार में किसी विशेष परिवर्तन से प्रेरित नहीं था। शोधकर्ता ने निष्कर्ष निकाला कि हालांकि एक कठिन समीक्षक के साथ व्यवहार करना कई लेखकों के लिए वास्तविक और दर्दनाक है, लेकिन विचार कि सूची में दूसरा व्यक्ति विशेष रूप से जिम्मेदार है, साक्ष्य द्वारा समर्थित नहीं है। प्रणाली जटिल है, और असहमति होती है, लेकिन वे किसी विशिष्ट क्रमांकित स्थिति के विरुद्ध छिपे हुए पूर्वाग्रह का परिणाम नहीं हैं।

अंततः, यह बड़े पैमाने पर की गई जांच इस बात की याद दिलाती है कि हमारी अंतर्दृष्टि कि प्रणालियाँ कैसे काम करती हैं, कभी-कभी भ्रामक हो सकती है। "रिव्यूअर 2" घटना एक शक्तिशाली कहानी है क्योंकि यह अस्वीकृति की हताशा को एक चेहरा देती है, लेकिन डेटा दिखाता है कि वह चेहरा किसी विशिष्ट नंबर से जुड़ा नहीं है। कठोरता, असहमति और उच्च दांव वाली समीक्षा, विशेषज्ञों के पूरे समूह में वितरित है, न कि दूसरे स्थान में केंद्रित है। माप के माध्यम से मिथक को बदलकर, शोधकर्ता ने दिखाया है कि वैज्ञानिक समुदाय अपनी प्रक्रियाओं को बेहतर ढंग से समझ सकता है, और संख्या में मौजूद किसी अदृश्य भूत का पीछा करने के बजाय निर्णय के वास्तविक स्रोतों पर ध्यान केंद्रित कर सकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →