Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping

विज्ञान एक सरल वादे पर टिका है: कि नए विचारों को कोई भी देख, परीक्षण और उन पर बहस कर सकता है। दशकों से, शोधकर्ता अपने शुरुआती काम को साझा करने के लिए मुख्य रूप से प्रीप्रिंट सर्वरों का उपयोग करते रहे हैं, जो डिजिटल लाइब्रेरी हैं जहाँ वैज्ञानिक अपने शोध पत्रों को जर्नल द्वारा औपचारिक रूप से जांचे जाने से पहले पोस्ट करते हैं। ये प्लेटफॉर्म खोज के लिए एक तीव्र राजमार्ग की तरह कार्य करते हैं, जिससे दुनिया को किसी दावे या पद्धति को लिखे जाने के तुरंत बाद देखने का अवसर मिलता है, बजाय इसके कि महीनों या वर्षों तक पारंपरिक पीयर रिव्यू (सहकर्मी समीक्षा) की धीमी प्रक्रिया का इंतजार किया जाए। हालाँकि, ये सर्वर केवल खुले फाइलिंग कैबिनेट नहीं हैं; वे क्यूरेटेड (व्यवस्थित) स्थान हैं। किसी पेपर के सार्वजनिक सूची में आने से पहले, स्वयंसेवकों की एक टीम उसे पढ़ती है ताकि यह तय किया जा सके कि वह वहां होना चाहिए या नहीं। यदि उन्हें लगता है कि काम में मौलिकता की कमी है, विज्ञान महत्वपूर्ण नहीं है, या कार्य बहुत अधूरा है, तो वे सबमिशन को खारिज कर सकते हैं। यह गेटकीपिंग (द्वारपाल) भूमिका पुस्तकालय को निरर्थक सामग्री से भरने से रोकने के लिए आवश्यक है, लेकिन यह एक कठिन समस्या पैदा करती है। जब एक गेटकीपर "ना" कहता है, तो कोई कैसे जान सकता है कि वह निर्णय सही था? यदि एक पेपर छिपा दिया जाता है, और लेखक उसे कहीं और प्रकाशित नहीं करता है, तो दुनिया उस परिणाम को कभी नहीं देख पाती। वह पेपर एक शानदार खोज हो सकती थी जिसे गलती से दबा दिया गया, या यह एक ऐसा रास्ता हो सकता था जो बंद था जिसे सही ढंग से रोका गया। 'अस्वीकृत ढेर' की ओर देखने का कोई तरीका न होने के कारण, सिस्टम यह नहीं बता सकता कि वह एक गलती थी या एक सफलता।

यही वह केंद्रीय पहेली है जिसे स्वतंत्र शोधकर्ता अत्सुशी ओत्सुका एक नए अध्ययन में सुलझाने का प्रयास कर रहे हैं। वह यह तर्क नहीं देते कि वर्तमान प्रणाली खराब है या स्वयंसेवक पक्षपाती हैं। इसके बजाय, वह माप (मेजरमेंट) के बारे में एक अधिक मौलिक प्रश्न पूछते हैं: क्या सिस्टम के पास अपनी गलतियों को देखने का कोई तरीका है? ओत्सुका सबसे बड़े और सबसे प्रसिद्ध प्रीप्रिंट सर्वर, arXiv के नियमों और सार्वजनिक रिपोर्टों का परीक्षण करते हैं ताकि यह देखा जा सके कि क्या उन शोध पत्रों को ट्रैक करना संभव है जिन्हें खारिज कर दिया गया है। वह पाते हैं कि जबकि सर्वर हमें यह बताने में बहुत अच्छा है कि उसे कितने पेपर प्राप्त हुए और उसने कितने को अस्वीकार किया, वह हमें यह नहीं बताता कि जिन पत्रों को अस्वीकार किया गया उनके साथ क्या हुआ। सर्वर अपनी अस्वीकृति दर तो जानता है, लेकिन वह यह ट्रैक नहीं करता कि वे अस्वीकृत पेपर बाद में अन्य जर्नल्स में प्रकाशित हुए या नहीं, क्या उन्हें अन्य वैज्ञानिकों द्वारा उद्धृत (साइट) किया गया, या क्या लेखक ने उनमें सुधार किया और फिर से प्रयास किया। इस फॉलो-अप जानकारी के बिना, सिस्टम यह गणना नहीं कर सकता कि वह कितनी बार गलती करता है। यह एक सुरक्षा गार्ड की तरह है जो जानता है कि उसने दरवाजे पर कितने लोगों को रोका, लेकिन उसके पास इस बात का कोई रिकॉर्ड नहीं है कि उनमें से कितने लोग वास्तव में निर्दोष आगंतुक थे जिन्हें गलत तरीके से वापस भेज दिया गया था।

ओत्सुका का कार्य पारंपरिक अकादमिक जर्नल्स की दुनिया में इसी तरह के अध्ययनों के लंबे इतिहास पर आधारित है। वर्षों से, शोधकर्ता अस्वीकृत जर्नल पांडुलिपियों को ट्रैक करते रहे हैं ताकि यह देखा जा सके कि क्या वे अंततः कहीं और प्रकाशित होती हैं या क्या वे अत्यधिक उद्धृत, महत्वपूर्ण कार्य बनती हैं। इन अध्ययनों ने दिखाया है कि बेहतरीन जर्नल भी कभी-कभी शानदार शोध पत्रों को चूक जाते हैं, और अस्वीजन (रिजेक्शन) की प्रक्रिया स्वयं लेखक के व्यवहार को बदल सकती है, शायद उन्हें काम पूरा करने से हतोत्साहित करके। ओत्सुका इन निर्णयों के मूल्यांकन में इसी तर्क को लागू करते हैं। वह इन निर्णयों के मूल्यांकन में एक महत्वपूर्ण विषमता (असमानता) की ओर इशारा करते हैं। यदि एक अस्वीकृत पेपर बाद में एक शीर्ष जर्नल में प्रकाशित होता है, तो यह इस बात का पुख्ता प्रमाण है कि प्रीप्रिंट सर्वर ने गलती की है। लेकिन यदि एक अस्वीकृत पेपर कभी प्रकाशित नहीं होता है, तो यह साबित नहीं करता कि सर्वर सही था। अस्वीजन ने स्वयं पेपर के भविष्य को बदल दिया होगा, या पेपर को ऐसे कारण से खारिज किया गया होगा जो वास्तव में गलत था। क्योंकि अस्वीजन पेपर के भविष्य को बदल देता है, इसलिए आप यह तय करने के लिए कि प्रारंभिक "ना" सही था या नहीं, केवल अंतिम परिणाम को नहीं देख सकते।

इसे हल करने के लिए, ओत्सुका वैज्ञानिक गेटकीपिंग को "ऑडिटेबल" (लेखापरीक्षा योग्य) बनाने के लिए एक नया ढांचा प्रस्तावित करते हैं। वह इस समस्या को तीन स्तरों में विभाजित करते हैं। पहला स्तर 'निर्णय पारदर्शिता' (डिसीजन ट्रांसपेरेंसी) है, जिसका अर्थ है केवल यह रिपोर्ट करना कि कितने पेपर खारिज किए गए और क्यों। दूसरा 'परिणाम अवलोकन' (आउटकम ऑब्जर्वेबिलिटी) है, जिसका अर्थ है यह ट्रैक करना कि उन अस्वीकृत शोध पत्रों के साथ बाद में क्या हुआ। तीसरा और सबसे महत्वपूर्ण स्तर 'त्रुटि ऑडिटेबिलिटी' (एरर ऑडिटेबिलिटी) है। इसके लिए प्लेटफॉर्म को पहले से यह घोषित करना होगा कि वह यह कैसे तय करेगा कि निर्णय गलत था। उदाहरण के लिए, यदि एक पेपर इसलिए खारिज किया जाता है क्योंकि उसे "महत्वपूर्ण संशोधन" की आवश्यकता है, तो प्लेटफॉर्म के पास बाद में यह जांचने के लिए एक स्पष्ट नियम होना चाहिए कि क्या लेखक ने वास्तव में कहीं और प्रकाशित करने से पहले वे संशोधन किए थे। ओत्सुका द्वारा arXiv के वर्तमान सार्वजनिक रिकॉर्ड के ऑडिट से पता चलता है कि सर्वर पहले स्तर पर मजबूत है लेकिन अन्य स्तरों पर कमजोर है। सर्वर अपने कुल आंकड़े और सामान्य नीतियां रिपोर्ट करता है, लेकिन वह विशिष्ट अस्वीकरणों को बाद के परिणामों से जोड़ने वाला डेटा प्रकाशित नहीं करता है, और न ही यह जांचने का कोई तरीका प्रदान करता है कि क्या एक अस्वीकृत पेपर वास्तव में एक गलती थी।

यह अध्ययन यह दावा नहीं करता कि arXiv अच्छी विज्ञान को खारिज कर रहा है, न ही यह दावा करता है कि स्वयंसेवक गलतियां कर रहे हैं। यह केवल यह कहता है कि वर्तमान सार्वजनिक जानकारी पर्याप्त नहीं है। सर्वर पूर्ण हो सकता है, या यह कई गलतियां कर रहा हो सकता है; सार्वजनिक डेटा संरचना बस यह नहीं बता सकती। ओत्सुका का सुझाव है कि एक प्रणाली को वास्तव में विश्वसनीय होने के लिए, उसे अपनी सटीकता को मापने में सक्षम होना चाहिए। वह अनुशंसा करते हैं कि प्लेटफॉर्म विशिष्ट डेटा एकत्र करना और साझा करना शुरू करें: कितने अस्वीकृत पेपर बाद में जर्नल्स में दिखाई देते हैं, कितनी बार लेखक अपील करते हैं और जीतते हैं, और क्या अस्वीकरण के दिए गए कारण कार्य के अंतिम भाग्य से मेल खाते हैं। वह यह भी सुझाव देते हैं कि प्लेटफॉर्म को किसी लेखक के पिछले रिकॉर्ड या उनके विश्वविद्यालय के जुड़ाव को अस्वीकरण के कारण के रूप में उपयोग करने में सावधानी बरतनी चाहिए, जब तक कि वे यह साबित न कर सकें कि ये कारक अनुचित त्रुटियों की ओर नहीं ले जाते हैं। लक्ष्य सभी अस्वीजनों को समाप्त करना नहीं है, जो असंभव है, बल्कि एक ऐसी प्रणाली बनाना है जहाँ त्रुटि की दर को देखा और अध्ययन किया जा सके।

अंततः, यह शोध चर्चा को इस बात पर बहस करने से हटाकर कि गेटकीपिंग अच्छी है या बुरी, इस पर ले जाता है कि हम इसकी गुणवत्ता को कैसे माप सकते हैं। पेपर का तर्क है कि यदि किसी प्रणाली के पास दुनिया से वैज्ञानिक कार्य को छिपाने की शक्ति है, तो उसके पास हमें यह दिखाने की जिम्मेदारी है कि वह कितनी बार गलत निर्णय लेती है। अस्वीकृत शोध पत्रों का पीछा करके और उन्हें उनके बाद के जीवन से जोड़कर, वैज्ञानिक समुदाय अपने गेटकीपर्स की गुणवत्ता के बारे में अनुमान लगाने से हटकर वास्तव में जानने की ओर बढ़ सकता है। यह दृष्टिकोण "अच्छे विज्ञान" की एक पूर्ण परिभाषा की मांग नहीं करता है। यह केवल "ना" कहे जाने के बाद क्या होता है, उसका एक स्पष्ट, ईमानदार रिकॉर्ड मांग करता है। यदि सिस्टम हमें वह रिकॉर्ड दिखा सकता है, तो यह सिद्ध कर सकता है कि यह अपने इरादे के अनुसार काम कर रहा है। यदि नहीं, तो सिस्टम एक 'ब्लैक बॉक्स' बना रहता है, जहाँ अंधेरे में निर्णय लिए जाते हैं, और उन निर्णयों की कीमत उन वैज्ञानिकों द्वारा चुकाई जाती है जिनका काम कभी देखा ही नहीं जाता।