Predicting Replication from Domain-Stripped Fingerprints, Where Citations Fail
यह शोध पत्र यह प्रदर्शित करता है कि केवल सारांशों (abstracts) से प्राप्त एक पारदर्शी, डोमेन-स्ट्रिप्ड भाषा मॉडल फिंगरप्रिंट, एक विशिष्ट "सत्यापनीयता" (verifiability) अक्ष को अलग करके, अनुसंधान पुनरावृत्ति (replicability) की भविष्यवाणी करने में उद्धरण-आधारित मेट्रिक्स से काफी बेहतर प्रदर्शन कर सकता है, जिससे यह स्पष्ट होता है कि उद्धरण वैज्ञानिक सुदृढ़ता के प्रॉक्सी के रूप में क्यों विफल होते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान एक सरल वादे पर टिका है: यदि आप किसी प्रयोग को दोहराते हैं, तो आपको वही परिणाम मिलना चाहिए। फिर भी, आधुनिक शोध की दुनिया में, किसी अध्ययन के मूल्य को आंकने का सबसे प्रसिद्ध तरीका यह गिनना है कि अन्य वैज्ञानिकों ने अपने काम में उसका कितनी बार उल्लेख किया है। ये उल्लेख, जिन्हें उद्धरण (citations) कहा जाता है, एक लोकप्रियता प्रतियोगिता की तरह काम करते हैं। एक शोध पत्र जितना अधिक उद्धृत किया जाता है, उसे उतना ही मूल्यवान माना जाता है। लेकिन एक बढ़ती हुई आशंका है कि यह प्रणाली टूट चुकी है। एक अध्ययन बहुत लोकप्रिय हो सकता है और हजारों बार उद्धृत किया जा सकता है क्योंकि वह कुछ आश्चर्यजनक या नया कहता है, भले ही वह निष्कर्ष तब बिखर जाए जब कोई उसे दोहराने की कोशिश करता है। वास्तव में, कुछ शोध बताते हैं कि जो निष्कर्ष दोहराए नहीं जा सकते, उन्हें अक्सर उन निष्कर्षों की तुलना में अधिक उद्धृत किया जाता है जिन्हें दोहराया जा सकता है। यह एक खतरनाक अंध बिंदु पैदा करता है जहाँ वैज्ञानिक समुदाय ध्यान (attention) को पुरस्कृत करता है लेकिन सत्य को अनदेखा कर देता है।
केयू लूवेन (KU Leuven) के एक शोधकर्ता, एरिक कुलिकोव्स्की ने वैज्ञानिक शोध पत्रों को देखने का एक नया तरीका विकसित किया है जो इन दोनों विचारों को अलग करता है। एक शोध पत्र के मूल्य को एक एकल संख्या में बदलने के बजाय, यह अध्ययन शोध की गुणवत्ता को दो अलग-अलग पक्षों वाले एक प्रोफाइल के रूप में देखता है। एक पक्ष 'नवीनता' (novelty) है, जो मापता है कि कोई विचार कितना आश्चर्यजनक या नया है। दूसरा पक्ष 'सत्यापनीयता' (verifiability) है, जो मापता है कि यदि कोई प्रयोग को दोहराता है तो परिणाम के टिके रहने की कितनी संभावना है। अध्ययन का तर्क है कि वर्तमान उद्धरण प्रणाली केवल पहले पक्ष को देखती है। यह आश्चर्यजनक दावे को पुरस्कृत करती है लेकिन इस बात के प्रति लगभग अंधी है कि वह दावा वास्तव में कितना ठोस है। इसे ठीक करने के लिए, शोधकर्ता ने एक ऐसा उपकरण बनाया है जो एक शोध पत्र के सारांश (abstract) को पढ़ सकता है और भविष्यवाणी कर सकता है कि उसके निष्कर्ष एक दोहराव परीक्षण में जीवित रहेंगे या नहीं, बिना यह जाने कि विशिष्ट चिकित्सा स्थिति या सामाजिक मुद्दा क्या है।
यह विधि अध्ययन के विशिष्ट विवरणों को हटाकर उसके अंतर्निهم संरचना को प्रकट करने का काम करती है। कल्पना कीजिए कि आप एक जटिल मशीन ले रहे हैं, उसका पेंट और ब्रांड के नाम हटा रहे हैं, और यह समझने के लिए केवल उसके गियर और लीवर को देख रहे हैं कि वह कैसे काम करती है। शोधकर्ता ने एक भाषा मॉडल का उपयोग हजारों वैज्ञानिक सारांशों को पढ़ने और उन्हें एक "फिंगरप्रिंट" (fingerprint) में फिर से लिखने के लिए किया। यह फिंगरप्रिंट अध्ययन के डिजाइन, क्या मापा गया था, और डेटा का विश्लेषण कैसे किया गया, इसका वर्णन करता है, लेकिन यह बीमारियों, आबादी या रसायनों के बारे में सभी विशिष्ट शब्दावली को हटा देता है। यह कंप्यूटर को मनुष्यों में स्मृति के बारे में एक अध्ययन की तुलना चूहों में स्मृति के बारे में एक अध्ययन से, या अर्थशास्त्र पर एक अध्ययन की तुलना मनोविज्ञान पर एक अध्ययन से करने की अनुमति देता है, क्योंकि फिंगरप्रिंट इस बात पर ध्यान केंद्रित करते हैं कि विज्ञान कैसे किया गया था, उसके साझा तंत्र पर।
एक बार जब ये फिंगरप्रिंट बना लिए गए, तो शोधकर्ता ने इनका परीक्षण एक सरल, पारदर्शी कंप्यूटर प्रोग्राम के विरुद्ध किया। इस प्रोग्राम ने जटिल, छिपे हुए एल्गोरिदम का उपयोग नहीं किया। इसके बजाय, इसने फिंगरप्रिंट में उन विशिष्ट शब्दों और वाक्यांशों की तलाश की जो उन अध्ययनों में दिखाई देने की प्रवृत्ति रखते थे जो सफलतापूर्वक दोहराए गए बनाम वे जो विफल रहे। परिणाम चौंकाने वाले थे। जब टीम ने इस पद्धति का परीक्षण लगभग पांच सौ मनोविज्ञान अध्ययनों के डेटाबेस पर किया, तो इसने लगभग साठ प्रतिशत (68%) बार सही ढंग से भविष्यवाणी की कि एक अध्ययन का पुनरुत्पादन (replication) होगा या नहीं। यह वर्तमान मानक की तुलना में एक महत्वपूर्ण सुधार है, जो उद्धरण गणनाओं पर निर्भर करता है। वास्तव में, जब टीम ने यह जांचा कि उद्धरण गणनाएँ पुनरुत्पादन की कितनी अच्छी तरह भविष्यवाणी करती हैं, तो परिणाम यादृच्छिक अनुमान (random guessing) से बेहतर नहीं था। उद्धरण प्रणाली यह बताने में पूरी तरह असमर्थ थी कि कौन से निष्कर्ष टिकेंगे और कौन से नहीं।
अध्ययन ने यह भी सिद्ध किया कि यह नया उपकरण केवल विभिन्न वैज्ञानिक क्षेत्रों के नामों को नहीं सीख रहा था। यदि कंप्यूटर ने केवल यह सीख लिया होता कि "सामाजिक मनोविज्ञान" के अध्ययन "संज्ञानात्मक मनोविज्ञान" की तुलना में अधिक बार विफल होते हैं, तो वह बिना वास्तव में विज्ञान को समझे भी अच्छा स्कोर कर सकता था। लेकिन जब शोधकर्ताओं ने उपकरण का परीक्षण विशिष्ट उप-क्षेत्रों के भीतर किया, तो यह अभी भी उतना ही अच्छा काम करता रहा। यह एक ठोस अध्ययन और एक कमजोर अध्ययन के बीच अंतर कर सकता था, भले ही दोनों एक ही विषय के बारे में हों। इसके अलावा, यह उपकरण दूसरे प्रमुख शोध प्रोजेक्ट के डेटा के एक पूरी तरह से अलग सेट पर भी उतना ही अच्छा काम करता था, जिससे पता चलता कि जो संकेत (signal) इसे मिला था वह वास्तविक था और किसी एक विशिष्ट डेटासेट का संयोग नहीं था।
शायद सबसे महत्वपूर्ण खोज यह थी कि जब शोधकर्ताओं ने शोध के दो पक्षों को आपस में मिलाने की कोशिश की तो क्या हुआ। उन्होंने अपनी नवीनता के माप को पुनरुत्पालन की भविष्यवाणी करने वाले उपकरण के साथ जोड़ा। परिणाम यह हुआ कि भविष्यवाणी और खराब हो गई। इसने पुष्टि की कि नवीनता और सत्यापनीयता वास्तव में अलग चीजें हैं। एक अध्ययन अत्यधिक नवीन और अत्यधिक नाजुक हो सकता है, या वह उबाऊ और चट्टान की तरह ठोस हो सकता है। वर्तमान उद्धरण प्रणाली विफल होती है क्योंकि यह नवीनता के पक्ष पर भारी रूप से लोड होती है, जो आश्चर्यजनक को पुरस्कृत करती है और ठोस को अनदेखा करती है। इन दो अवधारणाओं को एक एकल स्कोर में मिलाने से, प्रणाली उस सबसे महत्वपूर्ण हिस्से को देखने की क्षमता खो देती है: कि विज्ञान सत्य है या नहीं।
शोधकर्ताओं ने यह भी पाया कि इस नए दृष्टिकोण को पूरे, अक्सर अप्राप्य, पूर्ण पाठ को पढ़ने की आवश्यकता नहीं है। यह पूरी तरह से 'एब्स्ट्रैक्ट' (abstract) का उपयोग करके काम करता है, जो प्रत्येक पेपर के प्रारंभ में दिया गया एक संक्षिप्त सारांश है। यह उपकरण को किसी भी लाइब्रेरी या डेटाबेस के लिए सस्ता और आसान बनाता है। पूरी प्रक्रिया पारदर्शी है; क्योंकि कंप्यूटर प्रोग्राम सरल है, वैज्ञानिक उन विशिष्ट शब्दों को देख सकते हैं जिनका उपयोग कंप्यूटर ने निर्णय लेने के लिए किया था और समझ सकते हैं कि क्यों एक पेपर को पुनरुत्पादन की संभावना के रूप में चिह्नित किया गया या विफल होने के रूप में। यह अन्य आधुनिक उपकरणों के बिल्कुल विपरीत है जो 'ब्लैक बॉक्स' की तरह कार्य करते हैं, जो बिना यह बताए कि निर्णय तक कैसे पहुँचा गया, केवल एक स्कोर देते हैं।
अंततः, यह कार्य वैज्ञानिक मूल्य के बारे में सोचने का एक नया तरीका प्रदान करता है। यह सुझाव देता है कि हमें हर पेपर को एक एकल संख्या के साथ रैंक करने की कोशिश छोड़ देनी चाहिए। इसके बजाय, हमें एक ऐसे प्रोफाइल को देखना चाहिए जो हमें दिखाता है कि कोई विचार कितना नया है और उसके सत्य होने की कितनी संभावना है। इस अध्ययन में विकसित उपकरण उस समीकरण के दूसरे भाग को मापने का एक स्पष्ट, ईमान और पारदर्शी तरीका प्रदान करता है। यह दिखाता है कि जबकि हम हमेशा यह भविष्यवाणी नहीं कर सकते कि कौन से निष्कर्ष दुनिया बदल देंगे, हम अब, उचित सटीकता के साथ, यह भविष्यवाणी कर सकते हैं कि कौन से निष्कर्ष समय की कसौटी पर खरे उतरेंगे। ध्यान (attention) के पीछे भागने से सत्य के सत्यापन की ओर यह बदलाव वैज्ञानिकों, फंडर्स और जनता को उस काम पर ध्यान केंद्रित करने में मदद कर सकता है जो वास्तव में टिकता है, न कि केवल उस काम पर जो सबसे अधिक शोर मचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।