Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results
PLOS और DataSeer ने एक नया LLM-आधारित संकेतक विकसित किया है जो विद्वत्तापूर्ण प्रकाशनों में 43% अनुसंधान डेटा पुन: उपयोग दर को प्रकट करता है, जो यह प्रदर्शित करता है कि जनरेटिव एआई बड़े पैमाने पर ओपन साइंस प्रभावों को माप सकता है और यह सुझाव देता है कि डेटा साझाकरण के सकारात्मक प्रभावों को वर्तमान में कम करके आंका जा रहा है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक अनुसंधान की दुनिया की कल्पना एक विशाल, हलचल भरी रसोई के रूप में करें। वर्षों से, हम यह पता लगाने की कोशिश कर रहे हैं कि शेफ (वैज्ञानिक) वास्तव में अन्य शेफ द्वारा काउंटर पर छोड़ी गई सामग्री (डेटा) का कितनी बार उपयोग कर रहे हैं, बजाय इसके कि वे केवल अपने स्वयं के बगीचों से पूरी तरह से नई सब्जियां काट रहे हों।
यह शोध पत्र एक नए, हाई-टेक "स्मार्ट कैमरा" के बारे में है जिसे PLOS (एक वैज्ञानिक प्रकाशक) और DataSeer (एक तकनीकी कंपनी) ने बनाया है ताकि वे इस रसोई की एक तस्वीर ले सकें और ठीक से गिन सकें कि सामग्री का साझाकरण कितना हो रहा है।
यहाँ उनके प्रोजेक्ट का सरल शब्दों में विवरण दिया गया है:
समस्या: "मौन" पुन: उपयोग (The "Silent" Reuse)
पहले, हम इस बात को गिनने की कोशिश करते थे कि वैज्ञानिक कितनी बार डेटा का पुन: उपयोग करते हैं, जिसके दो मुख्य तरीके थे:
- उनसे सीधे पूछना: सर्वेक्षणों से पता चला कि लगभग 50% वैज्ञानिक कहते हैं, "हाँ, मैं अन्य लोगों के डेटा का उपयोग करता हूँ।"
- औपचारिक उद्धरणों (Citations) की तलाश करना: हमने शोध पत्रों में आधिकारिक "धन्यवाद" नोटों (उद्धरणों) को देखा। लेकिन यह तरीका किसी पार्टी में मेहमानों को केवल उन लोगों को देखकर गिनने जैसा था जिन्होंने नेमटैग पहने हुए हैं। यह उन सभी को छोड़ देता था जो बस कोने में बातचीत कर रहे थे। इस पद्धति ने सुझाव दिया कि पुन: उपयोग बहुत कम (लगभग 9-16%) था।
वैज्ञानिकों ने जो कहा और "नेमटैग" पद्धति ने जो देखा, उसके बीच एक बड़ा अंतर था।
समाधान: AI "सुपर-रीडर"
इस समस्या को हल करने के लिए, टीम ने एक जेनरेटिव AI (एक प्रकार का स्मार्ट कंप्यूटर मस्तिष्क) बनाया है जो एक अत्यंत ध्यान देने वाले पाठक के रूप में कार्य करता है। केवल औपचारिक उद्धरणों को खोजने के बजाय, यह AI कहानी को समझने के लिए पूरे वैज्ञानिक शोध पत्र के टेक्स्ट को पढ़ता है।
इसे एक जासूस की तरह समझें जो केवल एक विशिष्ट उंगलियों के निशान को नहीं देखता, बल्कि यह पता लगाने के लिए पूरी डायरी पढ़ता है कि क्या उस व्यक्ति ने पुस्तकालय से किताब उधार ली या नई खरीदी।
उन्होंने AI को कैसे प्रशिक्षित किया:
- उन्होंने AI को हजारों वैज्ञानिक लेख दिखाए और इसे तीन चीजें पहचानने के लिए सिखाया:
- क्या लेखक ने नया डेटा बनाया (जैसे नई सब्जियां उगाना)?
- क्या लेखक ने मौजूदा डेटा का पुन: उपयोग किया (जैसे किसी और की बची हुई सामग्री का उपयोग करना)?
- उन्होंने ऐसा क्यों किया? (तर्क/कारण)।
- उन्होंने यह सुनिश्चित करने के लिए AI का परीक्षण मानव विशेषज्ञों के विरुद्ध किया कि यह कितना सटीक है। AI इसमें बहुत अच्छा रहा, जिसने लगभग 85% बार पुन: उपयोग को सही ढंग से पहचाना।
निष्कर्ष: रसोई हमारी सोच से कहीं अधिक व्यस्त है
AI ने 2024 के पहले तीन महीनों में प्रकाशित 4,475 वैज्ञानिक पत्रों का विश्लेषण किया। यहाँ इसने क्या पाया:
- बड़ी संख्या: 43% शोध पत्रों ने डेटा का पुन: उपयोग किया।
- तुलना: यह पुराने "औपचारिक उद्धरण" पद्धति (जिसने केवल ~10% देखा था) की तुलना में बहुत अधिक है, लेकिन यह उन सर्वेक्षणों के साथ बेहतर मेल खाता है जो हमें बताते हैं कि वैज्ञानिक क्या करते हैं (जिसने ~50% कहा था)।
- मुख्य बात: पुराने तरीके संभवतः इस बात को कम आंक रहे थे कि वैज्ञानिक वास्तव में कितने सहायक और सहयोगी होते हैं। "पुन: उपयोग" हो रहा है, लेकिन यह अक्सर पेपर के टेक्स्ट में होता है बिना किसी औपचारिक "धन्यवाद" नोट के।
दिलचस्प पैटर्न
AI ने मानचित्र और विषयों के आधार पर कुछ अंतर भी देखे:
- क्षेत्र के अनुसार: एशिया-प्रशांत (Asia-Pacific) के वैज्ञानिक डेटा का पुन: उपयोग करने की सबसे अधिक संभावना रखते थे (46%), जबकि अफ्रीका के वैज्ञानिक सबसे कम संभावना रखते थे (31%)। लेखक सुझाव देते हैं कि यह वैश्विक स्तर पर डेटा साझा करने और डेटा के स्वामित्व संबंधी चिंताओं से संबंधित हो सकता है।
- विषय के अनुसार:
- भौतिक विज्ञान (Physical Sciences) और सामाजिक विज्ञान (Social Sciences) सबसे संतुलित थे, वे लगभग उतनी ही बार डेटा का पुन: उपयोग करते हैं जितनी बार वे नया डेटा बनाते हैं।
- जीवन विज्ञान (Life Sciences) (जैसे जीव विज्ञान) नए डेटा बनाने (76%) के लिए सबसे अधिक सक्षम थे और मौजूदा डेटा का पुन: उपयोग करने (37%) के लिए सबसे कम।
यह क्यों महत्वपूर्ण है
लेखकों का तर्क है कि यदि हम केवल औपचारिक उद्धरणों को देखते हैं, तो हम इस पूरी तस्वीर को मिस कर देते हैं कि ओपन साइंस (खुली विज्ञान) कैसे काम कर रही है। इस AI "स्मार्ट कैमरा" का उपयोग करके, हम देख सकते हैं कि डेटा साझाकरण हमारी सोच से कहीं अधिक प्रभाव डाल रहा है।
सीमाओं पर महत्वपूर्ण नोट:
लेखक सावधानी बरतते हुए कहते हैं कि यह एक "प्रगति पर कार्य" (work in progress) है। वे स्वीकार करते हैं कि:
- यह अंतर करना मुश्किल हो सकता है कि अपने पुराने डेटा का उपयोग करना और किसी और के डेटा का उपयोग करना।
- उन्होंने केवल एक प्रकाशक (PLOS) के शोध पत्रों को देखा है, इसलिए परिणाम अन्य जर्नल्स में अलग दिख सकते हैं।
- AI अभी भी पूर्ण नहीं है, लेकिन यह पुराने तरीकों की तुलना में एक बहुत बड़ा कदम है।
संक्षेप में, यह शोध पत्र एक नया उपकरण पेश करता है जो हमें यह देखने में मदद करता है कि वैज्ञानिक वास्तव में हमारी सोच से कहीं अधिक अक्सर एक-दूसरे के काम को साझा और पुन: उपयोग कर रहे हैं, जो यह सुझाव देता है कि "ओपन साइंस" आंदोलन हमारे पुराने मापने के डंडों की तुलना में बेहतर काम कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।