A Multi-Surface Consistency Audit of Software Citation Metadata
यह शोध पत्र कई मशीन-पठनीय मेटाडेटा सतहों के माध्यम से 117 ओपन-सोर्स अनुसंधान सॉफ्टवेयर परियोजनाओं का ऑडिट करता है और पाता है कि 83.9% में कम से कम एक मुख्य-क्षेत्र संघर्ष (core-field conflict) मौजूद है, जो मुख्य रूप से सॉफ्टवेयर विवरणों और उनके संबंधित प्रकाशन अभिलेखों के बीच विसंगतियों के कारण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक विज्ञान की दुनिया में, सॉफ्टवेयर उतना ही आवश्यक हो गया है जितना कि एक सूक्ष्मदर्शी या दूरबीन। यह वह उपकरण है जिसका उपयोग शोधकर्ता गणना करने, जलवायु परिवर्तन का अनुकरण करने और परमाणुओं के व्यवहार को मॉडल करने के लिए करते हैं। चूंकि यह सॉफ्टवेयर मानवीय श्रम और बौद्धिक प्रयास का उत्पाद है, इसलिए वैज्ञानिक समुदाय इस बात पर सहमत हुआ है कि इसे एक शोध पत्र की तरह ही उद्धृत (cite) किया जाना चाहिए। जब कोई वैज्ञानिक किसी खोज को करने के लिए किसी विशिष्ट प्रोग्राम का उपयोग करता है, तो उन्हें इसे लिखने वाले लोगों, उपयोग किए गए संस्करण और उस स्थान को श्रेय देना चाहिए जहाँ इसे पाया जा सकता है। इसे संभव बनाने के लिए, एक ऐसी प्रणाली बनाई गई है जहाँ सॉफ्टवेयर प्रोजेक्ट्स डिजिटल "नाम टैग" पीछे छोड़ सकते हैं। ये टैग मशीन-पठनीय फाइलें हैं जिनमें प्रोजेक्ट का शीर्षक, इसके लेखकों के नाम, संस्करण संख्या और एक अद्वितीय पहचानकर्ता (unique identifier) होता है जो यह बताता है कि वह सॉफ्टवेयर ऑनलाइन कहाँ स्थित है। विचार यह है कि यदि कोई शोधकर्ता, एक लाइब्रेरियन, या एक कंप्यूटर प्रोग्राम इनमें से किसी भी टैग को देखता है, तो वे सभी एक ही सॉफ्टवेयर के बारे में एक ही कहानी बताएंगे।
हालाँकि, एक हालिया अध्ययन ने एक सरल लेकिन परेशान करने वाला प्रश्न पूछा: क्या ये नाम टैग वास्तव में एक-दूसरे से सहमत होते हैं? इलिनॉय विश्वविद्यालय के पेंगयिन शान के नेतृत्व में शोधकर्ताओं ने 117 ओपन-सोर्स रिसर्च सॉफ्टवेयर प्रोजेक्ट्स के डिजिटल आत्म-विवरणों का ऑडिट करने का निर्णय लिया। उन्होंने उन सात अलग-अलग स्थानों की जांच की जहाँ एक प्रोजेक्ट स्वयं का वर्णन कर सकता है: उद्धरण (citation) के लिए बनाई गई एक विशिष्ट फ़ाइल, आर्काइव के लिए एक डेटा फ़ाइल, एक सार्वजनिक रजिस्ट्री का रिकॉर्ड जहाँ से सॉफ्टवेयर डाउनलोड किया जाता है, और प्रोजेक्ट के मुख्य वेब पेज पर मौजूद टेक्स्ट। उन्होंने सॉफ्टवेयर को एक एकल वस्तु माना और इन विभिन्न फाइलों को उस वस्तु के विभिन्न "सतहों" या चेहरों के रूप में देखा। यदि प्रणाली पूरी तरह से काम करती है, तो प्रत्येक सतह को एक ही बात कहनी चाहिए। यदि वे असहमत होते हैं, तो इससे भ्रम पैदा होता है कि काम किसने किया, किस संस्करण का उपयोग किया गया था, और कोड कहाँ मिलेगा। अध्ययन में पाया गया कि प्रणाली पूर्णता से बहुत दूर है। वास्तव में, जांचे गए अधिकांश प्रोजेक्ट्स इंटरनेट के विभिन्न हिस्सों को अलग-अलग कहानियाँ बता रहे थे।
शोधकर्ताओं ने इन प्रोजेक्ट्स की जांच के लिए एक सावधानीपूर्वक प्रक्रिया बनाई। उन्होंने 117 सॉफ्टवेयर टूल्स का एक समूह एकत्र किया, जिसमें सुपरकंप्यूटिंग और क्वांटम कंप्यूटिंग के लिए उपयोग किए जाने वाले हाई-परफॉर्मेंस कंप्यूटिंग टूल्स और कम संख्या में वे टूल्स शामिल थे जिन्हें सामुदायिक जर्नल्स द्वारा स्वीकार किया गया था। प्रत्येक प्रोजेक्ट के लिए, उन्होंने एक ही दिन में सात अलग-अलग सतहों के स्नैपशॉट डाउनलोड किए। फिर उन्होंने जानकारी को सामान्य (normalize) करने के लिए एक कंप्यूटर प्रोग्राम का उपयोग किया, जिससे विभिन्न फ़ाइल स्वरूपों को छह प्रमुख तथ्यों की एक सामान्य सूची में अनुवादित किया जा सके: शीर्षक, लेखक, संस्करण, वर्ष, लाइसेंस और अद्वितीय पहचानकर्ता। उन्होंने यह देखने के लिए कि क्या तथ्य मेल खाते हैं, एक प्रोजेक्ट के प्रत्येक जोड़े की सतहों की तुलना की। अपनी विधि की सटीकता सुनिश्चित करने के लिए, उन्होंने कंप्यूटर के निर्णयों के एक बड़े नमूने की मैन्युअल रूप से जांच की, जिससे पुष्टि हुई कि उनका टूल लगभग 99 प्रतिशत बार सही था।
परिणामों ने एक महत्वपूर्ण निरंतरता की कमी को प्रकट किया। 117 प्रोजेक्ट्स में से, केवल 62 ऐसे थे जिनकी कम से कम दो सतहों की तुलना की जा सकती थी। उन 62 प्रोजेक्ट्स में से, 52 में, या लगभग 84 प्रतिशत में, अपनी सतहों के बीच कम से कम एक बड़ा संघर्ष था। इसका अर्थ है कि इनमें से अधिकांश प्रोजेक्ट्स के लिए, एक व्यक्ति जो उद्धरण फ़ाइल पढ़ रहा होगा, उसे वह जानकारी नहीं मिलेगी जो कोई अन्य व्यक्ति आर्काइव रिकॉर्ड या डाउनलोड पेज से प्राप्त करेगा। असहमति सबसे अधिक लेखकों की सूचियों और सॉफ्टवेयर के शीर्षकों में देखी गई। जबकि वर्ष और लाइसेंस आमतौर पर सुसंगत थे, मूल विवरण जो कार्य की पहचान करते हैं, अक्सर मेल नहीं खाते थे। अध्ययन में पाया गया कि समस्या केवल एक प्रकार के सॉफ्टवेयर तक सीमित नहीं थी; यह हाई-परफॉर्मेंस कंप्यूटिंग प्रोजेक्ट्स, जर्नल ऑफ ओपन सोर्स सॉफ्टवेयर द्वारा समीक्षा किए गए टूल्स और पायओपनएससीआई (pyOpenSci) समुदाय द्वारा स्वीकृत पैकेज में भी दिखाई दी।
इन संघर्षों के सबसे सामान्य कारणों में से एक सॉफ्टवेयर और उस शोध पत्र के बीच का विशिष्ट मिश्रण था जो इसका वर्णन करता है। कई मामलों में, सॉफ्टवेयर का वर्णन करने के लिए बनाई गई फाइलें वास्तव में सॉफ्टवेयर के बारे में शोध पत्र का वर्णन कर रही थीं। उदाहरण के लिए, एक फ़ाइल एक कॉन्फ्रेंस प्रेजेंटेशन का शीर्षक या एक जर्नल लेख के लेखक को सूचीबद्ध कर सकती थी, जबकि दूसरी फ़ाइल में कोड का नाम सूचीबद्ध था। यह आधे सत्यापित संघर्षों में हुआ। शोधकर्ताओं ने नोट किया कि यह फाइलों को लिखे जाने के तरीके में गलती नहीं है, बल्कि इस बात का प्रतिबिंब है कि "उद्धृत वस्तु" (citable object) वास्तव में क्या है, इसे लेकर गहरा भ्रम है। क्या यह कोड है, या कोड के बारे में शोध पत्र है? जब फाइलें पेपर की ओर इशारा करने की कोशिश करती हैं, तो वे अक्सर सॉफ्टवेयर की ओर इशारा करना बंद कर देती हैं, जिससे मेटाडेटा अलग हो जाता है।
असहमति का एक अन्य स्रोत वे सार्वजनिक रजिस्ट्रियां थीं जहाँ से सॉफ्टवेयर डाउनलोड किया जाता है, जैसे कि पायथन के लिए PyPI या जावास्क्रिप्ट के लिए npm। ये रजिस्ट्रियां अक्सर पैकेज के लिए छोटे, तकनीकी नामों का उपयोग करती हैं, जैसे कि "mpi4py", जबकि सॉफ्टवेयर की अपनी फाइलें "MPI for Python" जैसा वर्णनात्मक शीर्षक उपयोग करती हैं। जब एक कंप्यूटर इन दोनों सतहों को मिलाने की कोशिश करता है, तो उसे शीर्षक का बेमेल मिलना दिखता है। अध्ययन में पाया गया कि शीर्षक और लेखक के बीच अधिकांश असहमति इन रजिस्ट्री रिकॉर्ड्स के कारण हुई। इसके अलावा, शोधकर्ताओं ने पाया कि सबसे अद्यतित (up-to-date) जानकारी अक्सर उन स्थानों पर गायब थी जहाँ स्वचालित उपकरण इसे खोजते हैं। पैकेजिंग टूल्स द्वारा पढ़ी जाने वाली फाइलें, जैसे कि रजिस्ट्री रिकॉर्ड, लेखकों के लिए ORCID जैसे स्थायी पहचानकर्ताओं को रखने में सबसे कम सक्षम थीं, जो यह ट्रैक करने के लिए महत्वपूर्ण हैं कि काम किसने किया।
अध्ययन ने "पसंदीदा उद्धरण" (preferred citation) नामक एक विशिष्ट विशेषता की भी जांच की, जो एक सॉफ्टवेयर प्रोजेक्ट को यह बताने की अनुमति देता है कि उपयोगकर्ता किसी अन्य वस्तु, आमतौर पर एक पेपर, को उद्धृत करें। शोधकर्ताओं ने पाया कि 32 में से 28 प्रोजेक्ट्स में, जो इस सुविधा का उपयोग करते थे, इस निर्देश का पालन करने से एक ऐसा रिकॉर्ड मिला जो सॉफ्टवेयर के अपने मेटाडेटा से असहमत था। इसका मतलब है कि भले ही एक प्रोजेक्ट एक विशिष्ट उद्धरण के लिए मार्गदर्शन करने का प्रयास करता है, फिर भी वह मार्गदर्शन अक्सर एक ऐसे रिकॉर्ड की ओर ले जाता है जो प्रोजेक्ट द्वारा प्रकाशित स्वयं के अन्य विवरणों के साथ संघर्ष करता है। यह एक ऐसी स्थिति बनाता है जहाँ नियमों का पालन करने वाला उपयोगकर्ता अनजाने में एक ऐसे पेपर को उद्धृत कर सकता है जो उस संस्करण से मेल नहीं खाता जिसका उसने वास्तव में उपयोग किया था।
शोधकर्ताओं ने निष्कर्ष निकाला कि सॉफ्टवेयर उद्धरण के लिए वर्तमान बुनियादी ढांचा अधूरा है। हालांकि मेटाडेटा घोषित करने के उपकरण मौजूद हैं और व्यापक रूप से उपयोग किए जाते हैं, लेकिन यह जांचने के लिए कोई प्रणाली नहीं है कि विभिन्न घोषणाएं आपस में सहमत हैं या नहीं। अध्ययन ने दिखाया कि जांचे जा सकने वाले अधिकांश प्रोजेक्ट्स के लिए, सॉफ्टवेयर कम से कम एक महत्वपूर्ण जानकारी पर स्वयं से असहमत है। यह विखंडन (fragmentation) का अर्थ है कि श्रेय अक्सर विभाजित होता है, उत्पत्ति (provenance) स्पष्ट नहीं होती, और स्वचालित सिस्टम शोध सॉफ्टवेयर के उपयोग को विश्वसनीय रूप से ट्रैक नहीं कर सकते। शोधकर्ताओं ने अपना डेटा, अपना कोड और अपने प्रोजेक्ट्स की सूची जारी की है ताकि अन्य लोग इस ऑडिट को दोहरा सकें, यह देख सकें कि समय के साथ चीजें कितनी सुधरी हैं, या इन विसंगतियों को स्वचालित रूप से ठीक करने के लिए उपकरण बनाने के लिए डेटा का उपयोग कर सकें। यह कार्य इस बात पर प्रकाश डालता है कि सॉफ्टवेयर के लिए डिजिटल क्रेडिट प्रणाली पर पूरी तरह से भरोसा करने से पहले, हमें यह सुनिश्चित करना होगा कि सॉफ्टवेयर उन सभी स्थानों पर एक ही, सुसंगत कहानी बताए जहाँ वह बोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।