Reproducibility and Transparency Audit of Parallel Runtime Performance Reporting in Open-Source Benchmarks: A Case Study of the Rust, Julia, Haskell, and Python Ecosystems

कंप्यूटर विज्ञान की दुनिया में, शोधकर्ता लगातार विभिन्न प्रोग्रामिंग भाषाओं की तुलना करते हैं ताकि यह देखा जा सके कि कौन सी भाषा भारी काम (heavy lifting) को बेहतर तरीके से संभालती है। कल्पना कीजिए कि श्रमिकों की एक टीम बक्सों के एक विशाल ढेर को हटाने की कोशिश कर रही है। कुछ टीमें एक अकेले शक्तिशाली व्यक्ति का उपयोग करती हैं, जबकि अन्य कई लोगों द्वारा मिलकर काम करने वाली टीमों का उपयोग करती हैं। डिजिटल क्षेत्र में, इस "मिलकर काम करने" को समानांतर प्रदर्शन (parallel performance) कहा जाता है, जहाँ कंप्यूटर एक कठिन कार्य को कई प्रोसेसरों के बीच विभाजित करता है ताकि उसे तेजी से पूरा किया जा सके। वैज्ञानिक इन तुलनाओं का उपयोग मौसम के पूर्वानुमान से लेकर वेब सेवाओं तक, हर चीज़ के लिए यह तय करने हेतु करते हैं कि किस भाषा का उपयोग किया जाए। हालाँकि, इन तुलनाओं के विश्वसनीय होने के लिए, शोधकर्ताओं को यह पूरी 'रेसिपी' या विधि प्रदान करनी चाहिए कि उन्होंने अपने परीक्षण वास्तव में कैसे चलाए। उन्हें उपयोग किए गए विशिष्ट कंप्यूटर, सॉफ़्टवेयर के सटीक संस्करण, उन्होंने काम के लिए कितने श्रमिकों को नियुक्त किया, और उन्होंने समय को कैसे मापा, इसकी सूची देनी चाहिए। इन विवरणों के बिना, एक भाषा के दूसरी भाषा से तेज़ होने का दावा केवल एक कहानी है, वैज्ञानिक तथ्य नहीं।

यूनिवर्सिटी कॉलेज लंदन के एक शोधकर्ता, मैग्नस ब्राइट ने यह जांचने का निर्णय लिया कि क्या वैज्ञानिक वास्तव में ये आवश्यक विवरण प्रदान कर रहे हैं। कंप्यूटरों पर नए परीक्षण चलाने के बजाय, ब्राइट ने चार लोकप्रिय प्रोग्रामिंग भाषाओं: रस्ट (Rust), जूलिया (Julia), हैस्केल (Haskell) और पायथन (Python) से संबंधित 160 प्रकाशित अध्येशनों का एक व्यवस्थित ऑडिट किया। लक्ष्य यह देखना नहीं था कि कौन सी भाषा जीती, बल्कि यह देखना था कि विजेताओं की घोषणा निष्पक्ष रूप से की गई या नहीं। अध्ययन ने 2015 और 2025 के बीच प्रकाशित शोध पत्रों की जांच की, और यह देखा कि क्या लेखक ने वह विशिष्ट जानकारी शामिल की थी जिसकी आवश्यकता किसी अन्य व्यक्ति द्वारा प्रयोग को दोहराने और उसी परिणाम को प्राप्त करने के लिए होती है। निष्कर्ष बताते हैं कि एक परिदृश्य जहाँ कुछ विवरण स्वतंत्र रूप से साझा किए जाते हैं, वहीं अन्य अक्सर गायब रहते हैं, जिससे वैज्ञानिक रिकॉर्ड अधूरा रह जाता है।

ऑडिट में पाया गया कि शोधकर्ता आम तौर पर बुनियादी बातों को रिपोर्ट करने में अच्छे होते हैं। अधिकांश शोध पत्रों ने स्पष्ट रूप से बताया कि वे किस आकार के डेटा को प्रोसेस कर रहे थे और इसे प्रोसेस करने के लिए उन्होंने कितने श्रमिकों या थ्रेड्स का उपयोग किया। ये प्रयोग के सबसे स्पष्ट हिस्से हैं, और इन्हें छोड़ देने से परिणाम समझना असंभव हो जाएगा। हालाँकि, अध्ययन ने अधिक सूक्ष्म, फिर भी महत्वपूर्ण विवरणों में बड़े अंतराल का पता लगाया। उदाहरण के लिए, केवल लगभग एक-तिहाई अध्ययनों ने यह बताया कि उन्होंने प्रारंभिक "वार्म-अप" अवधि को कैसे संभाला। यह उन भाषाओं के लिए एक महत्वपूर्ण चरण है जिन्हें पूरी गति से चलने से पहले खुद को तैयार करने की आवश्यकता होती है; यह जाने बिना कि यह तैयारी कितनी देर चली, यह जानना असंभव है कि रिपोर्ट की गई गति वास्तविक थी या केवल सेटअप का एक प्रभाव (artifact) थी। इसी तरह, चार में से एक से भी कम अध्ययनों ने समझाया कि उन्होंने अपने श्रमिकों को कंप्यूटर के प्रोसेसरों पर कैसे रखा। यह प्लेसमेंट इस बात को नाटकीय रूप से बदल सकता है कि कोई कार्य कितनी तेज़ी से चलता है, फिर भी अधिकांश लेखकों ने यह जानकारी छोड़ दी।

सांख्यिकीय कठोरता (statistical rigor) के मामले में स्थिति और भी असमान थी। विज्ञान के कई क्षेत्रों में, शोधकर्ता न केवल एक औसत परिणाम रिपोर्ट करते हैं, बल्कि यह भी बताते हैं कि उस परिणाम में कितना उतार-चढ़ाव होता है। यह उतार-चढ़ाव पाठक को बताता है कि दो भाषाओं के बीच का अंतर वास्तविक है या केवल यादृच्छिक शोर (random noise) है। इस ऑडिट में, केवल लगभग 40 प्रतिशत अध्ययनों में इस उतार-चढ़ाव का कोई माप शामिल था। इसके बिना, एक पाठक यह नहीं बता सकता कि रिपोर्ट किया गया गति अंतर सार्थक है या यह संयोग से भी हो सकता था। अध्ययन ने यह भी देखा कि क्या दूसरों द्वारा जाँच के लिए वास्तविक कोड और डेटा उपलब्ध थे। जबकि लगभग 70 प्रतिशत अध्यलों ने सोर्स कोड प्रदान किया, बहुत कम ने इसे चलाने के लिए आवश्यक पूर्ण वातावरण (environment) प्रदान किया, जैसे कि एक पूर्व-पैकेज्ड डिजिटल कंटेनर जो यह सुनिश्चित करता है कि सॉफ़्टवेयर दूसरे मशीन पर बिल्कुल उसी तरह व्यवहार करे। केवल 9 प्रतिशत अध्ययनों ने ऐसा कंटेनर पेश किया, जिसका अर्थ है कि भले ही कोड उपलब्ध हो, फिर भी उसके परिणामों को सत्यापित करने के लिए उसका उपयोग करना अक्सर कठिन होता है।

शोधकर्ताओं ने यह भी देखा कि रिपोर्टिंग की गुणवत्ता इस बात पर बहुत निर्भर करती थी कि अध्ययन कहाँ प्रकाशित हुआ है और किस भाषा समुदाय ने इसे तैयार किया है। उच्च-प्रदर्शन कंप्यूटिंग प्रणालियों (high-performance computing systems) के लिए समर्पित वेन्यू में प्रकाशित अध्ययन सबसे विस्तृत थे, जिनमें अक्सर विस्तृत हार्डवेयर विनिर्देश और कॉन्फ़िगरेशन सेटिंग्स शामिल थीं। इसके विपरीत, सामान्य कंप्यूटिंग वेन्यू में अध्ययन इन विवरणों को शामिल करने में बहुत कम सक्षम थे। इसके अलावा, भाषा समुदायों के अपने अलग व्यवहार थे। रस्ट और जूलिया के आसपास के समुदायों में सॉफ़्टवेयर संस्करणों और कंपाइलर सेटिंग्स के बारे में रिपोर्ट करने में अधिक सावधानी बरती गई, संभवतः इसलिए क्योंकि उनके उपकरण ऐसे विवरणों को ट्रैक करना आसान बनाने के लिए डिज़ाइन किए गए हैं। हैस्केल समुदाय ने सबसे कम समग्र रिपोर्टिंग स्कोर दिखाया, जबकि पायथन अध्येशनों में अक्सर यह रिपोर्ट करने में विफलता मिली कि उन्होंने अपने परीक्षण कितनी बार चलाए। अध्ययन का सुझाव है कि ये अंतर केवल व्यक्तिगत परिश्रम के बारे में नहीं हैं, बल्कि इसमें शामिल विशिष्ट समूहों और जर्नल्स के मानदंडों और अपेक्षाओं के बारे में हैं।

जब शोधकर्ताओं ने यह देखा कि लेखकों ने इन विवरणों को क्यों छोड़ा, तो उन्होंने पाया कि कारण अक्सर दुर्भावनापूर्ण के बजाय व्यावहारिक थे। कई लेखकों ने कॉन्फ्रेंस पेपर्स में सख्त पेज सीमाओं को तकनीकी विनिर्देशों की लंबी सूचियों को छोड़ने के कारण के रूप में उद्धृत किया। अन्य ने मान लिया कि कुछ विवरण उनके साथियों के लिए इतने स्पष्ट थे कि उन्हें लिखे जाने की आवश्यकता नहीं थी। कुछ लेखकों ने अंतिम परिणामों को पद्धति (method) से ऊपर प्राथमिकता दी, यह मानते हुए कि खोज की कहानी तकनीकी रेसिपी से अधिक महत्वपूर्ण है। अध्ययन ने एक कानूनी और नैतिक अंध बिंदु (blind spot) को भी उजागर किया: आधे से अधिक मामलों में, यह स्पष्ट नहीं था कि बेंचमार्क में उपयोग किए गए डेटा या कोड का अन्यों द्वारा कानूनी रूप से पुन: उपयोग किया जा सकता है या नहीं। स्पष्टता की यह कमी भविष्य के शोधकर्ताओं के लिए कानूनी परेशानी के जोखिम के बिना पिछले कार्यों पर निर्माण करना कठिन बनाती है।

इन मुद्दों को संबोधित करने के लिए, अध्ययन प्रोग्रामिंग भाषाओं की तुलना करने वाले किसी भी व्यक्ति के लिए एक सरल, न्यूनतम चेकलिस्ट का प्रस्ताव करता है। यह चेकलिस्ट लेखकों से विशिष्ट कंप्यूटर हार्डवेयर, सटीक सॉफ़्टवेयर संस्करण, समानांतर श्रमिकों को कैसे कॉन्फ़िगर किया गया, डेटा का आकार और स्रोत, परीक्षण कितनी बार चलाया गया, और परिणामों का विश्लेषण करने के लिए उपयोग किए गए सांख्यिकीय माप सूचीबद्ध करने के लिए कहती है। यह भी मांग करती है कि कोड और डेटा को इस तरह साझा किया जाए जिससे अन्य लोग उन्हें आसानी से चला सकें। अध्ययन का निष्कर्ष है कि प्रदर्शन दावे की विश्वसनीयता पूरी तरह से उस दस्तावेजीकरण पर निर्भर करती है जो इसका समर्थन करता है। संदर्भ के बिना स्पीडअप नंबर केवल एक संख्या है; सही विवरणों के साथ, यह विश्वसनीय वैज्ञानिक ज्ञान बन जाता है। इन स्पष्ट मानकों को अपनाकर, समुदाय यह सुनिश्चित कर सकता है कि प्रदर्शन अनुसंधान में लगाया गया पर्याप्त प्रयास ऐसे परिणाम दे सके जिन पर हर कोई भरोसा कर सके, समझ सके और जिनका निर्माण कर सके।