On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"
सॉफ्टवेयर इंजीनियरिंग अनुसंधान में नवीनता-दुष्चक्र (novelty-vicious cycle) और प्रतिकृति संकट (replicability crisis) को संबोधित करने के लिए, यह शोध पत्र पारंपरिक ICSE पेपर प्रारूप को समाप्त कर इसके स्थान पर सहकर्मी-समीक्षित "पंजीकृत प्रस्तावों" (Registered Proposals) और उसके बाद के "परिणाम रिपोर्टों" (Results Reports) से युक्त एक द्वि-स्तरीय प्रणाली का प्रस्ताव करता है, जो कि समुदाय की सर्वेक्षण प्रतिक्रियाओं द्वारा समर्थित एक विघटनकारी सुधार है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि सॉफ्टवेयर इंजीनियरिंग अनुसंधान की दुनिया एक उच्च-दांव वाली कुकिंग प्रतियोगिता है, जैसे कि मास्टरशेफ। अभी, इस प्रतियोगिता के नियम टूटे हुए हैं, और इस पेपर के लेखक, फैबियो और विनी, इस शो को ठीक करने के लिए इसे चलाने का एक क्रांतिकारी नया तरीका प्रस्तावित कर रहे हैं: नकली परिणाम और गुटबाजी (cliquey behavior)।
यहाँ उनके प्रस्ताव का सरल शब्दों में विवरण दिया गया है:
वर्तमान समस्या: "एक-व्यक्ति शेफ" मॉडल
अभी, यदि कोई शोधकर्ता (मान लीजिए कि शेफ A) एक पेपर प्रकाशित करना चाहता है, तो उसे सब कुछ खुद ही करना पड़ता है:
- एक नई रेसिपी बनाना (एक नया विचार)।
- पकवान बनाना (प्रयोग चलाना)।
- चखना और कहना, "यह स्वादिष्ट है!" (परिणामों को मान्य करना)।
समस्याएं:
- "नवीनता का जाल" (The Novelty Trap): जज (समीक्षक) सबसे नई रेसिपी खोजने के लिए जुनूनी हैं। उन्हें इस बात से फर्क नहीं पड़ता कि पकवान वास्तव में स्वादिष्ट है या यह एक वास्तविक रेस्टोरेंट में काम करता है या नहीं। वे बस कुछ "नया" चाहते हैं। इससे कई "खिलौना" पकवान बनते हैं जो दिखने में शानदार होते हैं लेकिन जब आप उन्हें खाने की कोशिश करते हैं तो बिखर जाते हैं।
- "गुटबाजी" की समस्या (The "Clique" Problem): यदि शेफ A एक प्रसिद्ध, पुरस्कार विजेता सेलिब्रिटी शेफ है, तो जज उनके पकवानों पर शायद ही कभी सवाल उठाते हैं। यदि एक युवा, अज्ञात शेफ यह कहने की कोशिश करता है कि, "वास्तव में, शेफ A की रेसिपी जल गई है," तो उन्हें खारिज कर दिया जाता है क्योंकि वे पर्याप्त प्रसिद्ध नहीं हैं।
- "खोया हुआ फ्रिज" संकट (The "Lost Fridge" Crisis): कभी-कभी, शेफ A दावा करता है कि उनका पकवान अद्भुत है, लेकिन जब आप खुद इसे आज़माने के लिए सामग्री मांगते हैं, तो वे कहते हैं, "ओह, मेरा फ्रिज टूट गया और मैं रेसिपी खो बैठा।" ऐसा अक्सर होता है, और यह परिणामों पर भरोसा करना असंभव बना देता है।
प्रस्तावित समाधान: "दो-चरण" प्रणाली
लेखक वर्तमान "एक-पेपर" प्रारूप को समाप्त करने और इसे एक दो-स्तरीय प्रणाली से बदलने का प्रस्ताव देते हैं, जो एक निर्माण परियोजना के दो चरणों के समान है: ब्लूप्रिंट (खाका) और निर्माण।
चरण 1: "पंजीकृत प्रस्ताव" (ब्लूप्रिंट)
- यह क्या है: एक शोधकर्ता काम करने से पहले एक विस्तृत योजना जमा करता है। वे कहते हैं, "यहाँ मेरा नया विचार है, और यहाँ बताया गया है कि मैं इसे ठीक से कैसे टेस्ट करूँगा।"
- नियम: जज योजना की समीक्षा करते हैं। यदि योजना ठोस, तार्किक और दिलचस्प है, तो वे इसे मंजूरी देते हैं।
- परिवर्तन: इस चरण में, अभी तक किसी ने पकवान नहीं बनाया है। वे केवल इस बात पर सहमत हो रहे हैं कि यदि सही ढंग से पालन किया जाए तो रेसिपी को काम करना चाहिए। यह लोगों को परिणाम देखने के बाद नियम बदलने से रोकता है।
चरण 2: "परिणाम रिपोर्ट" (निर्माण)
- यह क्या है: यह बड़ा बदलाव है। कोई भी उस स्वीकृत ब्लूप्रिंट को ले सकता है और उसे बनाने की कोशिश कर सकता है।
- यह मूल लेखक (शेफ A) हो सकता है।
- यह एक प्रतिद्वंद्वी शेफ (शेफ B) हो सकता है जो शेफ A को गलत साबित करने की कोशिश कर रहा है।
- यह छात्रों की एक टीम हो सकती है।
- नियम: वे एक छोटी रिपोर्ट जमा करते हैं जिसमें लिखा होता है, "हमने ब्लूप्रिंट का पालन किया। यहाँ हुआ क्या, यह देखिए।"
- यदि यह काम करता है: बहुत बढ़िया! हमारे पास एक सत्यापित, विश्वसनीय परिणाम है।
- यदि यह विफल रहता है: यह भी बहुत बढ़िया है! अब हमें पता है कि यह विचार काम नहीं करता है, और हम सबका समय बचाते हैं।
- "कोई भी" वाला नियम: वर्तमान प्रणालियों के विपरीत जहाँ केवल मूल लेखक ही अंतिम परिणाम प्रकाशित कर सकता है, यहाँ कोई भी काम को दोहराने (replicate करने) की कोशिश कर सकता है। यदि तीन अलग-अलग टीमें एक ही चीज़ बनाती हैं और वह सफल होती है, तो हमें पता चलता है कि यह असली है। यदि वे सभी विफल हो जाती हैं, तो हमें पता चल जाता है कि विचार त्रुटिपूर्ण था।
यह समस्याओं को कैसे ठीक करता है
- "खोया हुआ फ्रिज" खत्म करता है: यदि मूल लेखक अपना डेटा खो देता है, तो भी कोई फर्क नहीं पड़ता। क्योंकि अन्य टीमों ने भी उसी ब्लूप्रिंट के आधार पर उसे बनाया है, परिणाम अभी भी मौजूद हैं। यह एक ही चीज़ बनाने वाले कई लोगों के समान है; यदि एक ढह जाता है, तो दूसरे साबित करते हैं कि डिज़ाइन काम करता है (या नहीं)।
- "गुटबाजी" को तोड़ता है: एक प्रसिद्ध प्रोफेसर सिर्फ यह नहीं कह सकता कि, "मेरा विश्वास करो, मेरा विचार काम करता है।" यदि एक युवा शोधकर्ता उसी चीज़ को बनाने की कोशिश करता है और वह विफल हो जाता है, तो उसका पेपर फिर भी प्रकाशित होता है। यह प्रणाली प्रसिद्धि के बजाय सत्य को महत्व देती है।
- "नया" को "अच्छा" से अलग करता है:
- प्रस्ताव चरण नवीनता (विचार दिलचस्प है?) को पुरस्कृत करता है।
- परिणाम चरण सटीकता/कठोरता (क्या यह वास्तव में काम करता है?) को पुरस्कृत करता है।
- वर्तमान में, हम दोनों को एक साथ परखने की कोशिश करते हैं, जिससे भ्रम पैदा होता है। यह उन्हें अलग करता है।
निचोड़ (The Bottom Line)
लेखक सुझाव दे रहे हैं कि हमें शोध पत्रों को एक एकल, तैयार उत्पाद के रूप में मानना बंद कर देना चाहिए और उन्हें एक सार्वजनिक निर्माण परियोजना के रूप में मानना शुरू करना चाहिए।
- पहले, हम योजनाओं को मंजूरी देते हैं (प्रस्ताव)।
- फिर, हम हर किसी को इसे बनाने की कोशिश करने देते हैं (परिणाम रिपोर्ट)।
यदि इमारत खड़ी रहती है, तो हम उसका उपयोग करते हैं। यदि वह गिर जाती है, तो हम सीखते हैं कि क्यों। यह सुनिश्चित करता है कि जिन सॉफ़्टवेयर टूल्स और विधियों का हम वास्तविक दुनिया में उपयोग करते हैं, वे वास्तव में विश्वसनीय हैं, न कि केवल "नए और चमकदार"।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।