The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

कल्पना कीजिए कि "पीयर रिव्यू" (सहकर्मी समीक्षा) का एक विशाल, उच्च-दांव वाला खेल चल रहा है जहाँ वैज्ञानिक अपना सर्वश्रेष्ठ काम जजों के एक पैनल को सौंपते हैं। सॉफ्टवेयर इंजीनियरिंग की दुनिया में, नए विचारों को परीक्षण और अनुमोदन से गुजरने के लिए इसी तरह से परखा जाता है। लेकिन यहाँ एक पेच है: इनमें से अधिकांश जज काम करते-करते सीख रहे हैं। उनके पास कोई प्रशिक्षण नियमावली नहीं है; वे बस यह उम्मीद करते हैं कि उन्हें अपने गुरुओं से अच्छा सुझाव मिलेगा या वे अन्य लोगों की समीक्षाओं को पढ़कर सीख लेंगे। यह बिल्कुल वैसा ही है जैसे किसी को यह बताए बिना कि एक व्यंजन स्वादिष्ट क्यों या खराब क्यों होता है, केवल दूसरों को खाना बनाते हुए देखकर एक पेशेवर शेफ बनने की कोशिश करना। बड़ा सवाल यह है: क्या हम एक वास्तविक, संरचित प्रशिक्षण कार्यक्रम बना सकते हैं जो नौसिखियों को विशेषज्ञ जजों में बदल दे, और क्या हम इसे एक साथ बहुत सारे लोगों के लिए कर सकते हैं?

यह पेपर ICSE 2026 Shadow PC की कहानी बताता है, जो वैज्ञानिक शोध पत्रों की समीक्षा करना सिखाने का एक विशाल प्रयोग है। आयोजकों ने केवल एक चेकलिस्ट नहीं थमा दी; उन्होंने समीक्षा को एक खेल की तरह माना जिसमें डेलिब्रेट प्रैक्टिस (सो intentional अभ्यास) की आवश्यकता होती है। इसे एक स्पोर्ट्स टीम की तरह समझें जो केवल सप्ताह में एक बार खेल नहीं खेलती, बल्कि हफ्तों तक ड्रिल करती है, गेम टेप देखती है, कोचों से तत्काल फीडबैक लेती है, और यहाँ तक कि एक-दूसरे की चालों की आलोचना भी करती है। टीम ने एक "शैडो" (छाया) प्रणाली का उपयोग किया, जिसका अर्थ है कि इन प्रशिक्षुओं ने वास्तविक जजों के समान ही सटीक पेपरों की समीक्षा की, लेकिन उनकी राय अंतिम निर्णय में नहीं गिनी जाती थी। इसने एक सुरक्षित "अभ्यास मैदान" बनाया जहाँ गलतियाँ करना ठीक था और सीखने का लक्ष्य ही एकमात्र उद्देश्य था।

परिणाम आश्चर्यजनक रूप से सफल रहे। 183 लोगों में से जो इस कार्यक्रम से शुरू हुए थे, उनमें से 102 ने इसे अंत तक पूरा किया, जिन्होंने 117 वास्तविक पेपरों की समीक्षा की। प्रशिक्षु इस अनुभव से बहुत खुश थे: 97% ने कहा कि वे दूसरों को इसकी सिफारिश करेंगे। यहाँ तक कि जिन लेखकों के पेपरों की समीक्षा की जा रही थी, उन्हें भी 67% मामलों में फीडबैक उपयोगी लगा। अध्ययन बताता है कि एक संरचित, बहु-चरणीय दृष्टिकोण का उपयोग करके—जहाँ आप प्रयास करते हैं, असफल होते हैं, सुधारा जाता है, और फिर से प्रयास करते हैं—आप लोगों के एक बड़े समूह को सक्षम समीक्षक बनने के लिए प्रशिक्षित कर सकते हैं। हालाँकि, पेपर यह भी नोट करता है कि लंबे समय तक सभी को व्यस्त रखना चुनौतीपूर्ण था, और वे सुझाव देते हैं कि भविष्य के कार्यक्रमों को प्रवाह को प्रबंधित करने और ऊर्जा बनाए रखने में मदद करने के लिए "टीम कैप्टन" (जिन्हें एरिया चेयर कहा जाता है) की आवश्यकता हो सकती है।

समस्या: गलती से जज बनना सीखना

सॉफ्टवेयर अनुसंधान की दुनिया में, पीयर रिव्यू एक द्वारपाल (gatekeeper) है। यह वह प्रक्रिया है जहाँ विशेषज्ञ एक नया पेपर पढ़ते हैं और तय करते हैं कि क्या यह प्रकाशित होने के योग्य है। लेकिन ये विशेषज्ञ इसे कैसे सीखते हैं? आमतौर पर, वे इसे नहीं सीखते। वे इसे "इम्प्लिसिटली" (अंतर्निहित रूप से) सीखते हैं, जो एक फैंसी तरीका है यह कहने का कि वे इसे 'ऑस्मोसिस' (अवशोषण) के माध्यम से समझ लेते हैं। एक पीएचडी छात्र को एक वरिष्ठ प्रोफेसर से कठोर समीक्षा मिल सकती है और वह सोच सकता है, "ठीक है, मुझे लगता है कि मुझे अधिक आलोचनात्मक होना चाहिए," या उन्हें एक अस्पष्ट समीक्षा मिल सकती है और वे भ्रमित हो सकते हैं। कुछ भाग्यशाली छात्रों को सीधा कोचिंग मिलता है, लेकिन कई लोगों के लिए, यह एक अनुमान लगाने का खेल है।

जैसे-जैसे अधिक लोग पेपर जमा कर रहे हैं, सिस्टम बढ़ते अनुरोधों में डूब रहा है। हमें ऐसे अधिक लोगों की आवश्यकता है जो एक शानदार विचार और एक त्रुटिपूर्ण विचार के बीच अंतर कर सकें, लेकिन वहाँ तक पहुँचने का कोई स्पष्ट मार्ग नहीं है। यह एक शहर की तरह है जो 1,000 नए अग्निशामक नियुक्त करने की कोशिश कर रहा है लेकिन उन्हें केवल उन्हें जलती हुई इमारत में फेंककर सिखा रहा है और उम्मीद कर रहा है कि वे पाइप पकड़ना सीख जाएंगे।

समाधान: द "शैडो" जिम

इस पेपर के लेखकों ने एक Shadow PC (प्रोग्राम कमेटी) बनाकर इसे ठीक करने का निर्णय लिया। सोचिए कि मुख्य PC आधिकारिक ओलंपिक जज हैं। Shadow PC ठीक बगल में स्थित "ट्रेनिंग कैंप" है। प्रशिक्षु (मुख्यतः पीएचडी छात्र और नए प्रोफेसर जैसे शुरुआती करियर के शोधकर्ता) वास्तविक जजों के समान ही पेपरों की समीक्षा करते हैं, लेकिन वे इसे एक अलग, सुरक्षित स्थान में करते हैं। उनकी समीक्षाओं से यह तय नहीं होता था कि कौन अंदर जाएगा; वे केवल अभ्यास के लिए थीं।

यहाँ मुख्य नवाचार डेलिब्रेट प्रैक्टिस (Deliberate Practice) था। केवल यह कहने के बजाय कि, "यह एक पेपर है, समीक्षा लिखें," कार्यक्रम को एक वीडियो गेम की तरह स्तरों (levels) में डिज़ाइन किया गया था। यह इस विचार पर आधारित था कि आप सबसे अच्छा तब सीखते हैं जब आप कुछ करने की कोशिश करते हैं, महसूस करते हैं कि आप इसमें खराब हैं, विशिष्ट फीडबैक प्राप्त करते हैं, और फिर से प्रयास करते हैं।

ट्रेनिंग कैंप कैसे काम करता था

कार्यक्रम को कई चरणों में विभाजित किया गया था, जिनमें से प्रत्येक को एक विशिष्ट कौशल सिखाने के लिए डिज़ाइन किया गया था:

1. "पहले प्रयास करें" चरण (निर्देश से पहले पीढ़ी):
   आमतौर पर, शिक्षक आपको शुरू करने से पहले नियम देते हैं। इस कार्यक्रम ने इसके विपरीत किया। प्रतिभागियों से किसी भी चेकलिस्ट या गाइड से पहले एक समीक्षा लिखने के लिए कहा गया। क्यों? क्योंकि सीखना कठिन है यदि आपको पता ही न हो कि आप क्या भूल रहे हैं। पहले प्रयास करके, उन्हें एहसास हुआ, "ओह, मुझे नहीं पता था कि मुझे इसकी जाँच करने की आवश्यकता है!" इसने उनकी "अनकॉन्शियस इनकम्पिटेंस" (यह न जानना कि वे क्या नहीं जानते) को "कॉन्शियस इनकम्पिटेंस" (यह जानना कि उन्हें सीखने की आवश्यकता है) में बदल दिया।

2. "कंट्रास्ट" चरण (कैलिब्रेशन):
   उन्हें यह सिखाने के लिए कि एक "अच्छा" पेपर कैसा दिखता है, उन्हें दो विशेष पेपर दिए गए। एक वह पेपर था जिसे पहले ही शीर्ष सम्मेलन के लिए स्वीकार किया जा चुका था, और दूसरा एक खारिज किया गया पेपर था जिसे गुप्त रूप से स्पष्ट दोषों के साथ संपादित किया गया था। प्रशिक्षुओं को दोनों की समीक्षा करनी थी। फिर, उन्होंने देखा कि विशेषज्ञों ने उनकी समीक्षा कैसे की। इसने उन्हें एक "दोषपूर्ण लेकिन अच्छे" पेपर और एक "टूटे हुए" पेपर के बीच अंतर देखने में मदद की, जिससे उनका निर्णय तेज हुआ।

3. "फीडबैक लूप" (समीक्षाओं की समीक्षा):
   चूंकि एक शिक्षक के लिए सभी को ग्रेड देने के लिए बहुत अधिक लोग थे, इसलिए प्रशिक्षुओं ने एक-दूसरे की समीक्षाओं को ग्रेड किया। यह इस विचार पर आधारित है कि "सिखाना सीखने का सबसे अच्छा तरीका है।" किसी अन्य की समीक्षा की आलोचना करके, उन्हें गहराई से सोचना पड़ा कि एक अच्छी समीक्षा क्या बनाती है, जिसने उन्हें स्वयं सुधारने में मदद की।

4. "असली मामला" चरण (The Real Deal):
   इन सभी अभ्यासों के बाद, उन्हें अपने दम पर तीन वास्तविक पेपरों की समीक्षा करने के लिए सौंपा गया। फिर, उन्हें इन पेपरों पर एक समूह के साथ चर्चा करनी थी और एक "मेटा-रिव्यू" (समूह की राय का सारांश) लिखना था, ठीक वैसे ही जैसे वास्तविक जज करते हैं।

5. "डिफ़्रीफ़" (खुलासा):
   अंत में, उन्हें देखने को मिला कि वास्तविक जजों ने उन्हीं पेपरों के बारे में क्या सोचा। वे अपनी समीक्षाओं की तुलना आधिकारिक समीक्षाओं से कर सके और देख सके कि वे कहाँ मेल खाते हैं और कहाँ वे चूक गए।

परिणाम: क्या यह काम आया?

प्रयोग एक हिट रहा, लेकिन इसमें कुछ मुश्किलें भी आईं।

• पैमाना (Scale): उन्होंने 183 लोगों को साइन अप कराने में सफलता प्राप्त की। उनमें से 102 ने पूरा कार्यक्रम पूरा किया। एक साथ इतने सारे लोगों को प्रशिक्षित करना बड़ी बात है!
• समीक्षाएँ: इन प्रशिक्षुओं ने 117 पेपरों की समीक्षा की।
• निर्णय: 97% प्रतिभागियों ने कहा कि वे इस अनुभव की सिफारिश दूसरों को करेंगे। उन्हें लगा कि उन्होंने बहुत कुछ सीखा और एक नया दृष्टिकोण प्राप्त किया।
• लेखक फीडबैक: जिन लोगों ने पेपर लिखे थे, उनसे पूछा गया कि क्या प्रशिक्षुओं की समीक्षा सहायक थी। 67% ने कहा कि हाँ। और भी दिलचस्प बात यह है कि 63% लेखकों ने गौर किया कि प्रशिक्षुओं की समीक्षाएं आधिकारिक जजों की राय से मेल खाती थीं, जिसका अर्थ है कि प्रशिक्षण वास्तव में विशेषज्ञों के साथ उनकी सोच को संरेखित करने में सफल रहा।
• "कंजर्वेटिव" पूर्वाग्रह: प्रशिक्षु वास्तविक जजों की तुलना में थोड़े अधिक सतर्क थे। उन्होंने पेपरों को अधिक बार खारिज किया और "मेजर रिवीज़न" (प्रमुख संशोधन) के लिए अधिक बार कहा। लेखक सुझाव देते हैं कि ऐसा इसलिए है क्योंकि प्रशिक्षुओं को बाद में पेपर को फिर से पढ़ने की परेशानी नहीं झेलनी थी यदि वह ठीक हो गया हो, इसलिए वे अधिक सख्त थे।

खामियां और भविष्य की योजनाएं

यह एकदम सटीक नहीं था। सबसे बड़ी चुनौती लोगों को व्यस्त रखना था। कार्यक्रम में लगभग तीन महीने लगे, और अंत तक, कुछ लोगों ने भाग लेना छोड़ दिया, विशेष रूप से चर्चा चरण के दौरान। आयोजकों को हस्तक्षेप करना पड़ा और कुछ अंतिम सारांश खुद लिखने पड़े क्योंकि समूह अटक गए थे।

लेखक अगली बार के लिए कुछ सुधार सुझाते हैं:

• अधिक "टीम कैप्टन": वे "शैडो पीसी एरिया चेयर्स" नामक एक नया पद बनाने का प्रस्ताव देते हैं। ये अनुभवी प्रशिक्षु होंगे जो समीक्षकों के एक छोटे समूह का प्रबंधन करेंगे, चर्चा को आगे बढ़ाएंगे और मदद करेंगे। यह एक करियर सीढ़ी भी बनाएगा: प्रशिक्षु $\rightarrow$ टीम कैप्टन $\rightarrow$ वास्तविक जज।
• बेहतर तालमेल (Sync): लाइव बैठकें अच्छी थीं लेकिन बहुत छोटी थीं। वे सुझाव देते हैं कि उन्हें लंबा किया जाए और विभिन्न टाइम ज़ोन के लिए रिकॉर्ड किया जाए।
• समुदाय: वे इसे एक स्थायी क्लब में बदलना चाहते जहाँ पिछले प्रतिभागी अगले समूह को प्रशिक्षित करने में मदद करने के लिए वापस आ सकें, जिससे एक आत्मनिर्भर समुदाय बन सके।

निष्कर्ष

ICSE 2026 Shadow PC यह सिद्ध करता है कि आप लोगों को अच्छे वैज्ञानिक जज बनना सिखा सकते हैं, भले ही वे शुरुआत में नौसिखिए हों। एक संरचित, अभ्यास-प्रधान दृष्टिकोण का उपयोग करके—जहाँ आप प्रयास करते हैं, असफल होते हैं, फीडबैक प्राप्त करते हैं, और फिर से प्रयास करते हैं—आप एक बड़े समूह को उच्च मानक तक प्रशिक्षित कर सकते हैं। यह केवल अधिक समीक्षक बनाने के बारे में नहीं है; यह नेताओं की एक ऐसी पाइपलाइन बनाने के बारे में है जो गुणवत्ता का निर्णय करना जानते हैं, जिससे यह सुनिश्चित होता है कि सॉफ्टवेयर अनुसंधान का भविष्य मजबूत और निष्पक्ष बना रहे। पेपर सुझाव देता है कि यदि हम इस "ट्रेनिंग कैंप" मॉडल को परिष्कृत करते रहे, तो हम गुणवत्ता से समझौता किए बिना अच्छे समीक्षकों की कमी को हल कर सकते हैं।