Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

मशीन लर्निंग की विशाल और तेजी से बढ़ती दुनिया में, जो कंप्यूटर को डेटा से सीखना सिखाने के लिए समर्पित एक क्षेत्र है, एक महत्वपूर्ण बाधा उत्पन्न हुई है—जो स्वयं तकनीक में नहीं, बल्कि इसे प्रमाणित करने के लिए उपयोग की जाने वाली मानवीय प्रक्रिया में है। किसी भी नई खोज को दुनिया के साथ साझा करने से पहले, उसे पीयर रिव्यू (सहकर्मी समीक्षा) से गुजरना पड़ता है, जो एक ऐसी प्रणाली है जहाँ विशेषज्ञ अपने सहयोगियों के कार्य को पढ़ते और उनका मूल्यांकन करते हैं ताकि यह तय किया जा सके कि क्या वह प्रकाशन के योग्य है। दशकों से, यह प्रक्रिया एक सरल सामाजिक अनुबंध पर टिकी रही है: यदि आप चाहते हैं कि आपका कार्य प्रकाशित हो, तो आपको दूसरों के कार्य की समीक्षा करने के लिए सहमत होना चाहिए। हालाँकि, जैसे-जैसे शोध पत्रों की संख्या बढ़कर एक ही प्रमुख बैठक के लिए दसियों हजार में पहुँच गई है, यह विनम्र समझौता टूटने लगा है। सबमिशन की भारी मात्रा ने उपलब्ध विशेषज्ञों को अभिभूत कर दिया है, जिससे जल्दबाजी में किए गए मूल्यांकन, असंगत मानक और उन वैज्ञानिकों के बीच निराशा की बढ़ती भावना पैदा हुई है जिन्हें लगता है कि प्रणाली अब इच्छित रूप से कार्य नहीं कर रही है। समुदाय के सामने मुख्य प्रश्न अब केवल यह नहीं है कि वर्कलोड को कैसे प्रबंधित किया जाए, बल्कि यह है कि एक ऐसी प्रणाली कैसे बनाई जाए जो केवल एक औपस्तरी प्रक्रिया (चेक बॉक्स टिक करना) के बजाय वास्तव में उच्च-गुणवत्ता वाली, विचारशील प्रतिक्रिया को प्रोत्साहित करे।

राइस यूनिवर्सिटी के शाओचेन (हेनरी) झोंग का एक हालिया स्थिति पत्र (position paper) तर्क देता है कि शोधकर्ताओं से अधिक सावधान रहने या बेहतर दिशानिर्देशों का पालन करने के लिए कहना अपर्याप्त है। लेखक का सुझाव है कि मशीन लर्निंग समुदाय एक ऐसे बिंदु पर पहुँच गया है जहाँ विनम्र अनुरोध और आशावादी दिशानिर्देश सबमिशन की मात्रा और समीक्षा की गुणवत्ता के संकट को हल करने में विफल रहे हैं। इसके बजाय, पेपर एक ऐसे तंत्र की ओर एक क्रांतिकारी बदलाव का प्रस्ताव करता है जो समीक्षा को 'करेंसी' (मुद्रा) के एक रूप के रूप में मानता है। केंद्रीय विचार वर्तमान "मान सम्मान प्रणाली" (honor system) को एक मूर्त क्रेडिट अर्थव्यवस्था से बदलना है, जहाँ शोधकर्ता समीक्षा प्रक्रिया में अपने योगदान के लिए अंक अर्जित करते हैं और उन अंकों को विशिष्ट विशेषाधिकार प्राप्त करने के लिए खर्च कर सकते हैं। यह दृष्टिकोण सद्भावना पर निर्भर रहने के बजाय एक ऐसी संरचना की ओर बढ़ता है जहाँ अच्छे व्यवहार को पुरस्कृत किया जाता है और खराब व्यवहार की एक मापने योग्य लागत होती है।

पेपर वर्तमान विकृति के दो मुख्य कारणों की पहचान करता है। पहला, प्रमुख सम्मेलनों में प्रस्तुत किए गए शोध पत्रों की संख्या इतनी बढ़ गई है कि उपलब्ध विशेषज्ञों के लिए प्रत्येक एक को उचित ध्यान देना शारीरिक रूप से असंभव है। कुछ सम्मेलनों में बीस हजार से अधिक सबमिशन प्राप्त होने के कारण, प्रक्रिया को आगे बढ़ाने के लिए प्रणाली को त्वरित और अक्सर मनमाने निर्णय लेने पड़ते हैं। दूसरा, बुरे व्यवहार के लिए परिणामों का अभाव है। एक समीक्षक बिना किसी डर के उपेक्षापूर्ण, कम प्रयास वाला, या यहाँ तक कि निरर्थक आलोचना प्रस्तुत कर सकता है, जबकि एक समीक्षक जो विस्तृत, रचनात्मक प्रतिक्रिया देने के लिए अतिरिक्त प्रयास करता है, उसे कोई मूर्त पहचान नहीं मिलती। लेखक नोट करता है कि हालांकि कुछ सम्मेलनों ने लेखकों द्वारा प्रस्तुत किए जाने वाले कागजों की संख्या को सीमित करने के लिए कैप लगाने की कोशिश की है, लेकिन ये उपाय अक्सर विफल हो जाते हैं क्योंकि वे मूल कारण को संबोधित नहीं करते: तैयार न किए गए काम को सबमिट करने का कोई नुकसान न होना या अच्छी समीक्षा करने के कठिन काम के लिए पुरस्कार की कमी।

इन मुद्दों को हल करने के लिए, लेखक "ओपनरिव्यू पॉइंट्स" (OpenReview Points) नामक एक प्रणाली का प्रस्ताव करता है। इस मॉडल में, शोधकर्ता विशिष्ट कार्य करके अंक अर्जित करेंगे, जैसे कि एक मानक समीक्षा लिखना, एक आपातकालीन समीक्षा में मदद करना, या एक उत्कृष्ट समीक्षक के रूप में पहचाना जाना। ये अंक फिर एक लचीली मुद्रा के रूप में कार्य करेंगे जिन्हें विभिन्न प्रमुख सम्मेलनों में खर्च किया जा सकता है। उदाहरण के लिए, एक शोधकर्ता समीक्षा ड्यूटी से छूट मांगने के लिए, एक विवादास्पद पेपर पर अतिरिक्त विशेषज्ञ की राय लेने के लिए, या यहाँ तक कि एक मुफ्त पंजीकरण शुल्क के लिए अंक खर्च कर सकता है। यह प्रणाली विस्तृत और प्रवर्तनीय (enforceable) बनाने के लिए डिज़ाइन की गई है, जिससे आयोजकों को वर्तमान "सब-या-कुछ-नहीं" वाले दृष्टिकोण की तुलना में अधिक सूक्ष्म तरीके से अच्छे व्यवहार को पुरस्कृत करने और बुरे व्यवहार को दंडित करने की अनुमति मिलती है।

पेपर स्पष्ट रूप से उन मौजूदा समाधानों के विरुद्ध तर्क देता है जिन्हें समुदाय ने आजमाया है। यह सुझाव देता है कि समीक्षकों से अधिक दयालु या अधिक गहन होने के लिए कहना अप्रभावी है क्योंकि यह उस प्रेरणा पर निर्भर करता है जिसे वर्तमान प्रणाली समर्थन नहीं देती है। यह लेखकों द्वारा प्रस्तुत किए जाने वाले कागजों की संख्या पर सख्त, कठोर सीमा लगाने के विचार की भी आलोचना करता है, यह देखते हुए कि ऐसे नियम अक्सर टीमों को कैप के नीचे फिट होने के लिए कागजों से नाम हटाने के लिए प्रेरित करते हैं, न कि वास्तव में सबमिशन को कम करने के लिए। इसके अलावा, लेखक चेतावनी देता है कि कठोर दंड, जैसे कि इसलिए पेपर को अस्वीकार करना क्योंकि एक समीक्षक ने कम प्रयास किया था, खराब समीक्षा व्यवहारों की विस्तृत श्रृंखला को संभालने के लिए बहुत ही भद्दे उपकरण हैं। इसके बजाय, प्रस्तावित क्रेडिट प्रणाली एक मध्य मार्ग प्रदान करती है जहाँ दंड आनुपातिक हो सकते हैं, जैसे कि कम गुणवत्ता वाली समीक्षा के लिए अंक काटना, जो एक शोधकर्ता के करियर को नष्ट किए बिना एक निवारक के रूप में कार्य करता है।

प्रस्ताव का एक प्रमुख घटक "सूक्ष्म प्रक्रियात्मक सुरक्षा उपायों" (fine-grained procedural safeguards) का विचार है। लेखक चार विशिष्ट तंत्रों को रेखांकित करता है जो प्रणाली के दुरुपयोग को रोकने के लिए हैं। पहला, प्रणाली कुछ कार्यों को विशिष्ट भूमिकाओं तक प्रतिबंधित करेगी, यह सुनिश्चित करते हुए कि केवल एक पेपर के मुख्य लेखक ही अतिरिक्त मदद मांगने के लिए अंक खर्च कर सकें, जिससे बोझ कम जवाबदेह टीम के सदस्यों पर न पड़े। दूसरा, इसमें कुछ कार्यों को कितनी बार किया जा सकता है, इसकी ऊपरी सीमा होगी, जिससे कोई भी बड़ी संख्या में कम-प्रयास वाले रिव्यूज जमा करके "फार्मिंग" (अंक बटोरना) नहीं कर सकेगा। तीसरा, सिस्टम "डायनेमिक प्राइसिंग" का उपयोग करेगा, जिसका अर्थ है कि एक शोधकर्ता जितनी बार किसी विशेष विशेषाधिकार का उपयोग करेगा, उसकी लागत उतने ही अधिक अंक होंगे, यह सुनिश्चित करते हुए कि दुर्लभ संसाधन सबसे महत्वपूर्ण जरूरतों के लिए आरक्षित रहें। अंत में, यह प्रणाली समीक्षा की गुणवत्ता का निर्णय करने के लिए "पीयर वोटिंग" (सहकर्मी मतदान) पर निर्भर करेगी, जिससे समुदाय सामूहिक रूप से बुरे तत्वों की पहचान करने और दंडित करने के साथ-साथ असाधारण फीडबैक देने वालों को पुरस्कृत कर सके।

लेखक स्वीकार करता है कि यह प्रणाली चुनौतियों और संभावित कमियों से मुक्त नहीं है। एक चिंता यह है कि क्रेडिट सिस्टम उन शोधकर्ताओं का पक्ष ले सकता है जिनके पास पहले से ही अधिक समय और संसाधन हैं, जिससे वे अपनी जिम्मेदारियों से बचने के लिए "खरीद" सकते हैं। हालाँकि, पेपर तर्क देता है कि चूंकि अंक धन के बजाय श्रम के माध्यम से अर्जित किए जाते हैं, इसलिए यह धन के बजाय प्रयास को पुरस्कृत करता है। एक अन्य जोखिम यह है कि सिस्टम में हेरफेर किया जा सकता है या अंक समय के साथ अपना मूल्य खो सकते हैं, जैसा कि वास्तविक अर्थव्यवस्था में मुद्रास्फीति होता है। इससे निपटने के लिए, लेखक सुझाव देता है कि अंक एक निश्चित अवधि के बाद समाप्त हो जाने चाहिए और प्रणाली को धीरे-धीरे लागू किया जाना चाहिए, पहले मुफ्त सम्मेलन पंजीकरण जैसे मौजूदा लाभों से शुरू करके जटिल सुविधाओं को पेश करना चाहिए।

पेपर इस बात पर जोर देते हुए समाप्त होता है कि लक्ष्य एक आदर्श प्रणाली बनाना नहीं है, बल्कि वर्तमान प्रणाली को अधिक टिकाऊ और जवाबदेह बनाना है। लेखक का सुझाव है कि इस प्रणाली को अपनाने वाले पहले सम्मेलनों को छोटे स्तर से शुरुआत करनी चाहिए, नए दायरे को विस्तारित करने से पहले मौजूदा पुरस्कारों का उपयोग करके माहौल को परखना चाहिए। प्रमुख मेट्रिक्स को ट्रैक करके और विभिन्न सम्मेलनों के बीच डेटा साझा करके, समुदाय सीख सकता है कि क्या काम करता है और क्या नहीं, और अंततः एक साझा ढांचा बना सकता है जो सभी को लाभान्वित करे। अंतिम दृष्टिकोण एक ऐसा पीयर रिव्यू प्रक्रिया है जहाँ अच्छे व्यवहार को पहचाना और पुरस्कृत किया जाता है, जहाँ शोधकर्ताओं की गुणवत्तापूर्ण प्रणाली में हिस्सेदारी होती है, और जहाँ वर्तमान युग की हताशा को एक अधिक कार्यात्मक और निष्पक्ष विचार विनिमय द्वारा प्रतिस्थापित किया जाता है। यह प्रस्ताव शोधकर्ताओं को सही काम करने की उम्मीद पर निर्भर रहने के बजाय एक ऐसी संरचना बनाने की ओर एक बदलाव है जहाँ सही काम करना सबसे तार्किक और लाभकारी विकल्प है।