An Isotonic Mechanism for Overlapping Ownership

वैज्ञानिक अनुसंधान की उच्च-दांव वाली दुनिया में, सहकर्मी समीक्षा (पीयर रिव्यू) प्रक्रिया नए ज्ञान के लिए एक द्वारपाल के रूप में कार्य करती है। जब एक शोधकर्ता किसी प्रमुख सम्मेलन में अपना शोध पत्र प्रस्तुत करता है, तो इसे अन्य विशेषज्ञों के पास भेजा जाता है जो इसे पढ़ते हैं और एक स्कोर प्रदान करते हैं। ये स्कोर निर्धारित करते हैं कि कार्य प्रकाशित होगा, मंच पर प्रस्तुत किया जाएगा, या अस्वीकार कर दिया जाएगा। दशकों से, यह प्रणाली पूरी तरह से इन बाहरी समीक्षकों की राय पर निर्भर रही है। हालाँकि, जैसे-जैसे सबमिशन की संख्या में विस्फोट हुआ है, यह प्रणाली टूटने लगी है। योग्य समीक्षकों का पूल इस गति के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ी से नहीं बढ़ा है, जिससे ऐसी स्थिति पैदा हो गई है जहाँ एक ही पेपर विशेषज्ञों के एक समूह द्वारा स्वीकार किया जा सकता है और दूसरे द्वारा अस्वीकार किया जा सकता है, जो केवल इस बात पर निर्भर करता है कि संयोग से उसे किसने पढ़ा। यह विसंगति पूरे क्षेत्र की अखंडता के लिए खतरा पैदा करती है, जिससे इन स्कोरों को स्थिर करने के लिए एक तरीके की आवश्यकता उत्पन्न होती है जो केवल एक अत्यधिक काम करने वाले और अक्सर अनुभवहीन समीक्षक पूल पर निर्भर न हो।

चुनौती यह है कि जो लोग किसी पेपर के बारे में सबसे अधिक जानते हैं—लेखक स्वयं—वे आमतौर पर वे अंतिम लोग होते हैं जिन पर आयोजक अपने काम का मूल्यांकन करने के लिए भरोसा करते हैं। किसी लेखक से अपने काम को ग्रेड देने के लिए कहना बेईमानी को निमंत्रण देने जैसा लगता; एक शोधकर्ता स्वाभाविक रूप से अपनी स्वीकृति सुनिश्चित करने के लिए अपने स्कोर को बढ़ा सकता है। फिर भी, लेखकों के पास एक अद्वितीय प्रकार की जानकारी होती है जो समीक्षकों के पास नहीं होती: वे अपने स्वयं के काम की सापेक्ष गुणवत्ता को जानते हैं। एक लेखक को यह तो नहीं पता हो सकता कि उसके पेपर को सटीक संख्यात्मक स्कोर क्या मिलना चाहिए, लेकिन वह लगभग निश्चित रूप से जानता होगा कि उसके अपने अन्य पेपर्स में से कौन सा पेपर बेहतर है। शोधकर्ताओं ने सवाल किया कि क्या इस सापेक्ष ज्ञान का उपयोग अजनबियों द्वारा दिए गए शोर भरे (नॉइजी) स्कोर को ठीक करने के लिए किया जा सकता है, बिना लेखकों को झूठ बोलने का कोई कारण दिए।

एक टीम ने इस पहेली को हल करने के लिए 'आइसोटोनिक मैकेनिज्म' (Isotonic Mechanism) नामक एक नई विधि विकसित की है। विशिष्ट नंबरों के बजाय, जो त्रुटि और हेरफेर के प्रति संवेदनशील होते हैं, यह प्रणाली लेखकों से बस अपने पेपर्स को सबसे अच्छे से सबसे खराब के क्रम में रैंक करने के लिए कहती है। यह मैकेनिज्म फिर इन रैंकिंग्स को समीक्षकों के शोर भरे स्कोर के साथ जोड़कर एक नया, अधिक सटीक स्कोर सेट तैयार करता है। इसकी डिजाइन की श्रेष्ठता इस बात में निहित है कि यह इस जटिल जाल को कैसे संभालता है कि किसका स्वामित्व किस पर है। आधुनिक विज्ञान में, पेपर्स में अक्सर कई लेखक होते हैं, और वे लेखक अक्सर अलग-अलग पेपर्स पर मिलकर काम करते हैं। यह एक उलझे हुए नेटवर्क का निर्माण करता है जहाँ एक लेखक द्वारा अपने पेपर्स की रैंकिंग दूसरे के साथ संघर्ष कर सकती है।

इसे संभालने के लिए, शोधकर्ताओं ने पहले पूरे संग्रह को अलग-अलग, गैर-अतिव्यापी (नॉन-ओवरलैपिंग) समूहों में विभाजित किया। प्रत्येक समूह के भीतर, वे उन लेखकों की पहचान करते हैं जिन्होंने उस विशिष्ट सेट के प्रत्येक पेपर को लिखा है। केवल इन्हीं लेखकों को उस समूह के पेपर्स की रैंकिंग प्रदान करने के लिए कहा जाता है। इन विशिष्ट समूहों को अलग करके, सिस्टम यह सुनिश्चित करता है कि रैंकिंग प्रदान करने वाले लेखकों के पास उन वस्तुओं का पूर्ण दृश्य हो जिनका वे मूल्यांकन कर रहे हैं, और कोई भी एकल लेखक उस पेपर के स्कोर में हेरफेर नहीं कर सकता जिसका स्वामित्व पूरी तरह से उसके पास नहीं है। सिस्टम एक गणितीय स्मूथिंग प्रक्रिया का उपयोग करता है ताकि मूल समीक्षक स्कोर को समायोजित किया जा सके ताकि वे लेखकों द्वारा दिए गए क्रम का सम्मान करें। यदि एक लेखक कहता है कि पेपर A, पेपर B से बेहतर है, तो अंतिम स्कोर उस क्रम को दर्शाएगा, लेकिन वे मूल समीक्षक स्कोर के जितना संभव हो उतना करीब रहेंगे ताकि अत्यधिक सुधार (ओवरकरेक्शन) से बचा जा सके।

शोधकर्ताओं ने यह सिद्ध किया कि इस प्रणाली के तहत, सच्चाई बोलना प्रत्येक लेखक के लिए सबसे अच्छी रणनीति है। यदि अन्य सभी ईमानदार हैं, तो कोई भी व्यक्तिगत लेखक अपने पेपर्स के क्रम के बारे में झूठ बोलकर लाभ नहीं उठा सकता। वास्तव में, यह प्रणाली एक ऐसी स्थिति बनाती है जहाँ ईमानदारी ही सभी शामिल लोगों के लिए सबसे पुरस्कृत परिणाम है। यह तब भी सच है जब पेपर्स का स्वामित्व जटिल और ओवरलैपिंग हो, बशर्ते कि सिस्टम को इन सावधानीपूर्वक परिभाषित समूहों के भीतर ही रैंकिंग पूछने के लिए सेट किया गया हो। टीम ने यह भी दिखाया कि अलग-अलग समूहों के बीच पेपर्स को रैंक करने की चतुराई करने से काम नहीं बनता; ईमानदारी सुनिश्चित करने का एकमात्र तरीका इन अलग-थलग समूहों तक ही सीमित रहना है।

इन समूहों में पेपर्स को विभाजित करने के सर्वोत्तम तरीके को खोजने के लिए, शोधकर्ताओं ने एक तेज़, कुशल एल्गोरिदम डिज़ाइन किया। उन्होंने पाया कि एक आदर्श विभाजन खोजना एक ऐसी समस्या है जिसे कंप्यूटर एक उचित समय में सटीक रूप से हल करने के लिए बहुत कठिन पाते हैं। हालाँकि, उनका 'ग्रीडी एल्गोरिदम' (greedy algorithm), जो प्रत्येक चरण में एक ही लेखक के स्वामित्व वाले उपलब्ध सबसे बड़े समूह को चुनता है, सर्वोत्तम संभव परिणाम के बहुत करीब आता है। यह एल्गोरिदम हजारों पेपर्स वाले वास्तविक परिदृश्यों में उपयोग किए जाने के लिए पर्याप्त तेज़ी से चलता है।

टीम ने अपने मेथड का परीक्षण वास्तविक मशीन लर्निंग सम्मेलनों, विशेष रूप से ICLR और ICML के पेपर्स के डेटा का उपयोग करके किया। उन्होंने मौजूदा स्कोर में रैंडम नॉइज़ जोड़कर सहकर्मी समीक्षा की नकल की, ताकि वास्तविक सहकर्मी समीक्षा की विसंगतियों को दर्शाया जा सके। जब उन्होंने अपना मैकेनिज्म लागू किया, तो समायोजित स्कोर मूल समीक्षक स्कोर की तुलना में काफी अधिक सटीक थे। उनके परीक्षणों में, इस नई विधि ने स्कोर की त्रुटि को 21 से 33 प्रतिशत के बीच कम कर दिया। इसने उन शीर्ष-गुणवत्ता वाले पेपर्स के एक बड़े हिस्से को भी सफलतापूर्वक पुनः प्राप्त किया जिन्हें मूल शोर भरे स्कोर ने गलती से छोड़ दिया था। वास्तविक डेटा का उपयोग करते हुए एक अलग परीक्षण में, जहाँ लेखकों ने पहले ही अपनी रैंकिंग जमा कर दी थी, इस पद्धति ने बेसलाइन की तुलना में स्कोर की सटीकता में फिर से सुधार किया।

शोधकर्ताओं ने इस प्रणाली से जुड़े ट्रेड-ऑफ्स (समझौतों) का भी पता लगाया। उन्होंने पाया कि एक ही समूह के पेपर्स के लिए अधिक लेखकों से रैंकिंग मांगना, लेखकों के अपने बोध (परसेप्शन) की त्रुटियों के विरुद्ध सिस्टम को अधिक मजबूत बनाता है। हालाँकि, अधिक लेखकों को शामिल करने से अक्सर समूह छोटे हो जाते हैं, जिससे सिस्टम द्वारा एकत्र की जा सकने वाली उपयोगी जानकारी कम हो जाती है। इष्टतम संतुलन इस बात पर निर्भर करता है कि लेखक कितने सटीक होने की उम्मीद है। यदि लेखक अपने स्वयं के रैंकिंग में बहुत आश्वस्त हैं, तो बड़े समूह सबसे अच्छा काम करते हैं। यदि उनका बोध शोर भरा (नॉइजी) है, तो अधिक लेखकों वाले छोटे समूह बेहतर परिणाम देते हैं।

यह कार्य यह प्रदर्शित करता है कि प्रक्रिया की अखंडता से समझौता किए बिना लेखकों के स्व-ज्ञान का उपयोग वैज्ञानिक मूल्यांकन को बेहतर बनाने के लिए किया जा सकता है। विशिष्ट स्कोर के बजाय सरल रैंकिंग मांगकर, और यह सावधानीपूर्वक संरचित करके कि कौन किसका मूल्यांकन करेगा, यह प्रणाली हितों के टकराव को एक अधिक सटीक उपकरण में बदल देती है। ये निष्कर्ष बताते हैं कि सम्मेलन आयोजक इस दृष्टिकोण को अपना सकते हैं ताकि अपनी समीक्षा प्रक्रियाओं को स्थिर किया जा सके, जिससे यह सुनिश्चित हो सके कि सर्वश्रेष्ठ पेपर्स को पहचाना जाए, भले ही समीक्षकों का पूल अत्यधिक दबाव में हो। यह मैकेनिज्म समीक्षकों की जगह नहीं लेता है, बल्कि यह एक स्टेबलाइज़र के रूप में कार्य करता है, जो सिस्टम के अपरिहार्य शोर को ठीक करने के लिए लेखकों के अपने अंतर्दृष्टि का उपयोग करता है।