Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review
यह स्थिति पत्र (position paper) तर्क देता है कि एमएल (ML) कॉन्फ्रेंस स्वीकृति के परिणाम व्यक्तिगत पूर्वाग्रह के बजाय माप डिजाइन की विफलताओं से प्रेरित होते हैं, जो 50,000 से अधिक शोध पत्रों के विश्लेषण के माध्यम से यह प्रदर्शित करता है कि समीक्षक के स्कोर शोध क्षेत्रों के बीच मौलिक रूप से तुलनीय नहीं हैं, जिससे एक ही स्कोर के लिए विषय के आधार पर स्वीकृति की संभावनाओं में 8 गुना तक का अंतर आता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट स्कोरकार्ड मिस्ट्री (The Great Scorecard Mystery)
कल्पना कीजिए कि एक विशाल, वैश्विक विज्ञान मेला है जहाँ हर साल हजारों प्रतिभाशाली छात्र अपने प्रोजेक्ट जमा करते हैं। यह तय करने के लिए कि कौन अंतिम प्रदर्शन (final showcase) में जगह बनाएगा, जजों की एक टीम प्रत्येक प्रोजेक्ट को एक साधारण संख्यात्मक स्कोर देती है, जैसे कि 1 से 10 तक की रेटिंग। मेले का नियम सरल और निष्पक्ष होना चाहिए: 7 का स्कोर "शानदार काम" का प्रतीक होना चाहिए, चाहे प्रोजेक्ट किसी भी विषय पर हो। चाहे आपने नाचने वाला रोबोट बनाया हो, मौसम की भविष्यवाणी करने वाला प्रोग्राम, या कंप्यूटर को पढ़ना सिखाने का नया तरीका, एक 7 का मतलब एक जैसा ही होना चाहिए।
लेकिन क्या होगा अगर "रोबोटिक्स" सेक्शन के जज बहुत सख्त हों और केवल बेहतरीन रोबोट्स को ही 7 दें, जबकि "मौसम" सेक्शन के जज बहुत उत्साहित हों और किसी भी ऐसी चीज़ को 7 दे दें जो बादल जैसी दिखती हो? यदि आप नहीं जानते कि कोई प्रोजेक्ट किस सेक्शन से संबंधित है, तो वह अकेला नंबर भ्रमित करने वाला बन जाता है। एक क्षेत्र में मिला 7 एक 'गोल्डन टिकट' हो सकता है, जबकि दूसरे क्षेत्र में मिला 7 एक विनम्र अस्वीकृति हो सकती है। यह वही पहेली है जिसे मशीन लर्निंग के क्षेत्र के शोधकर्ता हल करने की कोशिश कर रहे हैं। वे इस बात पर गौर कर रहे हैं कि कंप्यूटर पैटर्न को कैसे पहचानते हैं, निर्णय कैसे लेते हैं और समस्याओं को कैसे हल करते हैं, और वे एक डरावना सवाल पूछ रहे हैं: क्या वह "स्कोर" जिसका उपयोग हम इन पेपर्स को आंकने के लिए करते हैं वास्तव में निष्पक्ष है, या यह पूरी तरह से इस बात पर निर्भर करता है कि आप किस क्लब के सदस्य हैं?
पेपर की बड़ी खोज: स्कोरकार्ड टूट गया है
शोधकर्ताओं की एक टीम द्वारा लिखा गया यह पेपर, एक प्रमुख मशीन लर्निंग कॉन्फ्रेंस ICLR के डेटा की गहराई से जांच करता है। उन्होंने 2021 से 2026 के बीच जमा किए गए 50,000 से अधिक पेपर्स का विश्लेषण किया यह देखने के लिए कि क्या "स्कोर" वास्तव में सभी के लिए समान है। उनका निष्कर्ष चौंकाने वाला है: स्कोर तुलना योग्य नहीं हैं।
इसे एक वीडियो गेम की तरह समझें जहाँ अलग-अलग स्तरों (levels) के खिलाड़ी अलग-अलग कंट्रोलर का उपयोग कर रहे हैं। "ट्रेंडिंग" स्तरों में (जैसे AI के नए हॉट टॉपिक्स), कंट्रोलर बहुत संवेदनशील होते हैं। एक छोटा सा स्पर्श आपको उच्च स्कोर दिला देता है। "ओल्ड स्कूल" स्तरों में (जैसे पुराने, स्थापित विषय), कंट्रोलर सख्त और दबाने में कठिन होते हैं। यदि आपको "ट्रेंडिंग" स्तर में 5.0 का स्कोर मिलता है, तो आप एक सुपरस्टार हो सकते हैं। लेकिन यदि आपको "ओल्ड स्कूल" स्तर में 5.0 मिलता है, तो आप संघर्ष कर रहे हो सकते हैं। पेपर ने पाया कि बिल्कुल एक ही रिव्यूअर स्कोर के लिए, एक पेपर के स्वीकार होने की संभावना उसके विषय के आधार पर 8 गुना तक अधिक हो सकती है।
उदाहरण के लिए, "सोचने" या "तर्क करने" (reasoning) वाले विषय पर एक पेपर जिसका स्कोर 5.0 था, उसके स्वीकार होने की संभावना 52.6% थी। लेकिन "इमेज रिकग्निशन" या "एडवर्सरियल अटैक्स" वाले विषय पर एक पेपर जिसका वही सटीक स्कोर 5.0 था, उसके स्वीकार होने की संभावना केवल 6.6% थी। यह आठ गुना का अंतर है! शोधकर्ता इसे एक "मेजरमेंट डिज़ाइन फेलियर" (मापन डिजाइन की विफलता) कहते हैं। ऐसा नहीं है कि रिव्यूअर्स बुरे हैं या एरिया चेयर्स पक्षपाती हैं; बल्कि समस्या यह है कि सिस्टम खुद टूटा हुआ है क्योंकि यह उन चीजों को मापने के लिए एक ही पैमाने (रूलर) का उपयोग करने की कोशिश करता है जो मौलिक रूप रूप से भिन्न हैं।
यह क्या नहीं है (द रेड हेरिंग्स - भटकाने वाली बातें)
लेखकों ने इस अंतर के अन्य कारणों को खारिज करने के लिए बहुत सावधानी बरती। उन्होंने पूछा: "क्या ऐसा इसलिए है क्योंकि 'ट्रेंडिंग' विषय बेहतर गुणवत्ता के हैं?" उत्तर है नहीं। यदि ऐसा होता, तो उन हॉट टॉपिक्स के स्वीकृत पेपर्स के स्कोर अधिक होते। इसके विपरीत, डेटा दिखाता है कि हॉट टॉपिक्स में कम स्कोर वाले पेपर्स को स्वीकार किया जा रहा है।
उन्होंने यह भी जांचा कि क्या यह इसलिए है क्योंकि "ओल्ड स्कूल" विषयों में सुपर-एक्सपर्ट रिव्यूअर्स हैं जो संतुष्ट करना कठिन है। डेटा फिर से कहता है नहीं। कठिन विषयों के रिव्यूअर्स वास्तव में अधिक आत्मविश्वासी या विशेषज्ञ नहीं थे; वे भी बाकी सभी की तरह ही उत्साही थे।
अंत में, उन्होंने सोचा कि क्या शायद "ट्रेंडिंग" विषय कम गुणवत्ता वाले काम को इसलिए ले रहे हैं क्योंकि सबमिशन बहुत अधिक हैं ("क्वालिटी डाइल्यूशन")। डेटा ने दिखाया कि विषय कितनी तेज़ी से बढ़ रहा है और गुणवत्ता कितनी गिरी, इसके बीच कोई संबंध नहीं था। वास्तव में, कुछ तेजी से बढ़ते विषयों ने अपनी स्वीकृति दर स्थिर रखी जबकि अन्य गिर गई।
असली अपराधी: "हाइप साइकिल" और "पैच"
तो, ऐसा क्यों हो रहा है? पेपर का तर्क है कि यह एक संरचनात्मक समस्या है। जब कोई विषय "हॉट" होता है (जैसे कि एक नया, रोमांचक ट्रेंड), तो यह नए, जूनियर रिव्यूअर्स की एक बड़ी भीड़ को आकर्षित करता है जो उत्साहित होते हैं और शायद थोड़े उदार भी होते हैं। जब कोई विषय "परिपक्व" (mature) होता है (जैसे कि एक पुराना, स्थापित क्षेत्र), तो यह वरिष्ठ विशेषज्ञों को आकर्षित करता है जो अधिक आलोचनात्मक होते हैं। क्योंकि सिस्टम को यह नहीं पता होता कि स्कोर कौन दे रहा है, यह एक उत्साहित जूनियर से मिले "6" को एक गुस्सैल सीनियर से मिले "6" के समान ही मानता है।
इसे ठीक करने के लिए, एरिया चेयर्स (वे लोग जो अंतिम हाँ/ना का निर्णय लेते हैं) को अनुमान लगाना पड़ता है। वे अपने "कम्युनिटी प्रायर्स" (community priors) का उपयोग करते हैं—मूल रूप से, उस विशिष्ट विषय में एक पेपर स्वीकार किया जाना कितना कठिन है, इसके बारे में उनकी अंतरात्मा की आवाज। वे अनिवार्य रूप से अपने अंतर्ज्ञान (intuition) से एक टूटे हुए सिस्टम को सुधारने (patch करने) की कोशिश कर रहे हैं। इसका मतलब यह है कि एक पेपर जो बिल्कुल किनारे पर है (एक "बॉर्डरलाइन" पेपर), उसका भाग्य इस बात से तय नहीं होता कि काम कितना अच्छा है, बल्कि इस बात से होता है कि वह विषय वर्तमान में "फैशन" में है या नहीं।
हमें क्या करना चाहिए?
पेपर केवल समस्या की ओर इशारा नहीं करता है; यह पूरे सिस्टम को पूरी तरह से बदले बिना, इसे ठीक करने के लिए एक तीन-चरणीय योजना प्रस्तावित करता है:
- पारदर्शिता रखें: कॉन्फ्रेंस आयोजकों को प्रत्येक विषय के लिए स्वीकृति दर का एक रिपोर्ट प्रकाशित करना चाहिए, जो स्कोर के आधार पर विभाजित हो। यदि किसी पेपर को 5.0 मिलता है, तो सभी को यह देखने में सक्षम होना चाहिए: "ओह, टॉपिक A में 5.0 मिलने पर 50% बार स्वीकार किया जाता है, लेकिन टॉपिक B में 5.0 मिलने पर केवल 6% बार स्वीकार किया जाता है।" यह छिपे हुए पूर्वाग्रह को दृश्यमान बनाता है।
- कस्टम नियम पुस्तिकाएं बनाएं: हर चीज़ के लिए एक जेनेरिक "1 से 10" स्केल का उपयोग करने के बजाय, प्रत्येक शोध समुदाय को एक अच्छा पेपर क्या होता है, इसके लिए अपना विशिष्ट चेकलिस्ट (रूब्रिक) लिखना चाहिए। एक अच्छा थ्योरी पेपर, इंजीनियरिंग पेपर से अलग दिखता है, और नियमों को इसे प्रतिबिंबित करना चाहिए।
- बेहतर संकेतों का उपयोग करें: पेपर "कैलिब्रेटेड सिग्नल्स" (calibrated signals) का उपयोग करने का सुझाव देता है। उदाहरण के लिए, केवल कच्चे नंबर को देखने के बजाय, सिस्टम रिव्यूअर के इतिहास के आधार पर स्कोर को समायोजित कर सकता है (क्या वे आमतौर पर उच्च स्कोर देते हैं या निम्न स्कोर?)। यह यह भी सुझाव देता है कि लेखक यदि कई पेपर जमा करते हैं तो वे स्वयं अपने पेपर्स को रैंक कर सकें, जिससे सिस्टम को कच्चे नंबर की तुलना में काम की सापेक्ष गुणवत्ता को बेहतर ढंग से समझने में मदद मिलती है।
निष्कर्ष
पेपर का निष्कर्ष है कि वर्तमान प्रणाली वैसी ही है जैसे एक दौड़ जहाँ अलग-अलग लेन में दौड़ने वाले धावक अलग-अलग सतहों पर दौड़ रहे हैं, लेकिन सभी को एक ही स्टॉपवॉच द्वारा आंका जा रहा है। "हॉट" लेन वाले धावक इसलिए आगे नहीं निकल रहे हैं क्योंकि वे तेज़ हैं, बल्कि इसलिए क्योंकि ट्रैक आसान है। लेखक तर्क देते हैं कि जब तक हम ट्रैक को ठीक नहीं करते और सभी लेन में स्कोरिंग को निष्पक्ष नहीं बनाते, तब तक सबसे अच्छे पेपर्स को केवल इसलिए खारिज किया जा सकता है क्योंकि वे ऐसे विषय पर काम कर रहे हैं जो वर्तमान में "कूल" नहीं है। समाधान जजों को दोष देना नहीं है, बल्कि यह स्वीकार करना है कि हम जिस रूलर का उपयोग कर रहे हैं, वह इस काम के लिए सही आकार का नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।