Lost in Aggregation: How Benchmarks Overlook Irreplaceable Model Strengths
यह शोध पत्र तर्क देता है कि वर्तमान सारणीबद्ध (tabular) मशीन लर्निंग बेंचमार्क, जो निरंतरता को प्राथमिकता देने वाले संकलित मेट्रिक्स पर निर्भर करते हैं, डेटासेट-विशिष्ट अपूरणीय शक्तियों की अनदेखी करते हैं, और व्यक्तिगत डेटासेट्स में शिखर प्रदर्शन की सीमा का विस्तार करने की क्षमता के आधार पर मॉडलों का मूल्यांकन करने का प्रस्ताव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीन लर्निंग की दुनिया में, वैज्ञानिक लगातार ऐसे नए कंप्यूटर प्रोग्राम बनाने के लिए प्रयास करते हैं जो डेटा में पैटर्न खोजने के लिए डिज़ाइन किए गए हों। ये प्रोग्राम, जिन्हें अक्सर 'मॉडल' कहा जाता है, वास्तविक दुनिया की समस्याओं के एक विशाल संग्रह के विरुद्ध परीक्षण किए जाते हैं, जिनमें ग्राहक उत्पाद खरीदेगा या नहीं इसकी भविष्यवाणी करने से लेकर चिकित्सा स्थिति का निदान करने तक की समस्याएं शामिल हैं। यह तय करने के लिए कि कौन सा प्रोग्राम सबसे अच्छा है, शोधकर्ता पारंपरिक रूप से एक सरल पद्धति पर भरोसा करते हैं: वे प्रत्येक मॉडल को प्रत्येक डेटासेट पर चलाते हैं, प्रत्येक के लिए एक स्कोर की गणना करते हैं, और फिर उन स्कोर का औसत निकाल लेते हैं। यह औसत एक अंतिम ग्रेड की तरह कार्य करता है, जो समुदाय को बताता है कि कौन सा मॉडल सबसे भरोसेमंद 'ऑल-राउंडर' है। यह एक व्यावहारिक दृष्टिकोण है जो एक सुरक्षित, डिफ़ॉल्ट विकल्प खोजने के लिए है जो लगभग हर चीज़ पर अच्छी तरह से काम कर सके। हालाँकि, औसत निकालने की यह विधि एक महत्वपूर्ण विवरण को छिपा देती है। जिस तरह एक छात्र जिसे हर परीक्षा में 'B' ग्रेड मिलता है, उसका औसत उस छात्र से अधिक हो सकता है जिसे एक कठिन परीक्षा में 'A' और दूसरी में 'C' ग्रेड मिला हो, उसी तरह औसत स्कोर इस तथ्य को छिपा सकता है कि एक विशिष्ट मॉडल ही किसी विशेष, कठिन समस्या को हल करने में सक्षम एकमात्र मॉडल हो सकता है।
हाल ही में शोधकर्ताओं की एक टीम ने तर्क दिया कि मॉडल को रैंक करने का यह पारंपरिक तरीका कहानी के सबसे दिलचस्प हिस्से को छोड़ रहा है। स्ट्रक्चर्ड डेटा पर आयोजित एक वर्कशॉप में प्रस्तुत एक अध्ययन में, उन्होंने डेटा को औसत के चश्मे से नहीं, बल्कि "पीक परफॉर्मेंस फ्रंटियर" (चरम प्रदर्शन सीमा) के चश्मे से देखने का प्रस्ताव दिया। एक मानचित्र की कल्पना करें जहाँ प्रत्येक पर्वत का उच्चतम बिंदु उस विशिष्ट समस्या पर एक कंप्यूटर द्वारा प्राप्त किए जा सकने वाले सर्वोत्तम संभव परिणाम का प्रतिनिधित्व करता है। शोधकर्ताओं ने एक अलग प्रश्न पूछा: कौन से मॉडल वास्तव में उस उच्चतम शिखर पर खड़े हैं? उन्होंने पाया कि मानक रैंकिंग सिस्टम, जो सबसे सुसंगत प्रदर्शन करने वालों को खोजने के लिए डिज़ाइन किए गए हैं, अक्सर उन मॉडलों की अनदेखी कर देते हैं जो विशिष्ट, कठिन डेटासेट पर उच्चतम स्तर तक पहुँचने में अद्वितीय रूप से सक्षम होते हैं। इसके बजाय, ये सिस्टम उन मॉडलों को पुरस्कृत करते हैं जो हर जगह केवल ठीक-ठाक प्रदर्शन करते हैं, भले ही वे कभी भी किसी भी चीज़ में पूर्णतः सर्वश्रेष्ठ न रहे हों।
इसकी जांच करने के लिए, शोधकर्ताओं ने एक बड़े, जीवित बेंचमार्क 'TabArena' के परिणामों का परीक्षण किया, जो वर्तमान में पचास एक सावधानीपूर्वक चुने गए डेटासेट्स पर सत्ताईस विभिन्न मॉडलों को ट्रैक करता है। उन्होंने प्रत्येक मॉडल के प्रत्येक विशिष्ट डेटासेट पर प्रदर्शन को वर्गीकृत करने का एक नया तरीका विकसित किया। केवल एक संख्या देखने के बजाय, उन्होंने चार अलग-अलग प्रश्न पूछे। पहला, क्या यह मॉडल इस डेटासेट पर उच्चतम संभव स्कोर तक पहुँचने वाला एकमात्र मॉडल है? यदि हाँ, तो यह "अपूरणीय" (irreplaceable) है। दूसरा, क्या इसने उच्चतम स्कोर प्राप्त किया, भले ही अन्य मॉडलों ने भी ऐसा किया हो? यदि हाँ, तो यह "पर्याप्त" (sufficient) है। तीसरा, क्या यह शीर्ष तक पहुँचने में विफल रहा लेकिन फिर भी अच्छा प्रदर्शन किया? यदि हाँ, तो यह "अनावश्यक" (redundant) है। अंत में, क्या इसने सामान्य मॉडल की तुलना में काफी खराब प्रदर्शन किया? यदि हाँ, तो यह "भ्रमित करने योग्य/दोषपूर्ण" (fallible) है। इन श्रेणियों को लागू करके, वे मॉडल की ताकत के वास्तविक परिदृश्य को देख सके, जिससे हर चीज़ में अच्छे मॉडलों और विशिष्ट कार्यों के लिए आवश्यक मॉडलों के बीच अंतर स्पष्ट हो सका।
विश्लेषण ने मानक रैंकिंग और मॉडलों की वास्तविक क्षमताओं के बीच एक आश्चर्यजनक विच्छेद को प्रकट किया। पारंपरिक मेट्रिक्स, जैसे कि औसत रैंक या जीत की दर, पाया गया कि वे एक-दूसरे के साथ अत्यधिक सह-संबंधित हैं, जो अनिवार्य रूप से एक ही चीज़ को माप रहे हैं: निरंतरता और विफलता से बचने की क्षमता। एक मॉडल जो हर एक डेटासेट पर ठीक-ठाक प्रदर्शन करता है, बिना कभी भी पूर्णतः सर्वश्रेष्ठ हुए, अक्सर इन पारंपरिक लीडरबोर्ड्स में ऊपर चढ़ जाता है। इसके विपरीत, वे मॉडल जिनके पास विशिष्ट समस्याओं को किसी और की तुलना में बेहतर ढंग से हल करने की अनूठी क्षमताएं हैं, उन्हें औसत निकाला जाने पर औसत दर्जे का दिखाया जाता है। उदाहरण के लिए, एक मॉडल जो पारंपरिक लीडरबोर्ड पर पहले स्थान पर था, पाया गया कि वह किसी भी डेटासेट पर एकमात्र सर्वश्रेष्ठ विकल्प नहीं था; उसकी वास्तविक ताकत खराब परिणामों से बचने में थी न कि चरम प्रदर्शन प्राप्त करने में। इसके विपरीत, कई अन्य मॉडल जो मानक सूची में नीचे रैंक थे, उन्हें कई विशिष्ट डेटासेट्स पर चरम प्रदर्शन तक पहुँचने में सक्षम एकमात्र मॉडल पाया गया।
यह निष्कर्ष बताता है कि मशीन लर्निंग में प्रगति को मापने का वर्तमान तरीका अधूरा है। शोधकर्ताओं ने प्रदर्शित किया कि सामान्य एग्रीगेशन मेट्रिक्स एक 'मजबूत डिफ़ॉल्ट मॉडल' की पहचान करने में तो बहुत बेहतर हैं, लेकिन वे यह पहचानने में सक्षम नहीं हैं कि किन मॉडलों की आवश्यकता सर्वोत्तम परिणामों को प्राप्त करने के लिए है। उन्होंने पाया कि विश्लेषण किए गए सत्ताईस मॉडलों में से नौ "अपूरणीय" थे, जिसका अर्थ है कि प्रत्येक एक कम से कम एक डेटासेट पर चरम प्रदर्शन तक पहुँचने वाला एकमात्र मॉडल था। यह इंगित करता है कि इन मॉडलों के पास सीखने के अनूठे तरीके हैं जो विशिष्ट प्रकार के डेटा के लिए फायदेमंद हैं, एक ऐसी सूक्ष्मता जो स्कोर को केवल औसत निकालने पर पूरी तरह से खो जाती है। अध्ययन ने यह भी दिखाया कि मानक मेट्रिक्स विफलता से बचने की ओर अत्यधिक झुके हुए हैं; एक मॉडल जो कुछ डेटासेट्स पर खराब प्रदर्शन करता है, उसे काफी नीचे खींचा जा सकता है, जबकि एक मॉडल जो कुछ डेटासेट्स पर सर्वश्रेष्ठ है लेकिन बाकी पर औसत है, उसे पर्याप्त पुरस्कार नहीं मिलता है।
इस कार्य के निहितार्थ महत्वपूर्ण हैं। शोधकर्ता सुझाव देते हैं कि बेंचमार्किंग को न केवल यह पूछना चाहिए कि क्या एक नया मॉडल औसत स्कोर में सुधार करता है, बल्कि यह भी कि क्या वह प्राप्त करने योग्य चरम प्रदर्शनों के सेट का विस्तार करता है। यदि एक नया मॉडल उस समस्या को हल कर सकता है जिसे कोई अन्य मॉडल नहीं कर सकता, तो यह एक वास्तविक प्रगति है, भले ही उसका औसत स्कोर उच्चतम न हो। "एक अच्छा डिफ़ॉल्ट" और "अपूरणीय शक्ति" की अवधारणाओं को अलग करके, शोधकर्ता अत्याधुनिक स्थिति की एक स्पष्ट तस्वीर प्रदान करते हैं। वे तर्क देते हैं कि क्षेत्र को उन मॉडलों का जश्न मनाना चाहिए जो अद्वितीय क्षमताएं प्रदान करते हैं, न कि केवल उन मॉडलों का जो लगातार सुरक्षित रहते हैं। यह दृष्टिकोण यह पहचानने में मदद करता है कि विशिष्ट, कठिन समस्याओं को हल करने के लिए कौन से मॉडल वास्तव में आवश्यक हैं, जिससे यह सुनिश्चित होता है कि सबसे नवीन और सक्षम उपकरणों को केवल इसलिए अनदेखा न किया जाए क्योंकि वे सबसे सुसंगत नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।