What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it
यह शोध पत्र यह प्रदर्शित करता है कि जबकि विषम एन्सेम्बल सदस्यों के एक इष्टतम संयोजन का चयन करने से मामूली लाभ प्राप्त होता है, फिर भी यह केवल सर्वश्रेष्ठ एकल परिवार को चुनने से बेहतर प्रदर्शन करने में विफल रहता है, जो यह दर्शाता है कि सुधार की कथित क्षमता काफी हद तक चयन पूर्वाग्रह (सिलेक्शन बायस) का एक कृत्रिम परिणाम है न कि वास्तविक अनछुए प्रदर्शन का।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीन लर्निंग की दुनिया में, जहाँ कंप्यूटर पैटर्न को पहचानना और भविष्यवाणियाँ करना सीखते हैं, एक सामान्य रणनीति है जिसे 'एन्सेम्बल लर्निंग' (ensemble learning) कहा जाता है। कल्पना कीजिए कि विशेषज्ञों की एक टीम एक कठिन पहेली को सुलझाने की कोशिश कर रही है। केवल एक विशेषज्ञ पर निर्भर रहने के बजाय, टीम अधिक सटीक निष्कर्ष पर पहुँचने के लिए कई अलग-अलग व्यक्तियों के उत्तरों को जोड़ती है। यह दृष्टिकोण इसलिए काम करता है क्योंकि एक व्यक्ति की गलतियों को अक्सर समूह के विवेक द्वारा सुधारा जाता है। कभी-कभी, ये टीमें उन सदस्यों से बनी होती हैं जो सोचने के लिए एक ही पद्धति का उपयोग करते हैं, जैसे कि सांख्यिकीविदों का एक समूह। अन्य समय में, टीम मिश्रित होती है, जिसमें उन विशेषज्ञों को लाया जाता है जो पूरी तरह से अलग उपकरणों और दृष्टिकोणों का उपयोग करते हैं। विभिन्न तरीकों के इस मिश्रण को 'हेटरोजीनियस एन्सेम्बल' (heterogeneous ensemble) कहा जाता है। शोधकर्ताओं के लिए केंद्रीय प्रश्न लंबे समय से यह रहा है कि जब संसाधन सीमित हों तो ऐसी टीम को सर्वोत्तम रूप से कैसे बनाया जाए। यदि आपके पास तीन सौ कंप्यूटर मॉडल प्रशिक्षित करने का बजट है, तो आपको पहले प्रकार के विशेषज्ञ पर कितने, दूसरे पर कितने, और तीसरे पर कितने खर्च करने चाहिए? इस आदर्श मिश्रण को खोजने का सही संतुलन बनाना अतिरिक्त प्रदर्शन प्राप्त करने का एक तार्किक तरीका लगता है, और कई शोधकर्ताओं ने उस आदर्श मिश्रण की खोज के लिए जटिल एल्गोरिदम विकसित करने में वर्षों बिताए हैं।
त्राबज़ोन यूनिवर्सिटी के मुहाम्मेटलप एर्डेम का एक नया अध्ययन इस खोज के मूल आधार को ही चुनौती देता है। शोधकर्ता ने यह परीक्षण करने के लिए हाथ लगाया कि क्या विभिन्न मॉडल प्रकारों के सटीक अनुपात की तलाश में खर्च किया गया प्रयास वास्तव में कोई वास्तविक लाभ देता है। ऐसा करने के लिए, उन्होंने चिकित्सा रिकॉर्ड से लेकर वित्तीय डेटा तक, तीस अलग-अलग सार्वजनिक डेटासेट का उपयोग करके एक विशाल प्रयोग बनाया, और परिणामों के केवल संयोग न होने को सुनिश्चित करने के लिए प्रत्येक पर दस बार परीक्षण चलाया। उन्होंने तीन सौ कंप्यूटर मॉडलों की कुल संख्या को स्थिर रखा और उन्हें तीन अलग-अलग लर्निंग एल्गोरिदम परिवारों के बीच विभाजित किया: रैंडम फॉरेस्ट्स (random forests), एक्सट्रीमली रैंडमाइज्ड ट्रीज़ (extremely randomized trees), और बैग्ड नियरेस्ट नेबर्स (bagged nearest neighbors)। ये क्षेत्र के मानक, अच्छी तरह से समझे गए उपकरण हैं। अध्ययन ने तीन सौ मॉडलों के विभाजन का निर्णय लेने के छह अलग-अलग तरीकों की तुलना की। कुछ विधियों ने एक सरल, निश्चित नियम का उपयोग किया, जबकि अन्य ने टेस्ट सेट पर अपने प्रदर्शन के आधार पर सबसे अच्छा संयोजन खोजने के लिए परिष्कृत खोजों का उपयोग किया।
परिणाम स्पष्ट और आश्चर्यजनक थे। अध्ययन ने पुष्टि की कि तीनों प्रकार के मॉडलों का एक निश्चित, समान मिश्रण वाला समूह किसी भी ऐसे तरीके से खराब प्रदर्शन करता था जिसने एक विशिष्ट मिश्रण चुनने की कोशिश की थी। औसतन, केवल एक मिश्रण चुनने की कोशिश करने से एक यादृच्छिक, समान विभाजन की तुलना में सटीकता में लगभग सात-दशमांश प्रतिशत का सुधार हुआ। इसने सिद्ध किया कि टीम की संरचना मायने रखती है। हालाँकि, परफेक्ट संरचना की खोज एक मृत अंत साबित हुई। कोई भी परिष्कृत खोज विधि, जिसमें त्रुटियों को सुचारू बनाने या कई अलग-अलग अनुमानों को औसत निकालने की कोशिश की गई थी, एक बहुत सरल रणनीति को नहीं हरा सकी: एकल सर्वश्रेष्ठ परिवार को चुनना और अपना पूरा बजट उसी एक प्रकार के मॉडल के साथ भरना। वास्तव में, सबसे जटिल खोज विधियों ने केवल एक सर्वश्रेष्ठ परिवार को चुनने के समान ही सांख्यिकीय प्रदर्शन किया। शोधकर्ताओं ने पाया कि विभिन्न मॉडलों के मिश्रण को खोजने का अतिरिक्त प्रयास सटीकता में कोई मापने योग्य लाभ प्रदान नहीं करता है।
यह शोध पत्र आगे जाकर यह समझाने के लिए बताता है कि ऐसा क्यों है, जो यह खुलासा करता है कि सुधार की कथित क्षमता काफी हद तक उस तरीके से उत्पन्न एक भ्रम थी जिससे शोधकर्ता सफलता को मापते हैं। कई अध्ययनों में, "सर्वश्रेष्ठ संभव" परिणाम सभी उम्मीदवार मिश्रणों को देखकर और टेस्ट डेटा पर उच्चतम स्कोर वाले को चुनकर निकाला जाता है। इसे अक्सर 'ओरेकल बाउंड' (oracle bound) कहा जाता है, जो एक सैद्धांतिक सीमा है जिसे वास्तविक दुनिया के तरीकों को छूने का प्रयास करना चाहिए। एर्डेम ने दिखाया कि यह सीमा कृत्रिम रूप से ऊँची है। क्योंकि मॉडलों के विभिन्न मिश्रण एक-दूसरे के बहुत समान होते हैं—सैकड़ों में से केवल कुछ मॉडलों के अंतर से—उनका प्रदर्शन स्कोर अत्यधिक सह-संबंधित और शोर (noisy) से भरा होता है। जब आप शोर वाले, समान अनुमानों के एक बड़े समूह में से अधिकतम स्कोर चुनते हैं, तो आप लगभग निश्चित रूप से एक ऐसी संख्या चुन लेते हैं जो वास्तविक क्षमता से अधिक होती है। अध्ययन ने इस क्षमता को मापने का एक अधिक ईमानदार तरीका पेश किया: टेस्ट डेटा को आधा करना: एक आधे हिस्से का उपयोग सर्वश्रेष्ठ मिश्रण चुनने के लिए करना और दूसरे आधे हिस्से का उपयोग यह देखने के लिए करना कि वह वास्तव में कैसा प्रदर्शन करता है। जब यह अधिक निष्पक्ष परीक्षण लागू किया गया, तो सुधार की कथित "हेडरूम" (headroom) पूरी तरह से गायब हो गई। एक आदर्श मिश्रण खोजने का स्पष्ट लाभ पूरी तरह से 'सिलेक्शन बायस' (selection bias) निकला, जो एक सांख्यिकीय आर्टिफैक्ट है न कि वास्तविक अवसर।
अध्ययन ने यह भी पता लगाया कि क्या टीम में अधिक विविधता जोड़ने से परिणाम बदल जाएगा। शोधकर्ताओं ने एक चौथा प्रकार का मॉडल, एक लीनियर फैमिली (linear family), जोड़ा ताकि यह देखा जा सके कि क्या विविध समूह का मिश्रण अधिक सार्थक होगा। इस अतिरिक्त विविधता के साथ भी, परिणाम स्थिर रहे। हालांकि मिश्रणों के बीच संभावित अंतर थोड़ा बढ़ गया, फिर भी जटिल खोज विधियां एकल सर्वश्रेष्ठ परिवार को चुनने की सरल रणनीति को नहीं हरा सकीं। वास्तव में, जैसे-जैसे संभावित मिश्रणों की संख्या बढ़ी, एक आदर्श मिश्रण खोजने का स्पष्ट लाभ बढ़ता गया, लेकिन ईमानदार, वास्तविक दुनिया का लाभ नकारात्मक बना रहा। इसने पुष्टि की कि समस्या मॉडलों की विविधता की कमी नहीं थी, बल्कि डेटा के शोर के बीच बहुत समान विकल्पों के बीच अंतर करने की मौलिक कठिनाई थी। प्रदर्शन का परिदृश्य एक तीखी चोटी नहीं है जहाँ एक विशिष्ट मिश्रण स्पष्ट रूप से उभरता है; यह एक विस्तृत, सपाट पठार है जहाँ कई अलग-अलग मिश्रण लगभग एक समान प्रदर्शन करते हैं, और उनके बीच के सूक्ष्म अंतर आसानी से रैंडम शोर में दब जाते हैं।
इन कंप्यूटर मॉडलों को बनाने वाले किसी भी व्यक्ति के लिए, व्यावहारिक सलाह सीधी है। विभिन्न मॉडल प्रकारों के सटीक अनुपात की गणना करने में समय या इंजीनियरिंग प्रयास बर्बाद न करें। इसके बजाय, उपलब्ध मॉडलों के एकल सर्वश्रेष्ठ परिवार को चुनें और अपना पूरा बजट केवल उसी एक प्रकार का एक बड़ा दल बनाने में उपयोग करें। एकमात्र विकल्प जो वास्तव में मायने रखता है, वह है सभी का एक डिफ़ॉल्ट, समान मिश्रण से बचना, जो विश्वसनीय रूप से सबसे खराब विकल्प है। अध्ययन सुझाव देता है कि एन्सेम्बल लर्निंग का क्षेत्र एक भ्रम का पीछा कर रहा है। यह विश्वास कि आदर्श संरचना के लिए एक जटिल खोज आवश्यक है, एक माप त्रुटि पर आधारित है जो संभावित लाभों को बढ़ा-चढ़ाकर दिखाती है। अधिक कठोर परीक्षण पद्धति का उपयोग करके, शोध दिखाता है कि बेहतर मिश्रण का संकेत अक्सर डेटा के शोर के ऊपर पाया जाने वाला बहुत कमजोर संकेत है। आगे बढ़ने का सबसे प्रभावी मार्ग एक जटिल संयोजन की खोज करना नहीं है, बल्कि सबसे मजबूत एकल उपकरण को चुनना और उसका पूर्ण उपयोग करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।