A Lightweight Calibration-Selection Policy After a Probe Fit for Selective Classification on OpenML Tabular Tasks

मशीन लर्निंग की दुनिया में, कंप्यूटर को अक्सर डेटा में पैटर्न खोजने के माध्यम से भविष्यवाणियां करना सिखाया जाता है। एक बार जब कोई मॉडल सही उत्तर का अनुमान लगाना सीख जाता है, तो वह आमतौर पर अपने उस अनुमान के बारे में अपनी निश्चितता को दर्शाने के लिए एक संख्या निर्धारित करता है। लंबे समय तक, शोधकर्ताओं ने यह माना कि इन आत्मविश्वास संख्याओं (confidence numbers) को अधिक सटीक बनाना हमेशा एक अच्छी बात होती है। उन्होंने 'कैलिब्रेशन' (calibration) नामक एक प्रक्रिया को एक मानक अंतिम चरण के रूप में माना, जैसे कि छवि को स्पष्ट करने के लिए लेंस को पॉलिश करना। उम्मीद यह थी कि यदि कंप्यूटर की आत्मविश्वास संख्याएं वास्तविकता के साथ अधिक निकटता से मेल खाती हैं, तो सिस्टम इस बारे में अधिक समझदार हो जाएगा कि कब बोलना है और कब चुप रहना है। चुप रहने की यह क्षमता, जिसे 'अब्स्टेंशन' (abstention) कहा जाता है, उन उच्च-जोखिम वाली स्थितियों में महत्वपूर्ण है जहाँ गलत अनुमान लगाना, कोई अनुमान न लगाने से कहीं अधिक बुरा होता है। यदि एक चिकित्सा नैदानिक उपकरण (medical diagnostic tool) अनिश्चित है, तो उसके लिए यह बेहतर है कि वह अपनी अनिश्चितता स्वीकार करे और मदद के लिए किसी इंसान से पूछे, बजाय इसके कि वह आत्मविश्वास के साथ गलत निदान दे दे।

हालाँकि, एक नया अध्ययन बताता है कि यह मानक पॉलिशिंग चरण हमेशा मददगार नहीं हो सकता है, और कभी-कभी तब चीज़ों को बदतर बना सकता है जब लक्ष्य यह जानना हो कि कब चुप रहना है। शंघाई डियानजी यूनिवर्सिटी के शोधकर्ताओं ने जांच की कि क्या यह स्वचालित पॉलिशिंग वास्तव में डेटा की तालिकाओं से जुड़े एक विशिष्ट प्रकार के कंप्यूटर कार्य के लिए वास्तव में फायदेमंद है। उन्होंने पंद्रह अलग-अलग वास्तविक समस्याओं का एक संग्रह देखा, जिसमें हस्तलिखित अंकों की पहचान करने से लेकर मिट्टी के प्रकारों को वर्गीकृत करने तक शामिल थे। उन्होंने परीक्षण किया कि क्या कंप्यूटर के आत्मविश्वास स्कोर पर एक गणितीय सुधार लागू करने से वास्तव में सिस्टम की चुप रहने (abstain करने) का निर्णय लेने की क्षमता में सुधार हुआ। उन्होंने एक आश्चर्यजनक विसंगति पाई: जबकि इस सुधार ने औसत रूप से आत्मविश्वास संख्याओं को अधिक सटीक बनाया, लेकिन इसने अक्सर उन संख्याओं की रैंकिंग को इस तरह से बिगाड़ दिया जिससे सिस्टम की पीछे हटने की क्षमता को नुकसान पहुँचा। संक्षेप में, संख्याओं को अधिक सटीक बनाने का मतलब यह नहीं था कि बोलने या चुप रहने का निर्णय अपने आप बेहतर हो गया।

यह समझने के लिए कि यह क्यों मायने रखता है, कल्पना करें कि एक मौसम विज्ञानी जो बारिश की भविष्यवाणी करने में बहुत अच्छा है लेकिन कभी-कभी घटनाओं का क्रम गलत कर देता है। यदि वे कहते हैं कि सोमवार को बारिश की 90 प्रतिशत संभावना है और मंगलवार को 95 प्रतिशत, लेकिन कंप्यूटर की आंतरिक रैंकिंग सुझाव देती है कि मंगलवार सोमवार की तुलना में कम संभावित है, तो एक सिस्टम जो चेतावनी जारी करने का निर्णय लेने के लिए उस रैंकिंग पर निर्भर करता है, विफल हो सकता है। शोधकर्ताओं ने इसी समस्या का अध्ययन करने के लिए पूर्व-प्रशिक्षित (pre-trained) कंप्यूटर मॉडल लिए और इन पंद्रह डेटा सेटों पर उनका परीक्षण किया। उन्होंने मॉडलों के मूल, बिना पॉलिश किए गए आत्मविश्वास स्कोरों की तुलना दो अलग-अलग गणितीय विधियों द्वारा समायोजित संस्करणों से की। एक विधि ने केवल आत्मविश्वास पैमाने को खींचा या सिकोड़ा, जबकि दूसरी ने कई संभावित परिणामों को संभालने के लिए एक अधिक जटिल रूपांतरण लागू किया। उन्होंने दो चीजें मापीं: कैसे अंतिम संख्याएं सच्चाई से मेल खाती हैं, और सिस्टम ने भविष्यवाणी करने और कब रुकने का निर्णय लेने के कार्य में कैसा प्रदर्शन किया।

परिणामों ने इन दो लक्ष्यों के बीच एक स्पष्ट तनाव दिखाया। औसतन, समायोजित मॉडलों ने बेहतर संभाव्यता संख्याएँ उत्पन्न कीं, जिसका अर्थ है कि आत्मविश्वास स्कोर सही उत्तरों की वास्तविक आवृत्ति के करीब थे। हालांकि, इस सटीकता में सुधार एक कीमत पर आया। लगभग आधे मामलों में, समायोजन ने वास्तव में सिस्टम को यह तय करने में बदतर बना दिया कि कब रुकना है। शोधकर्ताओं ने पाया कि गणितीय परिवर्तनों ने, संख्याओं को ठीक करते हुए, भविष्यवाणियों के क्रम को इस तरह से बदल दिया जिसने रुकने के नियम को भ्रमित कर दिया। एक मॉडल जो मूल रूप से यह जानने में अच्छा था कि कौन से उदाहरण कठिन हैं, उसे फिर से रैंक किया गया होगा ताकि कठिन उदाहरण आसान दिखने लगें, जिससे सिस्टम ऐसी आत्मविश्वासी गलतियाँ करने लगा जिनसे उसे बचना चाहिए था। यह खोज इस विचार को चुनौती देती है कि कैलिब्रेशन एक सार्वभौमिक समाधान है जिसे बिना किसी प्रश्न के हर मॉडल पर लागू किया जाना चाहिए।

इन सुधारों को अंधाधुंध लागू करने के बजाय, लेखकों ने एक स्मार्ट, हल्का दृष्टिकोण प्रस्तावित किया। उन्होंने एक सरल निर्णय लेने वाला उपकरण विकसित किया जो एक द्वारपाल (gatekeeper) के रूप में कार्य करता है। मॉडल के उपयोग से पहले, यह उपकरण डेटा के एक छोटे नमूने से विशिष्ट संकेतों की जाँच करता है ताकि यह तय किया जा सके कि क्या समायोजन रखना सार्थक है। यह देखता है कि समायोजन ने आत्मविश्वास स्कोर को कैसे बदला और क्या उन परिवर्तनों ने भविष्यवाणियों की रैंकिंग में मदद की या नुकसान पहुँचाया। यदि संकेत बताते हैं कि समायोजन सिस्टम की सही ढंग से रुकने की क्षमता में सुधार करेगा, तो यह उपकरण सुधार को रखता है। यदि संकेत बताते हैं कि इससे भ्रम पैदा होगा, तो यह उपकरण सुधार को हटा देता है और मूल, असंबोधित मॉडल के साथ रहता है। यह रणनीति सिस्टम को कैलिब्रेशन के लाभों को बनाए रखने की अनुमति देती है जब वे सहायक हों, जबकि वे खामियों से बचती है जब वे नहीं होते।

शोधकर्ताओं ने इसी गेटकीपर का परीक्षण उन्हीं पंद्रह डेटा सेटों पर किया और पाया कि यह अच्छी तरह से काम करता है। उपकरण ने समायोजन लागू करने के सही क्षणों को लगभग 56 प्रतिशत समय सफलतापूर्वक पहचाना। जब इसने एक विकल्प चुना, तो सिस्टम ने अपने समग्र प्रदर्शन में एक छोटा लेकिन सार्थक सुधार देखा, जिससे हमेशा सुधार लागू करने की तुलना में गलत निर्णय लेने की संख्या में काफी कमी आई। शोधकर्ताओं ने विभिन्न प्रकार के गेटकीपर्स की भी तुलना की, जिसमें एक सरल रैखिक मॉडल (linear model) बनाम एक अधिक जटिल पेड़ जैसी संरचना (tree-like structure) का परीक्षण किया गया। उन्होंने पाया कि सरल, रैखिक मॉडल वास्तव में बेहतर विकल्प था, जो विभिन्न कार्यों में अधिक सुसंगत रूप से प्रदर्शन करता था। यह सुझाव देता है कि एक सीधा चेक अक्सर सही निर्णय लेने के लिए पर्याप्त होता है, बिना किसी जटिल प्रणाली की आवश्यकता के।

ये निष्कर्ष उन लोगों के लिए एक व्यावहारिक सबक देते हैं जो ऐसे सिस्टम बना रहे हैं जिन्हें यह जानने की आवश्यकता है कि कब चुप रहना है। अध्ययन यह नहीं कहता कि आत्मविश्वास स्कोर को समायोजित करना बुरा है; बल्कि, यह दिखाता है कि उन्हें समायोजित करने का निर्णय स्वचालित नहीं होना चाहिए। सटीक संख्याएं रखने और कब बोलना है इसके बारे में अच्छा निर्णय लेने के बीच का संबंध एक सीधी रेखा नहीं है। कभी-कभी, संख्याओं को अधिक सटीक बनाना वास्तव में उन संकेतों को छिपा सकता है जिनकी आवश्यकता एक सिस्टम को यह जानने के लिए होती है कि कब रुकना है। एक हल्के चेक का उपयोग करके यह तय करना कि क्या सुधार को रखना है, डेवलपर्स को अपने सिस्टम को कम विश्वसनीय बनाने के जोखिम से बचा सकता है। यह दृष्टिकोण कैलिब्रेशन को एक अनिवार्य अंतिम चरण के रूप में नहीं, बल्कि एक सशर्त उपकरण के रूप में मानता है जिसका उपयोग केवल तभी किया जाता है जब साक्ष्य वास्तव में इसकी सहायता का सुझाव देते हैं।

शोधकर्ता इस बात पर ध्यान देने में सावधानी बरतते हैं कि उनके निष्कर्ष एक विशिष्ट डेटा सेट और समायोजन की दो विशिष्ट विधियों पर आधारित हैं। उन्होंने डेटा के हर प्रकार या आत्मविश्वास स्कोर को समायोजित करने के हर संभावित तरीके का परीक्षण नहीं किया। उनके परिणाम उनके द्वारा अध्ययन किए गए पंद्रह डेटा सेटों के लिए विशिष्ट हैं, जिनमें अक्षरों को पहचानने और मिट्टी के नमूनों को छाँटने जैसे कार्य शामिल थे। उन्होंने यह भी नोट किया कि रुकने की क्षमता में सुधार, हालांकि सांख्यिकीय रूप से महत्वपूर्ण था, पूर्ण शब्दों में छोटा था। इसका अर्थ है कि जबकि यह विधि काम करती है, यह कोई जादुई समाधान नहीं है जो हर समस्या को हल कर देगा। इसका मूल्य बड़े लाभ प्राप्त करने के बजाय नुकसान से बचने की क्षमता में निहित है। यह अध्ययन एक अनुस्मारक के रूप में कार्य करता है कि जटिल प्रणालियों में, बेहतर प्रदर्शन का मार्ग अक्सर यह जानने के बारे में होता है कि कब रुकना है और कब आगे बढ़ना है, न कि केवल एक दिशा में ज़ोर लगाने के बारे में।

अंततः, यह कार्य चर्चा को इस बात से बदलकर कि क्या कैलिब्रेट करें, इस पर ले जाता है कि कब कैलिब्रेट करें। यह सुझाव देता है कि सबसे अच्छा अभ्यास एक छोटे नमूने पर समायोजन को फिट करना, परिणामों की जाँच करना और फिर यह तय करना है कि क्या इसे रखना है। यह "फिट और चेक" (fit and check) विधि यह मानने की तुलना में अधिक विश्वसनीय है कि समायोजन हमेशा अच्छा या हमेशा बुरा होता है। निर्णय को एक निश्चित नियम के बजाय एक सशर्त विकल्प के रूप में मानकर, शोधकर्ताओं ने मशीन लर्निंग सिस्टम को उन स्थितियों में अधिक मजबूत बनाने का एक तरीका प्रदान किया है जहाँ गलत होना महंगा होता है। अध्ययन इस बात की पुष्टि करता है कि जबकि कंप्यूटरों को अधिक सटीक होना सिखाया जा सकता है, वह सटीकता हमेशा बेहतर निर्णय लेने में अनुवादित नहीं होती है, और डिज़ाइन प्रक्रिया में थोड़ी मानवीय सावधानी बहुत काम आ सकती है।