Selective Prediction Under Distribution Shift: The Failure of Threshold Transfer
यह अध्ययन प्रदर्शित करता है कि मानक थ्रेशोल्ड-आधारित चयनात्मक भविष्यवाणी वितरण बदलाव (डिस्ट्रीब्यूशन शिफ्ट) के तहत विफल हो जाती है क्योंकि स्वच्छ डेटा पर निर्धारित इष्टतम कटऑफ दूषित या वास्तविक दुनिया के डेटा पर स्थानांतरित नहीं होता है, जिससे सांख्यिकीय रूप से वैध स्टॉपिंग नियम स्थापित करने के लिए नए लेबल वाले डेटा के उपयोग की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक कंप्यूटर प्रोग्राम की कल्पना करें जिसे तस्वीरों में वस्तुओं को पहचानने के लिए प्रशिक्षित किया गया है। एक आदर्श दुनिया में, यह प्रोग्राम हमेशा सही होगा। लेकिन वास्तविक दुनिया अव्यवस्थित है। कैमरे पर बारिश की एक बूंद गिर सकती है, एक फोटो कम रोशनी में ली जा सकती है, या किसी वस्तु को एक अजीब कोण से देखा जा सकता है। जब कंप्यूटर द्वारा देखी जाने वाली तस्वीरें उन तस्वीरों से अलग दिखने लगती हैं जिनका उसने प्रशिक्षण के दौरान अध्ययन किया था, तो प्रोग्राम अक्सर भ्रमित हो जाता है। वह अभी भी एक उत्तर दे सकता है, लेकिन वह उत्तर गलत होने की संभावना होती है। इसे संभालने के लिए, शोधकर्ताओं ने एक सुरक्षा वाल्व विकसित किया है: वे कंप्यूटर को यह कहने की अनुमति देते हैं कि, "मुझे नहीं पता।" यदि प्रोग्राम पर्याप्त आश्वस्त नहीं है, तो वह अनुमान लगाने के बजाय चुप रहता है। इसे 'चयनात्मक भविष्यवाणी' (selective prediction) कहा जाता है। लक्ष्य सरल है: एक ऐसा नियम निर्धारित करना जो कंप्यूटर को बताता है कि कब बोलना है और कब चुप रहना है, यह सुनिश्चित करते हुए कि जब भी वह बोले, तो वह अधिकांश समय सही हो।
वर्षों से, इस नियम को निर्धारित करने का मानक तरीका यह रहा है कि कंप्यूटर का परीक्षण साफ, आदर्श तस्वीरों पर किया जाए। शोधकर्ता एक ऐसा आत्मविश्वास स्तर चुनते हैं जो उन साफ तस्वीरों के लिए काम करता है, जैसे कि एक ऐसी सेटिंग जो गारंटी देती है कि जब कंप्यूटर बोलेगा तो वह केवल 5% बार गलत होगा। फिर वे उसी सेटिंग को वास्तविक दुनिया में भेज देते हैं, यह मानकर कि यह धुंधली या विकृत तस्वीरों के साथ भी कायम रहेगी। सी.वी. रमन ग्लोबल यूनिवर्सिटी के श्याम अहमद का एक नया अध्ययन इस धारणा को चुनौती देता है। यह शोध एक सीधा प्रश्न पूछता है: क्या एक नियम जो साफ डेटा पर काम करता है, वह तब भी काम करता है जब डेटा बदल जाता है? उत्तर स्पष्ट रूप से 'नहीं' है। अध्ययन बताता है कि नियम वास्तविक दुनिया की स्थितियों में पूरी तरह से टूट जाता है, जिससे अक्सर वादे की तुलना में त्रुटि दर बहुत अधिक हो जाती है, जबकि कंप्यूटर उन तस्वीरों पर भी आत्मविश्वास से बोलता रहता है जिन्हें उसे अस्वीकार कर देना चाहिए था।
शोधकर्ताओं ने इस विचार का परीक्षण छवियों के एक मानक सेट और दो अलग-अलग प्रकार के कंप्यूटर विजन मॉडल का उपयोग करके किया। उन्होंने पहले मॉडलों को साफ तस्वीरों पर प्रशिक्षित किया और फिर उन्हें विभिन्न प्रकार के नुकसानों के अधीन किया, जैसे कि छवियों में शोर (noise) जोड़ना, छवि को धुंधला करना, या रंगों को बदलना। उन्होंने मॉडलों का परीक्षण छवियों के एक नए सेट पर भी किया जो प्रशिक्षण डेटा से थोड़ा अलग दिखता था, जो उस धीमी गिरावट (drift) की नकल करता है जो महीनों तक क्षेत्र में उपयोग किए जाने पर एक सिस्टम के साथ होती है। प्रत्येक मामले में, उन्होंने वही नियम लागू किया जो साफ डेटा पर चुना गया था। परिणाम चौंकाने वाले थे। जब शोधकर्ताओं ने 5% त्रुटि का लक्ष्य रखा, तो क्षतिग्रस्त छवियों पर वास्तविक त्रुटि दर सबसे खराब मामलों में 42% और 45% के बीच पहुंच गई। दूसरे शब्दों में, कंप्यूटर लगभग आधी बार गलत था, भले ही नियम ने वादा किया था कि वह केवल 5% बार गलत होगा। समस्या और भी बदतर हो गई जब उन्होंने अधिक सख्त होने की कोशिश की। यदि वे 1% त्रुटि दर का लक्ष्य रखते, तो वास्तविक त्रुटि वादे से लगभग 20 गुना अधिक हो गई।
कोई सोच सकता है कि क्या कंप्यूटर केवल अपने आत्मविश्वास को रैंक करने में खराब हो गया है। शायद वह तस्वीरों को गलत तरीके से क्रमबद्ध कर रहा था, आसान वाली को ऊपर और कठिन वाली को नीचे रख रहा था, लेकिन सही रेखा खींचने में विफल रहा। इस परीक्षण के लिए, शोधकर्ताओं ने समस्या को दो भागों में विभाजित किया। पहला भाग रैंकिंग है: कंप्यूटर तस्वीरों को "सबसे निश्चित" से "सबसे कम निश्चित" के क्रम में कितनी अच्छी तरह व्यवस्थित करता है। दूसरा भाग रुकने का नियम (stopping rule) है: यह तय करने के लिए कि कब रुकना है, रेखा कहाँ खींची जाए। उन्होंने पाया कि रैंकिंग वास्तव में काफी अच्छी थी। आत्मविश्वास मापने के चार अलग-अलग तरीकों ने लगभग एक जैसा क्रम प्रस्तुत किया। कंप्यूटर जानता था कि कौन सी तस्वीरें दूसरों की तुलना में कठिन हैं। विफलता पूरी तरह से दूसरे भाग में थी। साफ डेटा पर खींची गई रेखा, वास्तव में अस्त-व्यस्त डेटा के लिए गलत जगह पर थी। इसने बहुत अधिक कठिन तस्वीरों को अंदर आने दिया, उन्हें ऐसे स्वीकार कर लिया जैसे कि वे आसान हों, जिससे त्रुटि दर विस्फोट की तरह बढ़ गई।
अध्ययन ने यह भी देखा कि क्या मौजूदा तरकीबें बिना नई जानकारी के इसे ठीक कर सकती हैं। कुछ विधियाँ सही उत्तर देखे बिना नए डेटा की त्रुटि दर का अनुमान लगाने की कोशिश करती हैं, इस उम्मीद में कि वे नियम को स्वचालित रूप से समायोजित कर सकें। शोधकर्ताओं ने इन प्रकाशित विधियों में से दो का परीक्षण किया। दोनों में से कोई भी काम नहीं आया। उन्होंने त्रुटि को थोड़ा कम किया लेकिन समस्या को ठीक नहीं किया, और दोनों एक बहुत ही सरल नियम से भी खराब प्रदर्शन करते थे जो केवल औसत आत्मविश्वास के आधार पर अनुमान लगाता है। समस्या को वास्तव में ठीक करने का एकमात्र तरीका अस्त-व्यस्त वातावरण से थोड़े से नए, लेबल किए गए डेटा का उपयोग करना था। कंप्यूटर को उन नई तस्वीरों के कुछ सौ या कुछ हजार उदाहरण उनके सही उत्तरों के साथ दिखाकर, शोधकर्ता एक नया रुकने का नियम पा सके जो वास्तव में सुरक्षा लक्ष्य को पूरा करता था। हालांकि, इस सुधार के साथ एक भारी कीमत भी आती है। डेटा में मामूली बदलाव के तहत, उन्हें एक विश्वसनीय नियम प्राप्त करने के लिए लगभग 800 लेबल किए गए उदाहरणों की आवश्यकता थी। तीव्र भ्रष्टाचार (strong corruption) के तहत, उन्हें 4,000 से अधिक की आवश्यकता थी। यह एक कठिन स्थिति पैदा करता है: डेटा जितना अधिक बदलता है, सुरक्षित रहने के लिए उतने ही अधिक लेबल किए गए उदाहरणों की आवश्यकता होती है, फिर भी लेबल किए गए उदाहरण तब सबसे कठिन होते हैं जब डेटा सबसे अधिक बदल रहा होता है।
इस निष्कर्ष के निहितार्थ व्यावहारिक और तत्काल हैं। यह सुझाव देता है कि केवल आदर्श स्थितियों के लिए डिज़ाइन किए गए नियम को वास्तविक दुनिया में लागू करना खतरनाक है। यदि डेटा बदल गया है, तो सुरक्षा का वादा एक भ्रम है। शोधकर्ता निष्कर्ष निकालते हैं कि यदि एक सिस्टम ऑपरेटर क्षेत्र से नए डेटा को लेबल करने का खर्च नहीं उठा सकता है, तो उसे त्रुटि दर के बारे में कोई विशिष्ट वादा ही नहीं करना चाहिए। एक ऐसा लक्ष्य बताना जिसे निभाया न जा सके, कुछ भी न बताने से भी बदतर है, क्योंकि यह सुरक्षा की झूठी भावना देता है। अध्ययन कोई ऐसा 'जादुई समाधान' पेश नहीं करता है जो बिना लागत के इस समस्या को हल कर सके, लेकिन यह एक बड़े गलतफहमी को दूर कर देता है। यह दिखाता है कि विफलता कंप्यूटर की कठिनाई को आंकने की क्षमता में नहीं, बल्कि बोलने का निर्णय लेने वाले कठोर नियम में है। आगे का रास्ता यह स्वीकार करने की मांग करता है कि जब वातावरण बदलता है, तो खेल के नियम भी बदल जाते हैं, और एक बदलती दुनिया में सुरक्षा के वादे को बनाए रखने के लिए नई जानकारी की कीमत चुकानी पड़ती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।