An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection
यह शोध पत्र वितरण पृथक्करण के लिए KL डाइवर्जेंस और संपीड़न के लिए इंफॉर्मेशन बॉटलनेक सिद्धांत को संयोजित करने वाले एक लॉस फंक्शनल को अनुकूलित करके आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन फीचर्स के निर्माण के लिए एक नवीन सूचना-सैद्धांतिक ढांचे का प्रस्ताव करता है, जिसके परिणामस्वरूप एक नया, श्रेष्ठ शेपिंग फंक्शन प्राप्त होता है जो विविध बेंचमार्क में मौजूदा विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के जानवरों को पहचानना सिखा रहे हैं। आप उसे बिल्लियों, कुत्तों और पक्षियों की हजारों तस्वीरें दिखाते हैं और वह पूरे आत्मविश्वास के साथ कहना सीख जाता है, "यह एक बिल्ली है!" लेकिन क्या होगा यदि आप अचानक रोबोट को एक टोस्टर या बादल की तस्वीर दिखा दें? चूंकि रोबोट ने ये चीजें पहले कभी नहीं देखी हैं, इसलिए वह अभी भी पूरे आत्मविश्वास के साथ चिल्ला सकता है, "यह एक बिल्ली है!" क्योंकि वह नई छवि को उस श्रेणी में फिट करने की कोशिश कर रहा है जिसे वह पहले से जानता है। यह एआई (AI) सुरक्षा के लिए एक बड़ी समस्या है। हमें एक ऐसा तरीका चाहिए जिससे रोबोट गलत अनुमान लगाने के बजाय कह सके, "रुको, मैं नहीं जानता कि यह क्या है।" यह "आउट-ऑफ-डिस्ट्रीब्यूशन" (OOD) डिटेक्शन की चुनौती है: यह पता लगाना कि कब डेटा पूरी तरह से नया और अलग है जिससे एआई को प्रशिक्षित किया गया था।
इस समस्या को हल करने के लिए, वैज्ञानिक अक्सर उन "फीचर्स" (विशेषताओं) को देखते हैं जिनका उपयोग एआई निर्णय लेने के लिए करता है। इन फीचर्स को आप रोबोट द्वारा उत्तर देने से पहले छवि के बारे में बनाए गए उसके आंतरिक नोट्स या रेखाचित्रों के रूप में समझ सकते हैं। कुछ शोधकर्ताओं ने इन नोट्स को निश्चित नियमों का उपयोग करके बदलने की कोशिश की है, जैसे कि "यदि कोई संख्या बहुत बड़ी है, तो उसे काट दें।" लेकिन ये नियम अक्सर उन अनुमानों पर आधारित होते हैं जो विशिष्ट परीक्षणों में काम आए थे, और वे तब विफल हो सकते हैं जब रोबोट कुछ वास्तव में अजीब देखता है। बड़ा सवाल यह है कि क्या हम एक ऐसा गणितीय नियम खोज सकते हैं जो हमें ठीक से बता सके कि किसी भी नए डेटा के लिए—न कि केवल उन विशिष्ट उदाहरणों के लिए जिन्हें हमने देखा है—इन नोट्स को कैसे समायोजित किया जाए?
यह शोध पत्र गणित और सूचना सिद्धांत (information theory) के मिश्रण का उपयोग करके इस समस्या के बारे में सोचने का एक नया तरीका पेश करता है। लेखक एक ऐसा सिद्धांत प्रस्तावित करते हैं जो इन आंतरिक नोट्स के समायोजन को एक निश्चित नियम के रूप बजाय, एक लचीली, यादृच्छिक प्रक्रिया (random process) के रूप में देखता है। वे एक गणितीय "लॉस फंक्शन" (एक स्कोरकार्ड कि एआई अपना काम कितनी अच्छी तरह कर रहा है) का उपयोग करते हैं जो दो काम एक साथ करने की कोशिश करता है: पहला, यह नए, अजीब डेटा के नोट्स को परिचित डेटा के नोट्स से यथासंभव दूर धकेलता है; और दूसरा, यह "इन्फॉर्मेशन बॉटलनेक" (Information Bottleneck) की अवधारणा का उपयोग करता है ताकि यह सुनिश्चित हो सके कि नोट्स बहुत अधिक अस्त-व्यस्त न हों या उनमें अजीब चीजों को पहचानने के लिए आवश्यक महत्वपूर्ण विवरण कम न हो जाएं।
विभिन्न धारणाओं के साथ सिमुलेशन चलाकर कि "अजीब" डेटा कैसा दिखता है (जैसे कि यह मानकर कि यह एक बेल कर्व (bell curve) का पालन करता है या इसमें भारी पूंछ (heavy tails) है), लेखकों ने पाया कि नोट्स को समायोजित करने का सबसे अच्छा तरीका इस बात पर निर्भर करता है कि अजीब डेटा किस प्रकार का है। उदाहरण के लिए, यदि अजीब डेटा बहुत शोर वाला (noisy) है, तो सबसे अच्छा समायोजन "क्लिपिंग" (चरम मानों को काटना) जैसा दिखता है, जो बताता है कि मौजूदा तरीके क्यों काम करते हैं। यदि अजीब डेटा में दुर्लभ, चरम आउटलेयर्स (outliers) हैं, तो सबसे अच्छा समायोजन छोटे मानों को "जीरो आउट" (शून्य करना) करने जैसा दिखता है।
इन निष्कर्षों के आधार पर, लेखक एक नया, लचीला उपकरण सुझाते हैं जिसे "पीसवाइज लीनियर फंक्शन" (PLF) कहा जाता है। आप इसे एक स्मार्ट, समायोज्य फिल्टर के रूप में समझ सकते हैं जो एआई के आंतरिक नोट्स को बिल्कुल सही तरीके से मोड़ और आकार दे सकता है ताकि नए डेटा को पहचाना जा सके, चाहे वह किसी भी प्रकार का नया डेटा क्यों न हो। जब उन्होंने विभिन्न प्रकार के इमेज डिस्टॉर्शन (छवि विकृति) और पूरी तरह से नई श्रेणियों सहित कई मानक परीक्षणों पर इस नए फिल्टर का परीक्षण किया, तो इसने लगभग हर अन्य उपलब्ध पद्धति से बेहतर प्रदर्शन किया। वास्तव में, 21 विभिन्न डिटेक्शन विधियों की एक विशाल तुलना में, उनके नए दृष्टिकोण ने सभी परीक्षणों में शीर्ष तीन में स्थान प्राप्त किया, जो यह सुझाव देता है कि अज्ञात का सामना करने पर एआई को ईमानदार रखने के लिए यह एक बहुत अधिक विश्वसनीय और सामान्य समाधान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।