Evidential Rule Learning for Interpretable Classification with Abstention
यह शोध पत्र फास्ट एविडेंशियल रूल लर्निंग (FERL) को प्रस्तुत करता है, जो एक ऐसी विधि है जो व्याख्या योग्य फजी रूल मॉडल उत्पन्न करती है जो एक एकल नियत पास (deterministic pass) में साक्ष्य-आधारित आउटपुट, सुचारू लिप्सचिट्ज़ स्थिरता (Lipschitz stability) और विश्वसनीय परित्याग (abstention) प्रदान करने में सक्षम है, जबकि विविध बेंचमार्क में अत्याधुनिक सटीकता और मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन प्रदर्शन प्राप्त करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यह जानने की कला कि आप नहीं जानते
कल्पना कीजिए कि आप एक घने जंगल में चल रहे हैं और आपको एक संकेत स्तंभ (signpost) मिलता है। एक मानक संकेत स्तंभ आपको पूर्ण आत्मविश्वास के साथ एक दिशा बताता है: "बाएँ जाएँ।" लेकिन क्या होगा यदि रास्ता धुंधला हो, या संकेत टूटा हुआ हो? एक वास्तव में बुद्धिमान मार्गदर्शक केवल अनुमान नहीं लगाएगा; वह कहेगा, "मुझे यकीन नहीं है, शायद बाएँ जाएँ, शायद दाएँ, या शायद मुझे बस रुक जाना चाहिए और आपको बताना चाहिए कि मैं निर्णय नहीं ले सकता।" यह इंटरप्रिटेबल मशीन लर्निंग (interpretable machine learning) नामक कंप्यूटर विज्ञान के एक बढ़ते क्षेत्र का मूल है। वर्षों से, कंप्यूटर भविष्यवाणियां करने में बहुत अच्छे रहे हैं, लेकिन वे अक्सर "ब्लैक बॉक्स" की तरह काम करते हैं—वे बिना यह समझाए कि क्यों, एक उत्तर दे देते हैं, और वे शायद ही कभी यह स्वीकार करते हैं कि वे भ्रमित हैं।
इसे ठीक करने के लिए, वैज्ञानिक ऐसे मॉडल बना रहे हैं जो पारदर्शी हैं, जैसे कि एक स्पष्ट कांच का बॉक्स जहाँ आप चलते हुए गियर देख सकते हैं। यहाँ एक प्रमुख अवधारणा साक्ष्य (evidence) है। साक्ष्य को केवल एक वोट के रूप में नहीं, बल्कि सुरागों के एक संग्रह के रूप में सोचें। यदि आपके पास "बाएँ" की ओर इशारा करने वाले सुरागों का ढेर है, तो आप आश्वस्त हैं। यदि सुराग मिले-जुले हैं, तो आप अनिश्चित हैं। एक अन्य महत्वपूर्ण विचार परहेज (abstention) है: एक मॉडल की क्षमता कि वह गलत अनुमान लगाने के बजाय यह कह सके, "मुझे नहीं पता।" यह वास्तविक जीवन की स्थितियों में अत्यंत महत्वपूर्ण है, जैसे चिकित्सा निदान या स्वयं चलने वाली कारों (self-driving cars) में, जहाँ एक आत्मविश्वासी गलती करना एक सतर्क ठहराव से कहीं अधिक बुरा होता है। यह शोध पत्र एक सरल लेकिन कठिन प्रश्न का समाधान करता है: क्या हम एक ऐसा कंप्यूटर मॉडल बना सकते हैं जो समझने में आसान हो, सटीक अनुमान लगा सके, और यह जान सके कि उसे कब हाथ खड़े कर देने चाहिए और कहना चाहिए, "मुझे और जानकारी चाहिए"?
"फास्ट एविडेंशियल रूल लर्नर" (FERL)
यहाँ FERL (फास्ट एविडेंशियल रूल लर्निंग) का प्रवेश होता है, जिसे जेवियर फुमानल-इडोसिन और जेवियर आंद्रेउ-पेरेज़ द्वारा पेश किया गया है। कल्पना कीजिए कि एक जासूस रहस्य सुलझाने की कोशिश कर रहा है। पुराने ज़माने के जासूस (जैसे मानक निर्णय वृक्ष/decision trees) एक सुराग देखते ही तुरंत चिल्ला सकते हैं, "यह बटलर है!" भले ही सबूत कमजोर हों। अन्य आधुनिक जासूस जटिल, अदृश्य न्यूरल नेटवर्क का उपयोग करते हैं जो अनुमान लगाने में तो बहुत अच्छे हैं लेकिन यह समझाने में बहुत खराब हैं कि वे उस निष्कर्ष तक कैसे पहुँचे।
FERL एक ऐसे जासूस की तरह है जो एक बहुत ही व्यवस्थित नोटबुक रखता है। यह फजी नियमों (fuzzy rules) का उपयोग करता है, जो लचीले "यदि-तो" कथनों की तरह होते हैं। "यदि तापमान 30°C से ऊपर है" के बजाय, यह कहता है, "यदि तापमान कुछ हद तक गर्म है।" जैसे-जैसे जासूस अपनी नोटबुक (नियमों का एक पेड़) के माध्यम से एक पथ का अनुसरण करता है, वह सुराग एकत्र करता है। यहाँ जादू का तरीका यह है: FERL केवल अनुमान लगाने के लिए सुराग एकत्र नहीं करता; यह यह मापने के लिए सुराग एकत्र करता है कि वह कितना जानता है।
इस प्रणाली में, प्रत्येक सुराग की एक "फायरिंग स्ट्रेंथ" (firing strength) होती है। यदि कोई सुराग मजबूत है, तो यह एक विशिष्ट संदिग्ध (एक क्लास लेबल) को बहुत अधिक भार देता है। यदि कोई सुराग कमजोर या गायब है, तो यह "अज्ञानता" (ignorance) को भार देता है—इस विचार को कि हमारे पास अभी पर्याप्त जानकारी नहीं है। जब जासूस सभी सुरागों को जोड़ता है, तो उसे केवल एक उत्तर नहीं मिलता। उसे एक विश्वास (belief) (वह कितना सुनिश्चित है), एक संभाव्यता (plausibility) (यह कितना संभव है), और संभावनाओं का एक सेट प्राप्त होता है। यदि सुराग बहुत अधिक उलझे हुए हैं, तो "अज्ञानता" इतनी भारी हो जाती है कि जासूस निर्णय लेने से परहेज (abstain) करने का फैसला करता है और कहता है, "मैं निर्णय नहीं ले सकता।"
यह शोध पत्र "पोस्ट-हॉक कैलिब्रेशन" (post-hoc calibration) की सामान्य प्रथा के विरुद्ध तर्क देता है। यह एक तैयार, आत्मविश्वासी भविष्यवाणी को लेने और उसके बाद उस पर एक "कॉन्फिडेंस स्कोर" चिपकाने जैसा है। लेखक बताते हैं कि यह अक्सर अविश्वसनीय होता है, विशेष रूपकर जब कंप्यूटर किसी नई चीज़ का सामना करता है (जैसे कि एक बिल्ली, जहाँ उसने केवल कुत्तों को देखा था)। इसके बजाय, FERL आत्मविश्वास और परहेज करने की क्षमता को सीधे उन नियमों में बुनता है जैसा कि वह सीखता है। यह एक ऐसी कार बनाने जैसा है जिसके ब्रेक इंजन का हिस्सा हैं, न कि उन्हें बाद में जोड़ने की कोशिश करना।
FERL ने क्या पाया
शोधकर्ताओं ने 30 विभिन्न डेटासेट्स (संख्याओं और श्रेणियों के संग्रह, जैसे मेडिकल रिकॉर्ड या स्पोर्ट्स स्टैट्स) पर FERL का परीक्षण किया। उन्होंने पाया कि FERL न केवल पढ़ने में आसान है बल्कि अविश्वसनीय रूप से सटीक भी है।
- सटीकता (Accuracy): FERL के "डीप" संस्करण ने इन 30 डेटासेट्स में औसतन 83.23% सटीकता प्राप्त की। यह सांख्यिकीय रूप से उनके द्वारा परीक्षण किए गए लगभग हर अन्य नियम-आधारित तरीके से बेहतर था, जिसमें CART और C4.5 जैसे क्लासिक उपकरण शामिल थे।
- आकार (Size): इतना सटीक होने के बावजूद, FERL आश्चर्यजनक रूप से छोटा था। "कॉम्पैक्ट" संस्करण ने 77.77% सटीकता प्राप्त करने के लिए 6 से कम नियम का उपयोग किया, जबकि एक मानक पेड़ को समान स्कोर प्राप्त करने के लिए 250 से अधिक नियमों की आवश्यकता थी।
- "मुझे नहीं पता" की महाशक्ति: जब डेटा भ्रमित करने वाला था या जो उसने पहले नहीं देखा था (Out-of-Distribution), तो FERL ने गलत अनुमान नहीं लगाया। इसने भ्रम को सही ढंग से पहचाना। उन परीक्षणों में जहाँ इसे "नोवेल" (नए) डेटा का पता लगाना था जिसे इसने पहले कभी नहीं देखा था, FERL ने 77.7 का AUROC प्राप्त किया, जो उन विशिष्ट, जटिल डिटेक्टरों के बराबर है जो विशेष रूप से उसी काम के लिए बनाए गए हैं।
- सेट प्रेडिक्शन (Set Predictions): केवल एक उत्तर का अनुमान लगाने के बजाय, FERL अक्सर संभावित उत्तरों का एक "सेट" (जैसे, "यह बिल्ली या कुत्ता है") देता है। जब उन्होंने इन सेट्स की उपयोगिता को मापा, तो FERL ने 0.80 स्कोर किया, जिसने उन तरीकों को पछाड़ दिया जो या तो बहुत अधिक आत्मविश्वास के साथ अनुमान लगाते थे या बहुत अस्पष्ट थे।
शोध पत्र ने इमेज डेटा पर भी FERL का परीक्षण किया, लेकिन पिक्सेल को सीधे देखकर नहीं। इसके बजाय, उन्होंने एक ऐसी प्रणाली का उपयोग किया जो पहले मानव अवधारणाओं (जैसे "पंख हैं" या "लाल है") का उपयोग करके छवि का वर्णन करती है और फिर अंतिम निर्णय लेने के लिए FERL का उपयोग करती है। इस सेटअप में, FERL न केवल छवि को वर्गीकृत कर सकता था, बल्कि यह भी बता सकता था कि कौन से गुण असामान्य या विसंगतिपूर्ण थे। उदाहरण के लिए, यदि किसी पक्षी की तस्वीर में "पंख" हैं लेकिन "पैर नहीं" हैं, तो FERL उस विशिष्ट विरोधाभास को चिह्नित कर सकता था।
निष्कर्ष
FERL सिद्ध करता है कि स्मार्ट, विश्वसनीय परिणाम प्राप्त करने के लिए आपको एक विशाल, भ्रमित करने वाले ब्लैक बॉक्स की आवश्यकता नहीं है। फजी लॉजिक का उपयोग करके हर नियम को एक साक्ष्य में बदलकर, मॉडल स्वाभाविक रूप से तब आत्मविश्वासी होने के लिए सीखता है जब उसे होना चाहिए, और जब साक्ष्य कम हों तो "मुझे नहीं पता" कहने के लिए। यह तेज़ है, छोटा है, और अपनी अनिश्चितता के बारे में ईमानदार है। लेखक सुझाव देते हैं कि यह दृष्टिकोण एक ऐसा AI बनाने का मार्ग प्रदान करता है जो न केवल सटीक है, बल्कि भरोसेमंद और पारदर्शी भी है, जो अपने निर्णयों को समझाने में सक्षम है और बिना किसी अतिरिक्त, जटिल चीज़ों के अपनी सीमाओं को जानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।