Robust Ambiguity Detection (RAD) From Model- and Feature-Space Consistency

कल्पना कीजिए कि आप एक उच्च-दांव वाले न्यायालय में न्यायाधीश हैं, लेकिन एक अकेले न्यायाधीश के बजाय, आपके पास दस विशेषज्ञों का एक पैनल है। वे सभी समान रूप से प्रतिभाशाली हैं, उन्होंने बिल्कुल एक ही केस फाइल का अध्ययन किया है, और उन्होंने एक ही कठोर परीक्षा उत्तीर्ण की है। आमतौर पर, वे सभी निर्णय पर सहमत होते हैं। लेकिन कभी-कभी, वे असहमत होते हैं। शायद पाँच "दोषी" कहते हैं और पाँच "निर्दोष" कहते हैं। यह भ्रमित करने वाला है, लेकिन कम से कम आप जानते हैं कि असहमति मौजूद है।

अब, एक अधिक पेचीदा परिदृश्य की कल्पना करें। दस विशेषज्ञ एक विशिष्ट प्रतिवादी के लिए निर्णय पर सहमत होते हैं। लेकिन, यदि आप कहानी का एक छोटा सा विवरण बदल दें—जैसे कि यह कहना कि प्रतिवादी एक सेकंड बाद पहुँचा, या उसने थोड़ा अलग टोपी पहनी थी—तो पूरा पैनल अचानक विपरीत पक्ष की ओर वोट कर देता है। या, कल्पना करें कि दो प्रतिवादी लगभग जुड़वां भाई हैं, फिर भी एक को "दोषी" का निर्णय मिलता है जबकि दूसरे को "निर्दोष" मिलता है, सिर्फ इसलिए क्योंकि उनके बीच निर्णय रेखा बहुत ही अस्थिर और अनिश्चित तरीके से खींची गई है। मशीन लर्निंग की दुनिया में, जहाँ कंप्यूटर ऋण, चिकित्सा निदान या विश्वविद्यालय प्रवेश के बारे में निर्णय लेते हैं, ये "अस्थिर" भविष्यवाणियाँ खतरनाक हैं। इन्हें एम्बिग्युटी (Ambiguity - अस्पष्टता/अनिश्चितता) कहा जाता है। यदि एक कंप्यूटर मॉडल अपनी कहानी पर टिक नहीं सकता या यदि वह अपने स्वयं के जुड़वां मॉडलों से असहमत होता है, तो हम उस पर भरोसा नहीं कर सकते। यह शोध पत्र उन अस्थिर, अविश्वसनीय भविष्यवाणियों को पहचानने का एक बेहतर तरीका बनाने के बारे में है जो वास्तविक दुनिया में समस्या पैदा करने से पहले पकड़ी जा सकें।

---

"RAD" डिटेक्टर: अस्थिर भविष्यवाणियों को पकड़ना

इस शोध पत्र के लेखक, यूनिवर्सिटी कॉलेज डबलिन के मान्या सिंह, मार्क टी. कीन और अर्जुन पकराशी ने RAD (Robust Ambiguity Detection - सुदृढ़ अस्पष्टता पहचान) नामक एक नया टूल बनाया है। RAD को AI भविष्यवाणियों के लिए एक 'स्ट्रेस-टेस्ट मशीन' के रूप में समझें। केवल यह पूछने के बजाय कि "AI क्या सोचता है?", RAD पूछता है, "अगर हम इनपुट को थोड़ा सा हिलाएं (wiggle) तो AI क्या सोचेगा? और इसके जुड़वां मॉडल क्या सोचते हैं?"

RAD कैसे काम करता है इसे समझने के लिए, आइए एक क्लब के बाउंसर के उदाहरण का उपयोग करें।

सेटअप: बाउंसरों का एक पैनल

कल्पना कीजिए कि एक क्लब है जिसकी प्रवेश नीति बहुत सख्त है। यह सुनिश्चित करने के लिए कि नीति निष्पक्ष हो, क्लब ने 10 अलग-अलग बाउंसर रखे हैं (ये समान मॉडल हैं)। वे सभी एक ही नियमों पर प्रशिक्षित हैं और अपने काम में समान रूप से कुशल हैं।

• इनपुट: क्लब में प्रवेश करने वाला एक व्यक्ति (यह डेटापॉइंट है)।
• परटर्बेशन (Perturbation - विक्षोभ): बाउंसरों से व्यक्ति की उपस्थिति में मामूली बदलाव की कल्पना करने के लिए कहा जाता है। शायद वे कल्पना करते हैं कि व्यक्ति ने एक अलग टोपी पहनी है, या वह एक इंच बाईं ओर खड़ा है (ये लोकल परटर्बेशन हैं)।

"एम्बिग्युटी मैट्रिक्स": स्कोरकार्ड

RAD एक विशाल स्कोरकार्ड (जिसे एम्बिग्युटी मैट्रिक्स कहा जाता है) बनाता है ताकि यह ट्रैक किया जा सके कि क्या होता है।

• पंक्तियाँ (Rows): 10 बाउंसर।
• स्तंभ (Columns): मूल व्यक्ति और उसके सभी "कल्पित" संस्करण (पड़ोसी)।
• सेल्स (Cells): क्या प्रत्येक बाउंसर ने प्रत्येक संस्करण के लिए "हाँ" या "नहीं" कहा?

यदि बाउंसर मूल व्यक्ति के लिए और सभी थोड़े बदले हुए संस्करणों के लिए "हाँ" कह रहे हैं, तो भविष्यवाणी Robust (सुदृढ़) है। यह ठोस है। लेकिन यदि बाउसर आपस में बहस करने लगते हैं, या यदि वे केवल इसलिए अपना मन बदल देते हैं क्योंकि व्यक्ति ने अपना पैर हिलाया, तो यह Ambiguity (अस्पष्टता) है।

RAD प्लॉट: भ्रम के चार कोने

शोध पत्र इस स्कोरकार्ड को एक सरल ग्राफ में बदल देता है जिसे RAD प्लॉट कहा जाता है। एक वर्ग की कल्पना करें जो चार कोनों में विभाजित है। आपकी भविष्यवाणी किस कोने में पड़ती है, उससे पता चलता है कि वह क्यों अस्थिर है:

1. ऊपरी-दायां कोना (The "Rock Solid" Corner - चट्टान जैसा मजबूत): सभी बाउसर सहमत हैं, और वे तब भी सहमत हैं जब व्यक्ति थोड़ा हिलता-डुलता है। यह एक Robust (सुदृढ़) भविष्यवाणी है। आप इस पर भरोसा कर सकते हैं।
2. ऊपरी-बायां कोना (The "Bickering Bouncers" Corner - झगड़ालू बाउंसर): बाउसर अपने स्वयं के प्रति सुसंगत रहते हैं (यदि वे टोपी के लिए "हाँ" कहते हैं, तो वे बिना टोपी के भी "हाँ" कहते हैं), लेकिन वे एक दूसरे से असहमत होते हैं। एक बाउसर सोचता है कि नियम "हाँ" कहते हैं, दूसरा सोचता है "नहीं"। यह Model-Space Ambiguity है। समस्या व्यक्ति में नहीं है; समस्या यह है कि बाउसरों ने नियमों के अलग-अलग संस्करण सीख लिए हैं।
3. निचला-दायां कोना (The "Wobbly Bouncers" Corner - डगमगाते बाउंसर): सभी बाउसर आम तौर पर एक-दूसरे से सहमत होते हैं, लेकिन वे व्यक्ति की मामूली गतिविधियों से भ्रमित हो जाते हैं। यदि व्यक्ति एक इंच हिलता है, तो वे "हाँ" से "नहीं" में बदल जाते हैं। यह Feature-Space Ambiguity है। व्यक्ति निर्णय रेखा के बिल्कुल किनारे पर खड़ा है, और नियम बहुत संवेदनशील हैं।
4. निचला-बायां कोना (The "Total Chaos" Corner - पूर्ण अराजकता): बाउसर एक-दूसरे से असहमत हैं, और वे खुद के साथ भी सहमत नहीं हो पाते जब व्यक्ति हिलता है। यह सबसे खराब प्रकार की अस्पष्टता है। भविष्यवाणी हर कारण से अविश्वसनीय है।

उन्होंने क्या पाया?

लेखकों ने दो प्रकार के डेटा पर RAD का परीक्षण किया:

1. नकली डेटा (Synthetic): उन्होंने कंप्यूटर द्वारा निर्मित दुनिया बनाई जहाँ वे नियंत्रित कर सकते थे कि "हाँ" और "नहीं" समूहों के बीच कितना ओवरलैप है। उन्होंने पाया कि जैसे-जैसे समूह अधिक मिश्रित होते गए, भविष्यवाणियाँ "Rock Solid" कोने से हटकर "Wobbly" या "Chaos" कोनों की ओर बढ़ने लगीं। इससे सिद्ध हुआ कि RAD वास्तव में यह पहचान सकता है कि चीजें कब उलझ रही हैं।
2. वास्तविक दुनिया का डेटा: उन्होंने वास्तविक डेटासेट (जैसे क्रेडिट कार्ड डिफॉल्ट, हृदय रोग के जोखिम और यहाँ तक कि हस्तलिखित अंकों के लिए MNIST डेटासेट) का उपयोग किया। चूंकि आप इन जटिल डेटासेट में निर्णय रेखाओं को "देख" नहीं सकते, इसलिए RAD ने एक एक्स-रे की तरह काम किया, जिससे पता चला कि कौन सी भविष्यवाणियाँ संदिग्ध होने की संभावना थीं।

बड़ा लाभ: यह जानना कि "मुझे नहीं पता" कब कहना है

इस शोध पत्र का सबसे रोमांचक हिस्सा एक व्यावहारिक अनुप्रयोग है जिसे Abstention (परहेज/संयम) कहा जाता है। उच्च-दांव वाली स्थितियों में (जैसे किसी छात्र को कॉलेज में प्रवेश देना या बीमारी का निदान करना), गलत अनुमान लगाने के बजाय यह कहना बेहतर है कि "मुझे यकीन नहीं है, एक इंसान को इसकी जांच करनी चाहिए।"

लेखकों ने RAD का उपयोग करके भविष्यवाणियों को रैंक करने के लिए किया। उन्होंने पाया कि यदि वे उन नमूनों के लिए भविष्यवाणी करने से मना कर देते जो "Wobbly" या "Chaos" कोनों में आते हैं (जिनका RAD Pareto-Rank सबसे कम है), तो शेष भविष्यवाणियों की सटीकता काफी बढ़ जाती है। दूसरे शब्दों में, भ्रमित करने वाले मामलों को फ़िल्टर करने के लिए RAD का उपयोग करके, AI उन मामलों पर बहुत अधिक विश्वसनीय हो गया जिनका उसने उत्तर दिया।

RAD क्या नहीं है

यह ध्यान रखना महत्वपूर्ण है कि यह शोध पत्र क्या नहीं करता है। यह दावा नहीं करता कि यह AI को ठीक करता है या बाउसरों को सहमत करता है। यह यह भी नहीं कहता कि सारा AI टूटा हुआ है। इसके बजाय, यह एक नैदानिक उपकरण (Diagnostic Tool) प्रदान करता है। यह आपको बताता है कि समस्या कहाँ है:

• क्या समस्या यह है कि मॉडल बहुत अलग हैं? (तो आपको उन्हें बेहतर प्रशिक्षित करने या उन्हें मिलाने की आवश्यकता हो सकती है)।
• क्या समस्या यह है कि डेटा बहुत अस्त-व्यस्त है या निर्णय रेखा बहुत तीखी है? (तो आपको बेहतर डेटा या नियमों को परिभाषित करने के एक अलग तरीके की आवश्यकता हो सकती है)।

शोध पत्र सुझाव देता है कि Model-Space (क्या मॉडल सहमत हैं?) और Feature-Space (क्या डेटा स्थिर है?) दोनों को देखकर, हमें केवल एक को देखने की तुलना में विश्वास की एक बहुत स्पष्ट तस्वीर मिलती है। यह एक तरीका है जिससे हम एक ऐसे कंप्यूटर पर आँख मूँदकर भरोसा करने से बच सकते हैं जो शायद केवल अनुमान लगा रहा है, और यह पूछने लगते हैं कि जब उत्तर स्पष्ट न हो तो सही सवाल क्या होने चाहिए।