Rule of Thumb: Explaining Artificial Intelligence Systems using Partial Information
यह शोध पत्र "रूल ऑफ थंब" (RoT) को प्रस्तुत करता है, जो एक नवीन, मॉडल-अज्ञेय (model-agnostic), और गणनात्मक रूप से कुशल व्याख्यात्मक एआई (Explainable AI) ढांचा है जो विशिष्ट भविष्यवाणियों के लिए सबसे प्रासंगिक विशेषताओं की पहचान करता है, जिससे शून्य-शॉट एलएलएम (LLM) वर्गीकरण, अपारदर्शी प्रणाली ऑडिटिंग और वैज्ञानिक खोज को प्रभावी ढंग से समर्थन मिलता है और साथ ही एआई नियमों का अनुपालन भी सुनिश्चित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक रहस्यमय, सर्वज्ञानी रोबोट ने एक विशिष्ट निर्णय क्यों लिया। शायद उसने आपके नौकरी के आवेदन को खारिज कर दिया, या शायद उसने एक फोटो को कुत्ते के बजाय बिल्ली मान लिया। यह रोबोट एक "आर्टिफिशियल इंटेलिजेंस" (AI) है, और कंप्यूटर विज्ञान की दुनिया में, इसके मस्तिष्क को समझने के प्रयास को हम "एक्सप्लेनेबल एआई" (XAI) कहते हैं। बड़ी समस्या यह है कि कई आधुनिक एआई "ब्लैक बॉक्स" होते हैं। हम उनमें डेटा डाल सकते हैं और उत्तर प्राप्त कर सकते हैं, लेकिन हम यह देखने के लिए अंदर नहीं झांक सकते कि उनके भीतर क्या प्रक्रिया चल रही है। लंबे समय तक, वैज्ञानिकों ने इसे हल करने के लिए इनपुट के साथ छेड़छाड़ करने की कोशिश की—जैसे कि वाक्य में एक शब्द बदलना या फोटो में एक पिक्सेल बदलना—यह देखने के लिए कि उत्तर कैसे बदलता है। इसे "सेंसिटिविटी एनालिसिस" कहा जाता है। यह एक बंद तिजोरी को समझने की कोशिश करने जैसा है जिसे आप हथौड़े से मारते हैं और देखते हैं कि क्या दरवाजा खड़खड़ाता है। लेकिन क्या होगा अगर तिजोरी इतनी भारी हो कि उसे मारा न जा सके, या अगर उसे मारने से रोबोट टूट जाए? यहीं पर इस पेपर में दी गई नई विधि आती है, जो बिना मास्टर चाबी के ब्लैक बॉक्स के अंदर झांकने का एक स्मार्ट, तेज़ और कम विनाशकारी तरीका प्रदान करती है।
यह पेपर AI को समझाने का एक नया तरीका पेश करता है जिसे "रूल ऑफ थंब" (ROT) कहा जाता है। AI को समझाने के पुराने तरीके को एक ऐसे जासूस की तरह सोचें जिसे यह जानने के लिए हजारों नकली परिदृश्य चलाने पड़ते हैं कि क्या महत्वपूर्ण है। यदि जासूस जानना चाहता है कि क्या "जूते" किसी निर्णय के लिए महत्वपूर्ण हैं, तो उसे एक ऐसी दुनिया की कल्पना करनी होगी जहाँ व्यक्ति के पास जूते नहीं हैं, फिर जूते हैं, फिर अलग-अलग जूते हैं, और यह देखना होगा कि हर बार निर्णय कैसे बदलता है। इसमें बहुत समय लगता है और यदि "जासूस" को एक विशाल, महंगे क्लाउड कंप्यूटर (जैसे कि लार्ज लैंग्वेज मॉडल) से प्रत्येक परिदृश्य चलाने के लिए कहना पड़े, तो यह बहुत महंगा पड़ता है।
ROT इस खेल को उलट देता है। AI को समझाने के पुराने तरीके के बजाय, जो पूछता है, "अगर मैं इसे बदल दूँ तो क्या होगा?", ROT पूछता है, "यह जानना हमें पहले से ही उत्तर के बारे में कितना कुछ बता देता है?" यह एक ऐसे शेफ की तरह है जो सूप चखता है। नमक डालने, फिर उसे निकालने, फिर और अधिक नमक डालकर यह देखने के बजाय कि स्वाद कैसे बदलता है, शेफ बस एक चम्मच चखता है और कहता है, "आह, नमक ही यहाँ मुख्य स्वाद है।" ROT उस डेटा को देखता है जिसे AI ने पहले ही देख लिया है और गणना करता है कि कौन सी जानकारी अंतिम परिणाम के लिए सबसे अधिक "भविष्यवाणी करने वाली" (predictive) थी। यह AI के बारे में क्या सोच रहा था, इसका एक सरल, समझने में आसान मानचित्र बनाता है, जो पूरी तरह से उन पैटर्न पर आधारित है जो उसने खोजे हैं, बिना AI को तोड़े या उसे लाखों नए परीक्षण चलाने के लिए कहे।
लेखकों ने इस "रूल ऑफ थंब" का परीक्षण तीन कठिन स्थितियों में किया जहाँ अन्य विधियाँ आमतौर पर विफल हो जाती हैं। सबसे पहले, उन्होंने इसका उपयोग लार्ज लैंग्वेज मॉडल्स (LLMs) पर किया जो जादू की तरह काम करते हैं: आप उनसे एक प्रश्न पूछते हैं, और वे तुरंत उत्तर देते हैं, लेकिन आप उनके आंतरिक कोड को छू नहीं सकते। पुरानी विधियों को यह समझने के लिए कि उन्होंने उत्तर क्यों दिया, AI से हजारों अतिरिक्त प्रश्न पूछने होंगे, जो बहुत धीमा और महंगा है। हालाँकि, ROT ने उन उत्तरों को देखा जो AI ने पहले ही दिए थे और सेकंडों में महत्वपूर्ण शब्दों का पता लगा लिया। कानूनी मामलों को पढ़ने वाले एक रोबोट से जुड़े एक परीक्षण में, ROT उन सटीक वाक्यों को उजागर करने में सक्षम था जो महत्वपूर्ण थे, जो मानव वकीलों द्वारा चुने गए वाक्यों से मेल खाते थे, लेकिन इसने यह काम पहले के बाद के प्रत्येक नए स्पष्टीकरण के लिए अगली सर्वोत्तम विधि की तुलना में 1.3 करोड़ गुना तेज़ किया।
दूसित, पेपर ने गुप्त AI सिस्टमों के ऑडिटिंग पर गौर किया, जैसे कि अमेज़न का उत्पाद अनुशंसा इंजन (product recommendation engine)। आमतौर पर, यह जांचने के लिए कि क्या कोई गुप्त AI पक्षपाती या खराब है, वैज्ञानिक एक "मिमिक" (नकल करने वाला) रोबोट बनाते हैं—एक असली वाले की तरह व्यवहार करने वाला एक नकली संस्करण—और फिर उस नकली का अध्ययन करते हैं। लेकिन लेखकों ने पाया कि एक समस्या है: यदि आप दो अलग-अलग नकली रोबोट बनाते हैं जो असली वाले की तरह व्यवहार करते हैं, तो वे अपने निर्णयों के कारणों के बारे में आपको पूरी तरह से अलग कारण दे सकते हैं। यह उस खेल के नियमों का अनुमान लगाने के लिए दो अलग-अलग लोगों से पूछने जैसा है जिसे आप देख नहीं सकते; वे दोनों स्कोर के बारे में सही अनुमान लगा सकते हैं, लेकिन नियमों पर असहमत हो सकते हैं। यह ऑडिट को अविश्वसनीय बनाता है। ROT पूरे नकली रोबोध को ही छोड़ देता है। यह सीधे वास्तविक AI के पिछले निर्णयों को देखता है और सच को खोज निकालता है। अपने परीक्षण में, जबकि नकली रोबोट इस बात पर बहस कर रहे थे कि कौन सी विशेषताएं महत्वपूर्ण थीं, ROT ने लगातार दिखाया कि अमेज़न का सिस्टम "अमेज़न द्वारा बेचे जाने वाले" उत्पादों का अत्यधिक पक्ष ले रहा था, एक छिपा हुआ पूर्वाग्रह जिसे नकली रोबोटों ने मिस कर दिया या जिस पर वे बहस कर रहे थे।
अंत में, शोधकर्ताओं ने वैज्ञानिक खोजों पर ROT का परीक्षण किया, जहाँ AI का उपयोग दुनिया के बारे में नए तथ्यों को खोजने के लिए किया जाता है, जैसे कि मधुमेह (diabetes) का क्या कारण है। यहाँ, खतरा यह है कि AI को "डेकॉय" (धोखेबाज) सुरागों से ठगा जा सकता है। कल्पना कीजिए कि एक रोबोट बारिश की भविष्यवाणी करने की कोशिश कर रहा है, लेकिन कोई चुपके से एक नकली सेंसर जोड़ देता है जो हमेशा तब बीप करता है जब बारिश होती है। एक मानक विधि यह सोच सकती है कि बीपिंग सेंसर ही बारिश का कारण है! लेखकों ने एक ऐसी स्थिति बनाई जहाँ उन्होंने AI को भ्रामक "फॉइल" (foil) विशेषताओं से धोखा दिया। पुरानी विधियाँ फंस गईं और डेकॉय की ओर इशारा करने लगीं, लेकिन ROT ने शोर को सही ढंग से अनदेखा किया और केवल वास्तविक, महत्वपूर्ण कारकों की ओर इशारा किया। इसने साबित किया कि ROT को धोखा देना बहुत कठिन है और यह डेटा को नियंत्रित करने वाले वास्तविक "नियमों" को खोजने में बेहतर है।
पेपर निष्कर्ष निकालता है कि ROT एक गेम-चेंजर है क्योंकि इसे AI के मस्तिष्क को देखने की आवश्यकता नहीं है, इसे परीक्षण करने के लिए AI को तोड़ने की आवश्यकता नहीं है, और इसे अध्ययन करने के लिए नकली प्रति बनाने की आवश्यकता नहीं है। यह एक तेज़, मॉडल-एग्नोस्टिक टूल है जो तब भी काम करता है जब AI एक बंद ब्लैक बॉक्स हो, जो इसे नियामकों, वैज्ञानिकों और उन सभी के लिए एक शक्तिशाली नया उपकरण बनाता है जो यह जानना चाहते हैं कि मशीन ने निर्णय क्यों लिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।