Explainability Framework for Policy-Aware Autonomous Agents

एक ऐसी दुनिया की कल्पना करें जहाँ आपका टोस्टर, आपकी कार और आपके अस्पताल का शेड्यूलिंग सिस्टम, इन सभी को "स्वायत्त एजेंटों" (autonomous agents) नामक छोटे, अदृश्य दिमागों द्वारा चलाया जा रहा है। ये केवल साधारण रोबोट नहीं हैं जो एक एकल कमांड का पालन करते हैं; ये स्मार्ट सिस्टम हैं जो डेटा के एक बिखरे हुए ढेर को देखते हैं और एक लक्ष्य तक पहुँचने के लिए अगला कदम उठाने का निर्णय लेते हैं। लेकिन यहाँ एक पेच है: कभी-कभी ये स्मार्ट दिमाग ऐसे चुनाव करते हैं जो हमें अजीब, अनुचित या बस समझने में कठिन लगते हैं। यदि एक सेल्फ-ड्राइविंग कार अचानक मुड़ जाती है या अस्पताल का शेड्यूलर एक नर्स को नाइट शिफ्ट पर लगा देता है जबकि उसने दिन की शिफ्ट मांगी थी, तो हम जानना चाहते हैं कि ऐसा क्यों हुआ। हम केवल कोड की सूची नहीं चाहते; हम एक कहानी चाहते हैं। यही "एक्सप्लेनेबल एआई" (explainable AI) का सार है—एक ऐसा क्षेत्र जो मशीनों को हमें सरल अंग्रेजी में जवाब देना सिखाने की कोशिश कर रहा है, ताकि वे अपने तर्क को समझा सकें और हम उन पर भरोसा कर सकें।

आप जिस शोध पत्र का अध्ययन करने जा रहे हैं, वह एक विशिष्ट प्रकार के स्मार्ट एजेंट के बारे में है: एक ऐसा जो सख्त नियमों की किताब के अनुसार खेलता है। इन एजेंटों को एक ऐसे छात्र की तरह समझें जिसे गणित की समस्या हल करनी है लेकिन साथ ही उसे स्कूल के नियमों का भी पालन करना है, जैसे "गलियारों में न दौड़ें" या "हमेशा हाथ उठाएं।" यदि छात्र नियम तोड़ता है, तो उसे एक "दंड" (penalty) मिलता है (जैसे कि डिटेंशन)। इस अध्ययन के पीछे के शोधकर्ताओं, हीदर मेरहौट और डेनिएला इनक्लेज़ान ने यह पता लगाने की कोशिश की कि किसी इंसान को यह कैसे समझाया जाए कि छात्र ने एक विशिष्ट विकल्प क्यों चुना। वे केवल यह नहीं कहना चाहते थे कि "क्योंकि नियमों ने ऐसा कहा था।" वे सामाजिक विज्ञान की एक चतुर तकनीक का उपयोग करना चाहते थे: यह पूछना कि, "क्या होता अगर आप इसका विपरीत करते?" एक "क्या-होता-अगर" वाली दुनिया की कल्पना करके, जहाँ एजेंट नियम तोड़ देता, वे हमें दिखा सकते थे कि वह आपदा क्या होती जिसने मूल विकल्प को वास्तव में सबसे अच्छा साबित किया।

"क्या-होता-अगर" मशीनों का जादू

तो, यह वास्तव में कैसे काम करता है? शोधकर्ताओं ने एक डिजिटल प्लेग्राउंड बनाया जिसे "हॉस्पिटल शेड्यूलिंग सिस्टम" कहा जाता है। इस दुनिया में, एक एआई एजेंट एक व्यस्त हेड नर्स की तरह कार्य करता है। उसका काम नर्सों की एक टीम को शिफ्ट असाइन करना है, यह सुनिश्चित करते हुए कि हर शिफ्ट कवर हो और साथ ही नर्सों की व्यक्तिगत इच्छाओं का भी सम्मान किया जाए, जैसे कि सप्ताहांत (weekends) पर छुट्टी चाहना या दिन की शिफ्ट पसंद करना।

एजेंट को स्मार्ट बनाने के लिए, शोधकर्ताओं ने उसे AOPL (Authorization and Obligation Policy Language) नामक एक विशेष भाषा का उपयोग करके एक नियम पुस्तिका दी। यह केवल "क्या करें और क्या न करें" की सूची नहीं है; यह एक ऐसा सिस्टम है जहाँ प्रत्येक नियम की एक कीमत (price tag) होती है। यदि एजेंट कोई नियम तोड़ता है, तो उसे दंड अंक (penalty score) मिलता है।

• बड़े नियम: कुछ नियम बहुत सख्त होते हैं। उदाहरण के लिए, "आप एक शिफ्ट को कम स्टाफ के साथ नहीं छोड़ सकते।" यदि एजेंट ऐसा करने की कोशिश करता है, तो उसे भारी दंड (5 अंक प्लस प्रत्येक लापता नर्स के लिए अतिरिक्त अंक) मिलता है।
• अच्छी बातें (Nice-to-Haves): अन्य नियम नरम होते हैं, जैसे "नर्स ज़ेल्डा शनिवार को छुट्टी चाहती है।" यदि एजेंट इसे अनदेखा करता है, तो उसे छोटा दंड (3 अंक) मिलता है।

एजेंट का लक्ष्य न्यूनतम कुल दंड स्कोर वाला शेड्यूल बनाना है। यह एक खेल खेलने जैसा है जहाँ आप अधिक से अधिक पानी के गुब्बारों से बचने की कोशिश करते हैं।

जासूसी कार्य: कंट्रास्टिव स्पष्टीकरण (Contrastive Explanations)

यहीं पर जादू होता है। शोधकर्ताओं ने महसूस किया कि केवल अंतिम शेड्यूल दिखाना पर्याप्त नहीं है। मनुष्य जिज्ञासु होते हैं। हम जानना चाहते हैं, "आपने ज़ेल्डा के लिए यह शिफ्ट क्यों चुनी और वह क्यों नहीं?"

इसका उत्तर देने के लिए, टीम ने एक प्रोग्राम बनाया जो एक समय-यात्रा करने वाले जासूस की तरह कार्य करता है। जब कोई इंसान पूछता है, "ज़ेल्डा 3 फरवरी को छुट्टी पर क्यों थी?", तो प्रोग्राम केवल उत्तर नहीं देखता। यह एक काउंटरफैक्चुअल वर्ल्ड (counterfactual world)—एक समानांतर ब्रह्मांड बनाता है जहाँ उत्तर अलग है।

कल्पना करें कि प्रोग्राम कहता है, "ठीक है, मान लेते हैं कि ज़ेल्डा 3 फरवरी को छुट्टी पर नहीं थी। चलिए उसे उस दिन काम करने के लिए मजबूर करते हैं।"
प्रोग्राम फिर इस नए, नकली दुनिया में शेड्यूलिंग गेम को फिर से चलाता है। अचानक, एआई एक दीवार से टकरा जाता है। क्योंकि ज़ेल्डा उस दिन काम कर रही है, शेड्यूल गड़बड़ा जाता है। शायद, अब यान्नी को वह शिफ्ट करनी पड़ती है जिसे वह नापसंद करती है, या किसी शिफ्ट में कोई भी नहीं रह जाता। प्रोग्राम देखता है कि इस नकली दुनिया में, दंड स्कोर अचानक बढ़ जाता है।

प्रोग्राम फिर इस आपदा को मानव-अनुकूल वाक्य में अनुवादित करता है:
"हमने ज़ेल्डा को 3 फरवरी को छुट्टी दी क्योंकि यदि हमने ऐसा नहीं किया होता, तो हमें यान्नी की पसंदीदा शिफ्ट के बारे में एक नियम तोड़ने के लिए मजबूर होना पड़ता, जिससे हमें 3 दंड अंक का नुकसान होता।"

इसे कंट्रास्टिव एक्सप्लेनेशन (contrastive explanation) कहा जाता है। एजेंट के अस्तित्व के हर कारण को सूचीबद्ध करने के बजाय, यह इस बात पर ध्यान केंद्रित करता है कि जो हुआ और जो हो सकता था यदि एजेंट ने एक अलग विकल्प चुना होता, उनके बीच क्या अंतर था। यह एक माता-पिता द्वारा दिए गए स्पष्टीकरण जैसा है, "तुम रात के खाने में आइसक्रीम नहीं खा सकते क्योंकि यदि तुमने ऐसा किया, तो तुम सब्जियां नहीं खाओगे, और फिर तुम्हें भूख लगेगी।" यह स्पष्टीकरण इस बात को उजागर करके काम करता है कि वैकल्पिक विकल्प के नकारात्मक परिणाम क्या होंगे।

मानव परीक्षण: क्या यह समझ में आता है?

शोधकर्ताओं ने केवल इसे बनाया और उम्मीद नहीं की; उन्होंने इसका वास्तविक लोगों के साथ परीक्षण किया। उन्होंने 12 स्वयंसेवकों को दो अलग-अलग परिदृश्य दिखाए: एक नर्स ज़ेल्डा के बारे में जिसने अपनी पसंदीदा छुट्टियाँ प्राप्त कीं, और दूसरा नर्स हावर्ड के बारे में जिसे उसकी पसंदीदा शिफ्ट नहीं मिली।

परिणाम काफी उत्साहजनक थे।

• समझ: जब पूछा गया, "क्या यह स्पष्टीकरण समझ में आता है?", तो 75% लोगों ने दोनों कहानियों के लिए तुरंत "हाँ" कहा। अन्य 16.7% से 25% ने कहा "हाँ, लेकिन मुझे इसे दोबारा पढ़ना पड़ा।" बहुत कम हिस्सा (8.3% या 0%) था जिन्होंने कहा कि इसका कोई अर्थ नहीं है।
• गहराई: जब उन्हें 1 से 5 के पैमाने पर अपनी समझ को रेट करने के लिए कहा गया, तो अधिकांश लोगों ने इसे 4 या 5 दिया। यह सुझाव देता है कि "क्या-होता-अगर" वाली कहानियाँ स्पष्ट और सहायक थीं।
• बहुत अधिक जानकारी?: शोधकर्ताओं को डर था कि वे बहुत अधिक जानकारी दे रहे हैं (बातचीत के एक नियम का उल्लंघन जिसे "मात्रा" या Quantity कहा जाता है)। हालाँकि, अधिकांश लोगों को लगा कि जानकारी की मात्रा बिल्कुल सही थी। एकमात्र अड़चन दूसरी कहानी में आई, जहाँ कुछ लोगों को लगा कि उन्हें अन्य विकल्पों के न चुने जाने के बारे में और अधिक विवरण चाहिए था। प्रोग्राम ने एक छोटी सी टिप्पणी जोड़ी थी, "अन्य शेड्यूल भी नियम तोड़ सकते हैं," लेकिन कुछ उपयोगकर्ताओं को लगा कि यह स्पष्ट करने के बजाय भ्रमित करने वाला था।

निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने एआई के रहस्य को हमेशा के लिए सुलझा लिया है। इसके बजाय, यह एक विशिष्ट प्रकार की समस्या के लिए एक ठोस, कार्यशील ढांचा प्रदान करता है: यह समझाना कि एक नियम का पालन करने वाले एआई ने एक चुनाव क्यों किया। "दंड" प्रणाली का उपयोग करके, शोधकर्ता स्वचालित रूप से ऐसी कहानियाँ बना सकते हैं जो कहती हैं, "मैंने X किया क्योंकि Y करने से एक बड़ी समस्या होती।"

अध्ययन बताता है कि इस प्रकार का कंट्रास्टिव रीजनिंग—विकल्पों के कारण होने वाली परेशानी दिखाकर चुनाव को समझाना—इंसानों के लिए अच्छा काम करता है। यह ठंडे, कठोर तर्क को एक ऐसी कथा (narrative) में बदल देता है जो बातचीत जैसा महसूस होता है। हालांकि वर्तमान संस्करण थोड़ा कठोर है (यह एक बार में एक प्रश्न का उत्तर देता है और कभी-कभी जटिल गणित में फंस जाता है), यह सिद्ध करता है कि हम ऐसे एजेंट बना सकते हैं जो न केवल काम करते हैं, बल्कि हमें यह भी बता सकते हैं कि उन्होंने वह क्यों किया, एक ऐसे तरीके से जो हमें उन पर थोड़ा और भरोसा करने में मदद करता है।