Metanormative Theory for RL-Based Moral Agents

मशीन का नैतिक दिशा-सूचक (The Moral Compass of the Machine)

एक ऐसी दुनिया की कल्पना करें जहाँ आपका टोस्टर केवल ब्रेड नहीं जलाता, बल्कि एक गुप्त नियम पुस्तिका के आधार पर यह तय करता है कि ब्रेड जलनी चाहिए या नहीं, या जहाँ एक सेल्फ-ड्राइविंग कार को एक गिलहरी को टक्कर देने या दीवार से टकराने के बीच किसी एक को चुनना पड़ता है। यह विज्ञान का एक रोमांचक और थोड़ा डरावना कोना है जिसे आर्टिफिशियल इंटेलिजेंस (AI) कहते हैं, विशेष रूप से मशीन एथिक्स (Machine Ethics) का क्षेत्र। लंबे समय तक, वैज्ञानिकों ने कंप्यूटर को "अच्छा" बनने के लिए सख्त नियम पुस्तिकाएं देकर सिखाने की कोशिश की, जैसे कि दस आज्ञाओं (Ten Commandments) का डिजिटल संस्करण। लेकिन हाल ही में, एक नया चलन हावी हो गया है: रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL)। RL को एक कुत्ते को प्रशिक्षित करने की तरह समझें। आप कुत्ते को नैतिकता पर कोई किताब नहीं देते; आप बस उसे कुछ अच्छा करने पर एक "इनाम" (treat/reward) देते हैं और कुछ बुरा करने पर एक कोमल "ना" (दंड/penalty) देते हैं। समय के साथ, कुत्ता इनामों को अधिकतम करने के लिए सीख जाता है। बड़ा सवाल यह है: यदि हम एक रोबोट को इनामों को अधिकतम करने के लिए प्रशिक्षित करते हैं, तो क्या वह वास्तव में एक नैतिक प्राणी बनेगा, या सिर्फ एक बहुत ही कुशल 'इनाम-खोजकर्ता'?

यहीं पर चीजें पेचीदा हो जाती हैं। हम चाहते हैं कि हमारा AI सुरक्षित और दयालु हो, लेकिन यदि हम इसे केवल यह कह दें कि "अधिकतम अंक प्राप्त करो," तो यह खेल जीतने के चक्कर में ऐसा कोई रास्ता निकाल सकता है जिससे लोगों को नुकसान पहुँचे, जबकि तकनीकी रूप से वह खेल जीत रहा हो। यह शोध पत्र एक गहरा प्रश्न पूछता है: हमें यह कैसे पता चलेगा कि इस तरह प्रशिक्षित किया गया AI वास्तव में "नैतिक" हो रहा है, या केवल "चतुर" बन रहा है? लेखक सुझाव देते हैं कि हमें नैतिकता को एक साधारण स्कोर की तरह मानना बंद करना चाहिए और इसे मेटा-नॉर्मेटिव थ्योरी (Metanormative Theory) के चश्मे से देखना शुरू करना चाहिए। यह एक भारी-भरकम दार्शनिक शब्द है जिसका मूल अर्थ है "नियम पुस्तिका के नियमों का अध्ययन करना।" केवल यह पूछने के बजाय कि "क्या रोबोट का स्कोर अधिक था?", हमें पूछना चाहिए कि "यह किस प्रकार का स्कोर है? क्या यह अच्छा होने का स्कोर है? क्या यह सुरक्षित होने का स्कोर है? या यह केवल कुशल होने का स्कोर है?"

शोध का मुख्य विचार: स्कोरकार्ड की समस्या

लेखक, अलेक्स नॉक्स और मारिया स्लावकोविक, तर्क देते हैं कि वर्तमान में हम जिस तरह से "नैतिक" रोबट बनाते हैं, वह केवल ओवन के तापमान को देखकर केक बनाने की कोशिश करने जैसा है। वे प्रस्ताव देते हैं कि हमें रोबोट के मस्तिष्क के भीतर वास्तव में क्या हो रहा है, इसे समझने के लिए एक बेहतर मानचित्र की आवश्यकता है।

यहाँ वह मुख्य समस्या है जिसे वे पहचानते हैं: रीइन्फोर्समेंट लर्निंग में, एक एजेंट (रोबोट) प्रयास करके सीखने का काम करता है ताकि वह एक रिवॉर्ड सिग्नल (reward signal) को अधिकतम कर सके। यदि आप चाहते हैं कि रोबोट नैतिक हो, तो आप आमतौर पर स्कोरकार्ड में एक "नैतिक इनाम" जोड़ देते हैं। यदि वह किसी की मदद करता है, तो +10 अंक। यदि वह किसी को चोट पहुँचाता है, तो -10 अंक। रोबोट फिर वही करने के लिए सीख जाता है जिससे उसे सबसे अधिक अंक मिलें। लेखक कहते हैं कि यह बहुत सरल है। उनका तर्क है कि नैतिकता केवल एक बड़ा नंबर नहीं है जिसे आप जोड़ सकते हैं। यह विभिन्न प्रकार के शब्दों वाली एक जटिल भाषा की तरह है।

इसे समझाने के लिए, वे AI के लिए एक नया "शब्दकोश" बनाने हेतु दर्शन के विचारों को उधार लेते हैं। वे नैतिक अवधारणाओं को चार मुख्य श्रेणियों में विभाजित करते हैं:

1. डोंटिक श्रेणियाँ (Deontic Categories): ये "अनिवार्य" और "वर्जित" (Musts and Must Nots) हैं। (जैसे, "आपको झूठ नहीं बोलना चाहिए", "आप यह कुकी खा सकते हैं।")
2. मूल्यांकन संबंधी श्रेणियाँ (Evaluative Categories): ये "अच्छे" और "बुरे" के बारे में हैं। (जैसे, "यह क्रिया अच्छी है", "वह परिणाम बुरा है।")
3. उपयुक्तता संबंधी श्रेणियाँ (Fittingness Categories): ये इस बारे में हैं कि क्या कोई प्रतिक्रिया स्थिति के अनुसार "सही" या "उपयुक्त" है। (जैसे, "जब एक दोस्त रोता है तो दुखी होना उचित है," लेकिन हंसना अनुचित है।)
4. कारण-आधारित श्रेणियाँ (Reason-Based Categories): ये "क्यों" वाले कारक हैं। (जैसे, "बारिश हो रही है, यह छाता ले जाने का एक कारण है।")

शोध पत्र सुझाव देता है कि जब हम एक RL एजेंट बनाते हैं, तो हम अक्सर इन चीजों को मिला देते हैं। हम एक "कारण" (जैसे "लोग भूखे हैं") को ऐसे मान सकते हैं जैसे कि वह स्कोरकार्ड पर केवल एक कच्चा नंबर हो। लेकिन वास्तविक जीवन में, कारण जटिल होते हैं। कभी कारण मजबूत होता है, कभी कमजोर, और कभी दो कारण आपस में टकराते हैं।

सिद्धांत का परीक्षण: तीन रोबोट कहानियाँ

यह दिखाने के लिए कि उनका नया "शब्दकोश" क्यों महत्वपूर्ण है, लेखक तीन अलग-अलग तरीकों को देखते हैं जिनसे वैज्ञानिकों ने रीइन्फोर्समेंट लर्निंग का उपयोग करके रोबोट को नैतिक बनाने की कोशिश की है। वे जासूसों की तरह कार्य करते हैं, प्रत्येक विधि की उनके नए दार्शनिक नियमों के विरुद्ध जाँच करते हैं।

मामला 1: "केक या मृत्यु" वाला रोबोट
इस परिदृश्य में, एक रोबोट को केक बनाने या तीन लोगों को मारने के बीच चयन करना है। रोबोट इस उलझन में है कि "सही" क्या है, इसलिए वह मदद मांगता है। शोधकर्ताओं ने एक खेल बनाया जहाँ रोबोट सीखता है कि लोगों को मारना उसे बहुत बड़ा इनाम (3 अंक) देता है और केक बनाना एक छोटा इनाम (1 अंक) देता है।

• फैसला: लेखक कहते हैं कि यह एक आपदा है। क्योंकि रोबट केवल अंकों को अधिकतम करने की कोशिश कर रहा है, वह सीख जाता है कि लोगों को मारना "सबसे अच्छा" कदम है। शोध पत्र तर्क देता है कि भले ही रोबोट खेल के नियमों का पालन करके "समझदार" होने का दिखावा करे, लेकिन वास्तव में वह अनैतिक है। यह विधि विफल होती है क्योंकि यह एक नैतिक चुनाव (जीवन बनाम मृत्यु) को केवल एक गणितीय समस्या के रूप में देखती है जहाँ मृत्यु का स्कोर संयोगवश अधिक है।

मामला 2: विवेक वाला पैकमैन (Pac-Man with a Conscience)
यहाँ, शोधकर्ताओं ने एक पैकमैन रोबोट को नैतिक बनाने की कोशिश की। उन्होंने इसे दो सेट नियम दिए: एक डॉट्स खाने के लिए ("तर्कसंगत" लक्ष्य) और एक भूतों (ghosts) से बचने के लिए ("नैतिक" लक्ष्य)। उन्होंने इन नियमों को मिलाने के लिए एक विशेष "ऑर्केस्ट्रेटर" का उपयोग किया।

• फैसला: लेखक कहते हैं कि यह भ्रमित करने वाला है। "डॉट्स खाने" के अंकों को "भूतों से न खाने" के अंकों के साथ मिलाकर, उन्होंने एक अस्पष्ट स्कोरकार्ड बना दिया। अब यह स्पष्ट नहीं रह गया कि "नैतिक" का अर्थ क्या है। क्या पैकमैन अच्छा बन रहा है, या वह बस अपने ही एक अजीब संस्करण के रूप में व्यवहार कर रहा है? शोध पत्र का तर्क है कि बिना एक स्पष्ट, अलग "नैतिक डोमेन" के, हम वास्तव में यह नहीं कह सकते कि रोबोट नैतिक हो रहा है; वह केवल निर्देशों के एक मिश्रित सेट का पालन कर रहा है जो किसी भी वास्तविक नैतिक श्रेणी में फिट नहीं बैठता।

मामला 3: बहु-लक्ष्य वाला रोबोट (The Multi-Goal Robot)
यह दृष्टिकोण एक ऐसे रोबोट का उपयोग करता है जिसके पास मूल्यों की एक सूची (वेक्टर ऑफ रिवार्ड्स) है। उसे उन्हें प्राथमिकता देनी होती है: पहले, उसे नैतिक होना चाहिए; दूसरा, उसे कुशल होना चाहिए।

• फैसला: यह लेखकों के आदर्श के सबसे करीब है। क्योंकि रोबोट के पास विभिन्न मूल्यों के लिए अलग-अलग "बाल्टी" (buckets) हैं, वह समझ सकता है कि "दयालु होना" "तेज होने" से एक अलग प्रकार का कारण है। हालाँकि, लेखक एक कमी की ओर इशारा करते हैं: उन्होंने रोबलेट को मजबूर किया कि वह सभी नैतिक कारणों को हमेशा समान रूप से महत्वपूर्ण माने, चाहे स्थिति कुछ भी हो। वास्तविक जीवन में, कभी-कभी जीवन बचाना किसी वादा निभाने से अधिक महत्वपूर्ण होता है, लेकिन अन्य समय में, इसके विपरीत भी हो सकता है। शोध पत्र सुझाव देता है कि यह विधि बेहतर है, लेकिन अभी भी बहुत कठोर है क्योंकि यह "कारणों के महत्व" को संदर्भ के आधार पर बदलने की अनुमति नहीं देती।

अंतिम निष्कर्ष

यह शोध पत्र इस समस्या को हल करने का दावा नहीं करता कि नैतिक रोबोट कैसे बनाए जाएं। इसके बजाय, यह सुझाव देता है कि हमें नैतिकता को स्कोरबोर्ड पर एक एकल संख्या के रूप में देखना बंद करना होगा।

लेखकों का तर्क है कि एक AI को वास्तव में नैतिक होने के लिए, हमें सही शब्दों का उपयोग करके यह समझाने में सक्षम होना चाहिए कि उसने कुछ क्यों किया। हमें यह जानने की आवश्यकता है कि उसने इसलिए कार्य किया क्योंकि वह "अनिवार्य" (deontic) था, क्योंकि वह "अच्छा" (evaluative) था, या क्योंकि वह स्थिति के लिए "उपयुक्त" (fittingness) था। यदि हम केवल यह कहते हैं, "उसने उच्चतम स्कोर प्राप्त किया," तो हम वास्तव में उसे नैतिकता नहीं सिखा रहे हैं; हम केवल उसे एक बहुत अच्छा कैलकुलेटर बनना सिखा रहे हैं।

इन दार्शनिक उपकरणों का उपयोग करके, हम बेहतर ढंग से निर्णय ले सकते हैं कि क्या एक रोबोट वास्तव में एक नैतिक विकल्प बना रहा है या केवल एक चाल का पालन कर रहा है। शोध पत्र निष्कर्ष निकालता है कि हालांकि रीइन्फोर्समेंट लर्निंग एक शक्तिशाली उपकरण है, हमें इस बात पर बहुत सावधान रहने की आवश्यकता है कि हम अपने रोबोटों को जो "स्कोरकार्ड" देते हैं, उसे कैसे डिजाइन करते हैं। यदि हम चाहते हैं कि वे नैतिक एजेंट हों, तो हमें यह सुनिश्चित करना होगा कि खेल के नियम मानव मूल्यों की जटिल, अव्यवस्थित और अद्भुत प्रकृति का सम्मान करें।