Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर सिर्फ गेम नहीं खेलते, बल्कि अच्छे साथी बनना भी सीखते हैं। यह मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (Multi-Agent Reinforcement Learning) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर प्रोग्राम (एजेंट्स) चीज़ों को आज़माकर और अच्छे मूव्स के लिए पॉइंट्स पाकर सहयोग करना सीखते हैं। आमतौर पर, ये एजेंट स्वार्थी होते हैं; वे केवल अपने स्कोर की परवाह करते हैं। यदि वे बड़ा इनाम पाने के लिए किसी साथी को धोखा दे सकते हैं, तो वे अक्सर ऐसा करते हैं। इसे रोकने के लिए, वैज्ञानिक उनके स्कोर में एक "सोशल बोनस" जोड़कर उन्हें दूसरों की परवाह करना सिखाने की कोशिश करते हैं। लेकिन पेचीदा बात यह है: इस बोनस की कीमत कितनी होनी चाहिए? क्या यह एक धीमी फुसफुसाहट होनी चाहिए या एक ज़ोरदार चीख? अब तक, वैज्ञानिक ज्यादातर अंदाज़ा लगाते रहे हैं या इन नंबरों को हाथ से ट्यून करते रहे हैं, इस उम्मीद में कि शायद सही मात्रा मिल जाए।

बड़ा सवाल जिसका यह पेपर समाधान करता है वह यह है: क्या हम अंदाज़ा लगाना बंद कर सकते हैं और सटीक रूप से माप सकते हैं कि जब इंसान किसी दोस्त को निराश करता है, तो उसे कितना महसूस होता है? लेखक एक भावना की ओर देखते हैं जिसे गिल्ट (अपराधबोध) कहा जाता है—वह पेट में होने वाली भारीपन की अनुभूति जब आपके किसी चुनाव से किसी दूसरे को ठेस पहुँचती है। वे सोचते हैं कि क्या वे मानव गिल्ट के "वजन" को लैब में माप सकते हैं, और फिर उस सटीक नंबर को एक कंप्यूटर को सौंप सकते हैं ताकि वह अपने साथी की देखभाल ठीक वैसे ही करे जैसे एक इंसान करता है। यदि वे सफल होते हैं, तो हम ऐसा AI बना पाएंगे जो केवल सख्त नियमों का पालन नहीं करता, बल्कि वास्तव में अपने कार्यों की भावनात्मक लागत को समझता है।

---

प्रयोग: रोबोट्स को गिल्ट महसूस करना सिखाना

इस अध्ययन में, दो शोधकर्ताओं, आदित्य मेहता और आर्या शाह ने अंदाज़ा लगाना बंद करने और मापना शुरू करने का निर्णय लिया। वे देखना चाहते थे कि क्या वे वास्तविक मानव डेटा का उपयोग करके कृत्रिम गिल्ट को "कैलिब्रेट" (परिशुद्ध) कर सकते हैं। इसे एक रेडियो ट्यून करने जैसा समझें: डायल को तब तक घुमाने के बजाय जब तक संगीत ठीक न लगे, उन्होंने उस सटीक फ्रीक्वेंसी को खोज लिया जहाँ मानव मस्तिष्क गिल्ट का गीत गाता है, और फिर उन्होंने रोब-ट को उसी स्टेशन पर ट्यून कर दिया।

उन्हें डेटा कहाँ से मिला?
उन्होंने SoDec नामक एक सार्वजनिक डेटासेट का उपयोग किया, जिसमें 40 वास्तविक लोगों के ब्रेन स्कैन और व्यवहार संबंधी रिकॉर्ड शामिल हैं। मूल प्रयोग में, इन लोगों ने एक खेल खेला जहाँ उन्हें सेफ (सुरक्षित) विकल्प (एक गारंटीकृत छोटा इनाम) और रिस्की (जोखिम भरा) विकल्प (एक कॉइन फ्लिप जो बड़ा इनाम दे सकता है या कुछ भी नहीं) के बीच चयन करना था। कभी-कभी वे अपने लिए खेलते थे, और कभी-कभी वे अपने और एक साथी के लिए खेलते थे।

शोधकर्ताओं ने एक विशिष्ट क्षण को देखा: जब एक व्यक्ति ने रिस्की विकल्प चुना, और साथी का परिणाम बुरा रहा। शोधकर्ताओं ने पूछा: एक व्यक्ति की खुशी कितनी कम हो जाती है क्योंकि वह अपने साथी की बदकिस्मती के लिए खुद को जिम्मेदार महसूस करता है? डेटा का विश्लेषण करके, उन्होंने एक विशिष्ट संख्या की गणना की जो इस "गिल्ट वेट" (अपराधबोध के वजन) का प्रतिनिधित्व करती है। उन्होंने पाया कि साथी द्वारा झेली गई प्रत्येक इकाई बदकिस्मती के लिए, व्यक्ति की खुशी 1.118 के कारक से गिर गई।

रोबोट गेम
इसके बाद, उन्होंने सोशल लॉटरी (Social Lottery) नामक एक डिजिटल प्लेग्राउंड बनाया। उन्होंने दो AI एजेंटों (एक स्मार्ट लर्निंग मेथड PPO का उपयोग करते हुए) को इस गेम में डाला। एजेंटों को वही सेफ बनाम रिस्की विकल्प चुनने थे। शोधकर्ताओं ने एजेंटों को सिखाने के चार अलग-अलग तरीके टेस्ट किए:

1. द सेलिश रोबोट (स्वार्थी रोबोट): कोई गिल्ट नहीं। इसे केवल अपने पॉइंट्स की परवाह थी।
2. द गेसिंग रोबोट (अंदाज़ा लगाने वाला रोबोट): इसमें एक गिल्ट पेनल्टी थी, लेकिन वह नंबर बस एक रैंडम अंदाज़ा (0.5) था।
3. द "परफेक्ट" रोबोट: इसमें ठीक 1.0 की गिल्ट पेनल्टी थी, जो एक मानक, साफ-सुथरा नंबर है जिसका वैज्ञानिक अक्सर उपयोग करते हैं।
4. द ह्यूमन-मेज़र्ड रोबोट (मानव-मापा गया रोबोट - NeuroGuilt): इसने मानव मस्तिष्क डेटा से प्राप्त सटीक नंबर का उपयोग किया: 1.118।

क्या हुआ?
रोबोट्स को 20,000 राउंड खेलने देने के बाद, परिणाम बेहद दिलचस्प थे।

• सेलिश रोबोट टीम वर्क के लिए एक आपदा साबित हुआ। इसने लगभग हर समय रिस्की विकल्प चुना (केवल 10% सेफ विकल्प), अपने साथी की सुरक्षा को पूरी तरह से अनदेखा कर दिया।
• गेसिंग रोबोट थोड़ा बेहतर था लेकिन फिर भी बहुत देखभाल करने वाला नहीं था।
• "परफेक्ट" रोबोट (सटीक नंबर 1.0 के साथ) ठीक-ठाक था, लेकिन यह अभी भी इंसानों के व्यवहार से पूरी तरह मेल नहीं खा रहा था।
• ह्यूमन-मेज़र्ड रोबोट सबसे शानदार प्रदर्शन करने वाला रहा। इसने 45.9% समय सेफ विकल्प चुना।

यह क्यों बड़ी बात है?
शोधकर्ताओं ने रोबोट्स के विकल्पों की तुलना मूल अध्ययन के 40 मनुष्यों द्वारा किए गए वास्तविक विकल्पों से की। मनुषियों ने 48.4% समय सेफ विकल्प चुना।

ह्यूमन-मेज़र्ड रोबोट मानव व्यवहार के अविश्वसनीय रूप से करीब था। रोबोट के विकल्पों और मानव विकल्पों के बीच का अंतर बहुत कम था (एक गणितीय दूरी जिसे KL डाइवर्जेंस कहा जाता है: 0.0012)। इसकी तुलना में, अन्य रोबोट्स बहुत पीछे थे, जिनका अंतर सैकड़ों गुना अधिक था।

यहाँ तक कि अधिक दिलचस्प बात यह है कि "परफेक्ट" रोबोट ने 1.0 का गिल्ट नंबर इस्तेमाल किया, जबकि "ह्यूमन-मेज़र्ड" रोबोट ने 1.118 का इस्तेमाल किया। आप सोच सकते हैं कि बड़े नंबर का मतलब अधिक पेनल्टी और बेहतर व्यवहार होगा, लेकिन यहाँ ऐसा नहीं था। थोड़े बड़े नंबर वाले रोबोट (1.118) ने वास्तव में कम गलतियाँ कीं और कुल मिलाकर कम "गिल्ट पेनल्टी मास" महसूस किया क्योंकि उसने सेफ रास्ते को अधिक बार चुना। यह साबित करता है कि यह केवल एक पेनल्टी होने के बारे में नहीं है; यह पेनल्टी की सही मात्रा के बारे में है, जो मानव अनुभव के अनुसार सटीक रूप से कैलिब्रेटेड है।

निष्कर्ष

यह पेपर सुझाव देता है कि हमें AI के लिए नैतिक होने के लिए नए नियम बनाने की आवश्यकता नहीं है। इसके बजाय, हम देख सकते हैं कि जब इंसान किसी को निराश करता है तो वास्तव में कैसा महसूस करता है, उस भावना को माप सकते हैं, और उसे सीधे मशीन में कॉपी कर सकते हैं। वास्तविक मानव मस्तिष्क से प्राप्त एक नंबर (1.118) का उपयोग करके, AI ने अपने साथी की देखभाल लगभग उतनी ही अच्छी तरह से की जितनी एक इंसान करता है।

शोधकर्ता सावधानी बरतते हुए कहते हैं कि यह एक सिमुलेशन है और मानव डेटा ने एक "छोटा-से-मध्यम" प्रभाव दिखाया जो अपने आप में सांख्यिकीय रूप से पूर्ण नहीं था। हालाँकि, परिणाम एक मजबूत संकेत हैं: यदि हम चाहते हैं कि AI मानवीय मूल्यों के अनुरूप हो, तो हमें नंबरों का अंदाज़ा लगाना बंद करना चाहिए और उनके पीछे के मानवीय अनुभव को मापना शुरू करना चाहिए। यह ऐसे AI के निर्माण की दिशा में एक कदम है जो केवल सबसे अच्छा मूव कैलकुलेट नहीं करता, बल्कि अपने निर्णयों के वजन को समझता है।