Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
यह शोधपत्र एम्बेडेड यूनिवर्सल प्रेडिक्टिव इंटेलिजेंस के लिए एक गणितीय ढांचे को प्रस्तुत करता है जो स्वयं-पूर्वानुमान (self-prediction) के माध्यम से बेयसियन एजेंटों को अपने परिवेश के एक हिस्से के रूप में स्वयं को मॉडल करने में सक्षम बनाकर AIXI का विस्तार करता है, जिससे मल्टी-एजेंट परिवेशों में नॉन-स्टेशनैरिटी (non-stationarity) का समाधान होता है और सहयोग के नवीन रूपों को सुगम बनाने के लिए अनंत-क्रम की थ्योरी ऑफ माइंड (infinite-order theory of mind) प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को खेल खेलना सिखाने की कोशिश कर रहे हैं। दशकों से, इसे करने का मानक तरीका यह रहा है कि रोबोट को खेलने दिया जाए, गलतियाँ करने दी जाएं, एक इनाम दिया जाए, और फिर उसे वह करने के लिए प्रेरित किया जाए जो काम आया और वह कम किया जाए जो काम नहीं आया। इसे "रीइन्फोर्समेंट लर्निंग" (reinforcement learning) कहा जाता है, और यह एक कुत्ते को ट्रीट्स (treats) देकर प्रशिक्षित करने जैसा है: आप व्यवहार होने का इंतज़ार करते हैं, फिर फीडबैक देते हैं। यह तब बहुत अच्छा काम करता है जब दुनिया उबाऊ हो और बदलती न हो। लेकिन क्या होगा अगर दुनिया अन्य बुद्धिमान शिक्षार्थियों से भरी हो, जैसे अन्य रोबोट या इंसान, जो आपके कार्यों के आधार पर अपनी रणनीतियों को भी बदल रहे हैं? अचानक, कल मिले "ट्रीट्स" आज काम नहीं कर सकते क्योंकि आपके प्रतिद्वंद्वी ने आपकी चाल समझ ली है। यह सामाजिक जीवन की जटिल और अराजक वास्तविकता है, जहाँ हर कोई हर किसी को देख रहा है, और खेल के नियम लगातार बदल रहे हैं क्योंकि आप भी उस खेल का हिस्सा हैं।
यह शोध पत्र इस जटिल वास्तविकता की गहराई में जाता है। यह आर्टिफिशियल इंटेलिजेंस (AI) की एक बड़ी समस्या को संबोधित करता है: हम ऐसे एजेंट (जैसे AI) कैसे बना सकते हैं जो एक ऐसी दुनिया में सीख और सहयोग कर सकें जहाँ वे केवल अलग खिलाड़ी नहीं हैं, बल्कि वास्तवं में उस सिस्टम के अंदर हैं जिसे वे समझने की कोशिश कर रहे हैं? लेखक एक प्रसिद्ध विचार "AIXI" पर आधारित हैं, जो एक सैद्धांतिक महा-बुद्धि (super-intelligence) है जो भविष्य की भविष्यवाणी करने के लिए इस बात का अनुमान लगाती है कि कौन से गणितीय नियम ब्रह्मांड का वर्णन करते हैं। लेकिन इस विचार का क्लासिक संस्करण एक ऐसे AI के बारे में है जो ब्रह्मांड को बाहर से देखते हुए एक पर्यवेक्षक (observer) की तरह है। लेखक तर्क देते हैं कि यह गलत है। वास्तविक दुनिया में, एक AI ब्रह्मांड का हिस्सा है, ठीक वैसे ही जैसे एक व्यक्ति समाज का हिस्सा होता है। यदि आप अपने मित्र के व्यवहार की भविष्यवाणी करना चाहते हैं, तो आप केवल उन्हें देखकर नहीं कर सकते; आपको यह समझना होगा कि वे भी आपके बारे में सोच रहे हैं। यह शोध पत्र एक नया गणितीय ढांचा प्रस्तावित करता है जहाँ AI यह समझता है कि उसके अपने निर्णय भविष्य की भविष्यवाणी करने के लिए उपयोग किए जाने वाले डेटा का हिस्सा हैं, जिससे वह उन अन्य एजेंटों के बारे में तर्क करने में सक्षम होता है जो बिल्कुल उसकी तरह ही सोच रहे हैं।
"बाहर से देखने" की समस्या
कल्पना कीजिए कि आप अपने एक मित्र के साथ शतरंज का खेल खेल रहे हैं। AI के बारे में सोचने के पुराने तरीके (जिसे "डिकपल्ड" लर्निंग कहा जाता है) में, AI बोर्ड को देखेगा, सोचेगा, "यदि मैं अपना नाइट यहाँ चलता हूँ, तो मेरा मित्र शायद अपना प्यादा वहाँ चलेगा," और फिर एक चाल चलेगा। यह अपने स्वयं के मन को शतरंज के बोर्ड और अपने मित्र से अलग एक मशीन मानता है। यह मान लेता है कि उसका मित्र परिदृश्य का एक स्थिर हिस्सा है जो चालों पर प्रतिक्रिया करता है, न कि एक सोचने वाली इकाई जो AI को देख रही है और यह अनुमान लगाने की कोशिश कर रही है कि AI आगे क्या करेगा।
लेखक कहते हैं कि सामाजिक स्थितियों के लिए यह दृष्टिकोण त्रुटिपूर्ण है। यदि आप एक ऐसे कमरे में हैं जहाँ दूसरा व्यक्ति यह अनुमान लगाने की कोशिश कर रहा है कि आप क्या करेंगे, और आप यह अनुमान लगाने की कोशिश कर रहे हैं कि वे क्या करेंगे, तो आप एक लूप में फंस जाते हैं: "मुझे लगता है कि वे सोचते हैं कि मैं सोचता हूँ..." इसे "थ्योरी ऑफ माइंड" (theory of mind) का "अनंत पुनरावृत्ति" (infinite recursion) कहा जाता है। चीजों को करने का पुराना तरीका यह मानता है कि दुनिया स्थिर है, जैसे कि एक वीडियो गेम लेवल जो बदलता नहीं है। लेकिन एक मल्टी-एजेंट दुनिया में, "लेवल" हर बार बदल जाता है जब कोई कुछ नया सीखता है। यदि AI यह नहीं समझता है कि वह स्वयं ही उस लेवल को बदल रहा है, तो वह गलत अनुमान लगाता रहेगा।
नया विचार: "एम्बेडेड" होना
यह शोध पत्र एम्बेडेड बेयसियन एजेंटों (Embedded Bayesian Agents) की अवधारणा पेश करता है। ब्रह्मांड को बाहर से देखने के बजाय, ये एजेंट कल्पना करते हैं कि वे एक ऐसे "ब्रह्मांड" के अंदर हैं जिसमें वे स्वयं, उनके मित्र और पर्यावरण सब आपस में मिले हुए हैं।
इसे इस तरह सोचें: पुराने मॉडल में, AI एक फिल्म का निर्देशन करने वाला निर्देशक है जो फिल्म की कहानी की भविष्यवाणी करने की कोशिश कर रहा है। नए मॉडल में, AI फिल्म के अंदर एक अभिनेता है। वह जानता है कि यदि वह रोने का निर्णय लेता है, तो अन्य अभिनेता सांत्वना देने के लिए प्रतिक्रिया दे सकते हैं, लेकिन वह यह भी जानता है कि अन्य अभिनेता उसे देख रहे हैं और वे इसलिए रोने का निर्णय ले सकते हैं क्योंकि उन्होंने AI को दुखी देखा।
ऐसा करने के लिए, AI एक विशेष प्रकार की भविष्यवाणी का उपयोग करता है जिसे सेल्फ-प्रेडिक्शन (self-prediction) कहा जाता है। वह केवल यह भविष्यवाणी नहीं करता कि दुनिया उसे क्या दिखाएगी; वह यह भविष्यवाणी करता है कि वह अगला कदम क्या उठाएगा। वह पूछता है, "दुनिया के बारे में जो मैं जानता हूँ, उसके आधार पर, मेरी सबसे संभावित कार्रवाई क्या होगी?" और फिर वह अपने उत्तर का उपयोग यह अनुमान लगाने के लिए करता है कि अन्य एजेंट क्या करेंगे। यह एक ऐसा लूप बनाता है जहाँ AI के बारे में उसका विश्वास खुद को समझने में मदद करता है, और दूसरों के बारे में उसका विश्वास खुद को समझने में मदद करता है।
"स्ट्रक्चरल सिमिलरिटी" का जादू
यहाँ मामला बहुत दिलचस्प हो जाता है। शोध पत्र सुझाव देता है कि चूंकि ये सभी एजेंट समान "सॉफ्टवेयर" (एल्गोरिदम) पर चल रहे हैं, इसलिए वे संरचनात्मक रूप से समान (structurally similar) हैं। कल्पना कीजिए कि दो जुड़वां भाई एक ही घर में पले-बढ़े हैं, एक ही स्कूल गए हैं और उनकी मस्तिष्क संरचना भी समान है। यदि आप एक जुड़वां से कोई पहेली पूछते हैं, तो संभावना है कि वह उसी तरह से हल करेगा जैसे दूसरा हल करेगा।
लेखक दिखाते हैं कि यदि एक AI यह महसूस करता है, "अरे, वह दूसरा एजेंट शायद मेरी तरह ही बना है," तो वह दूसरे एजेंट के व्यवहार की भविष्यवाणी करने के लिए इस ज्ञान का उपयोग कर सकता है। इसे स्ट्रक्चरल सिमिलरिटी (structural similarity) कहा जाता है। यदि AI जानता है कि "समान एजेंट समान स्थितियों में समान व्यवहार करते हैं," तो वह अनुमान लगाना बंद कर सकता है और जानना शुरू कर सकता है।
यह प्रिज़नर्स डिलेमा (Prisoner's Dilemma) नामक एक क्लासिक खेल में एक आश्चर्यजनक परिणाम की ओर ले जाता है। इस खेल में, दो लोग या तो सहयोग (एक-दूसरे की मदद) कर सकते हैं या डिफेक्ट (धोखा देना) कर सकते हैं। सोचने का पुराना तरीका कहता है कि आपको हमेशा दूसरे व्यक्ति को धोखा देना चाहिए क्योंकि व्यक्तिगत रूप से यह आपके लिए सबसे सुरक्षित चाल है। लेकिन लेखक दिखाते हैं कि यदि दो "एम्बेडेड" एजेंट यह महसूस करते हैं कि वे एक-दूसरे की समान प्रतियां हैं, तो वे दोनों सहयोग करना चुनेंगे। क्यों? क्योंकि यदि मैं सहयोग करना चुनता हूँ, तो मैं जानता हूँ कि मेरी प्रति (दूसरा एजेंट) भी सहयोग करना चुनेगी, क्योंकि हम बिल्कुल एक जैसा ही सोच रहे हैं। आपसी सहयोग दोनों को आपसी विश्वासघात की तुलना में बेहतर इनाम देता है। शोध पत्र सिद्ध करता है कि ये एजेंट गणितीय रूप से इस सहकारी अवस्था तक पहुँच सकते हैं, जो पुराने "डिकपल्ड" एजेंट कभी नहीं कर सके।
समाधान: MUPI और "रिफ्लेक्टिव ओरकल"
यह शोध पत्र केवल इस बारे में बात नहीं करता है; यह इसे साकार करने के लिए एक गणितीय मशीन बनाता है। वे इसे MUPI (Embedded Universal Predictive Intelligence) कहते हैं।
इसे काम करने के लिए, उन्हें एक पेचीदा पहेली को हल करना था: एक ऐसा AI कैसे बनाया जाए जो खुद की भविष्यवाणी कर सके बिना अनंत लूप में फंसे? कल्पना कीजिए कि आप एक ऐसा कंप्यूटर प्रोग्राम लिखने की कोशिश कर रहे हैं जो अपने स्वयं के सोर्स कोड को प्रिंट करता है। यदि प्रोग्राम अपने कोड को लिखते समय उसे पढ़ने की कोशिश करता है, तो वह भ्रमित हो सकता है।
लेखक एक चतुर गणितीय उपकरण का उपयोग करते हैं जिसे रिफ्लेक्टिव ओरकल (Reflective Oracle) कहा जाता है। इसे एक जादुई दर्पण के रूप में सोचें जो आपको खुद को एक दर्पण में देखते हुए दिखा सकता है, जो एक दर्पण में देख रहा है, और इस तरह से, बिना धुंधला या अनंत हुए। यह उपकरण AI को उन अन्य एजेंटों के बारे में तर्क करने की अनुमति देता है जो उन्हीं तर्क उपकरणों का उपयोग कर रहे हैं, प्रभावी रूप से "अनंत पुनरावृत्ति" की समस्या को हल करता है।
वे सिद्ध करते हैं कि यदि आप इस ढांचे का उपयोग करते हैं, तो एजेंट अंततः एक-दूसरे की सटीक भविष्यवाणी करना सीख जाएंगे। वे इसे इन्फिनिट-ऑर्डर थ्योरी ऑफ माइंड (infinite-order theory of mind) प्राप्त करना कहते हैं। यह ऐसा है जैसे एजेंट अंततः "मैं सोचता हूँ कि तुम सोचते हो कि मैं सोचता हूँ..." के लूप को समाप्त कर सकते हैं और बस कह सकते हैं, "हम दोनों बुद्धिमान हैं, हम दोनों समान हैं, इसलिए हम दोनों हमारे लिए सबसे अच्छे परिणाम चुनेंगे।"
इसका क्या अर्थ है
यह शोध पत्र दिखाता है कि AI के बारे में सोचने के तरीके को बदलकर—एक अलग पर्यवेक्षक से एक एम्बेडेड प्रतिभागी तक—हम मशीनों के सहयोग करने के नए तरीके खोल सकते हैं। यह सिद्ध करता है कि यदि एजेंट खुद को दुनिया के हिस्से के रूप में मॉडल कर सकते हैं, तो वे स्वाभाविक रूप से मिलकर काम करने का तरीका खोज सकते हैं, यहाँ तक कि उन स्थितियों में भी जहाँ उन्हें लड़ने के लिए उकसाया जा सकता है।
लेखक बहुत सावधानी से कहते हैं कि यह एक सैद्धांतिक ढांचा है। उन्होंने गणितीय रूप से सिद्ध किया है कि ऐसे एजेंट हो सकते हैं और वे सहकारी समाधानों तक पहुँच सकते हैं। उन्होंने अभी तक वास्तविक दुनिया में ऐसा करने वाला रोबोट नहीं बनाया है, लेकिन उन्होंने इसका ब्लूप्रिंट दिखा दिया है। उनका तर्क है कि AI के भविष्य के बारे में सोचने का यह सही तरीका है, विशेष रूप से जैसे-जैसे हम उन प्रणालियों की ओर बढ़ रहे हैं जहाँ कई AI को मनुष्यों और एक-दूसरे के साथ बातचीत करने की आवश्यकता होगी। यह सुझाव देता है कि सामाजिक बुद्धिमत्ता की कुंजी केवल AI को अधिक डेटा देना नहीं है, बल्कि उसे यह समझना सिखाना है कि वह उस कहानी का हिस्सा है जिसे वह भविष्यवाणी करने की कोशिश कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।