World models of environment, agent and joint agent-environment systems
यह शोधपत्र परिवेश, एजेंट और उनकी संयुक्त अंतःक्रिया के लिए मानक भविष्य कहनेवाला मॉडल (canonical predictive models) को अलग करने और परिभाषित करने के लिए कम्प्यूटेशनल मैकेनिक्स का उपयोग करने वाले एक ढांचे का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि कैसे क्लोज्ड-लूप कपलिंग और सपोर्ट रिस्ट्रिक्शन इन विश्व मॉडलों की संरचना और जटिलता को मौलिक रूप से बदल सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के आधुनिक युग में, मशीनों को अपने आस-पास की दुनिया को समझना सिखाना एक केंद्रीय चुनौती है। निर्णय लेने के लिए, एक बुद्धिमान एजेंट—चाहे वह एक रोबोट हो, एक सॉफ्टवेयर प्रोग्राम हो, या एक डिजिटल मस्तिष्क—को एक "विश्व मॉडल" (world model) की आवश्यकता होती है। यह कोई भौतिक ग्लोब नहीं है, बल्कि एक आंतरिक मानचित्र या नियमों का एक समूह है जो सिस्टम को यह भविष्यवाणी करने की अनुमति देता है कि आगे क्या होगा। यदि एक रोबट जानता है कि बटन दबाने से आमतौर पर दरवाजा खुल जाता है, तो उसके पास उस अंतःक्रिया का एक सरल मॉडल है। दशकों से, शोधकर्ता इस बात पर ध्यान केंद्रित कर रहे हैं कि ये मॉडल एजेंट के कार्यों के आधार पर भविष्य की भविष्यवाणी कैसे करते हैं। वे पूछते हैं: "यदि मैं यह क्रिया करता हूँ, तो मुझे क्या दिखाई देगा?" यह दृष्टिकोण अविश्वसनीय रूप से सफल रहा है, जिससे मशीनें कार्य करने से पहले परिणामों का अनुकरण करके जटिल कार्यों को सीख पाती हैं। हालाँकि, यह पारंपरिक दृष्टिकोण यह मान लेता है कि मॉडल केवल वातावरण को एक निष्क्रिय मंच के रूप में समझने के लिए बनाया गया है जो एजेंट के कदमों की प्रतीक्षा कर रहा है। यह एजेंट के अपने व्यवहार को एक गतिशील कहानी के बजाय एक स्थिर इनपुट के रूप में मानता है।
शोधकर्ताओं की एक टीम ने अब इन मॉडलों को देखने का एक अधिक सूक्ष्म तरीका प्रस्तावित किया है। उनका तर्क है कि आर्टिफिशियल इंटेलिजेंस वास्तव में कैसे सोचता है, इसे समझने के लिए हमें न केवल यह कि वह क्या भविष्यवाणी करता है, बल्कि यह भी कि वह सूचना के किस चैनल का प्रतिरूपण (modeling) कर रहा है, इसे अलग करना चाहिए। एजेंट और उसके परिवेश के बीच किसी भी अंतःक्रिया में, कारण और प्रभाव के प्रवाह को देखने के तीन अलग-अलग तरीके हैं। पहला, वातावरण का दृष्टिकोण है, जो एक विशिष्ट क्रिया के दिए जाने पर क्या देखा जाएगा, इसकी भविष्यवाणी करता है। दूसरा, स्वयं एजेंट का दृष्टिकोण है, जो यह भविष्यवाणी करता है कि जो कुछ वह देखता है उसे देखते हुए वह अगली क्रिया क्या करेगा। तीसरा, पूरे सिस्टम के एक साथ काम करने का दृष्टिकोण है, जो उन वास्तविक क्रियाओं और प्रेक्षणों के अनुक्रम की भविष्यवाणी करता है जो तब प्रकट होते हैं जब दोनों एक लूप में बंधे होते हैं। शोधकर्ताओं ने प्रत्येक तीन दृष्टिकोणों के लिए सबसे कुशल, न्यूनतम मॉडल को परिभाषित करने के लिए 'कंप्यूटेशनल मैकेनिक्स' नामक एक गणितीय ढांचे का उपयोग किया। उनका कार्य प्रकट करता है कि ये मॉडल मौलिक रूप रूप से भिन्न संरचनाएं हैं, न कि एक ही चीज़ के विभिन्न रूप।
इस शोध का सबसे आश्चर्यजनक निष्कर्ष यह है कि क्या होता है जब एक एजेंट वास्तव में अपने वातावरण के साथ एक बंद लूप (closed loop) में चल रहा होता है। सिद्धांत में, एक एजेंट हर संभव क्रिया की कल्पना कर सकता है जो वह कभी भी कर सकता है, यहाँ तक कि वे भी जिन्हें वह कभी नहीं करेगा। एक "अप्रतिबंधित" (unrestricted) दृष्टिकोण पर निर्मित मॉडल को हर काल्पनिक संभावना का लेखा-जोखा रखना चाहिए। शोधकर्ताओं ने पाया कि कई प्रणालियों के लिए, जैसे कि एक अप्रतिबंधित मॉडल अविश्वसनीय रूप से जटिल होता है, जिसमें कभी-कभी सभी संभावनाओं को ट्रैक करने के लिए अनंत आंतरिक अवस्थाओं (internal states) की आवश्यकता होती है। हालाँकि, जब उन्होंने उस मॉडल को देखा जो केवल उन क्रियाओं पर विचार करता है जो एजेंट वास्तव में करता है—यानी "समर्थित" (supported) क्रियाएं—तो तस्वीर नाटकीय रूप से बदल गई। उन्होंने सिद्ध किया कि एजेंट के वास्तविक व्यवहार का मॉडल हमेशा संयुक्त प्रणाली (joint system) के मॉडल द्वारा निर्धारित होता है। दूसरे शब्दों में, वातावरण की जटिल, अनंत संभावनाएँ एजेंट के वास्तविक विकल्पों के लेंस से देखे जाने पर एक बहुत सरल, परिमित (finite) संरचना में सिमट जाती हैं।
इसे समझाने के लिए, शोधकर्ताओं ने एक विशिष्ट उदाहरण बनाया जिसमें एक सरल बाइनरी वातावरण और सीमित मेमोरी वाला एक कंट्रोलर शामिल है। इस परिदृश्य में, वातावरण की एक छिपी हुई अवस्था (hidden state) होती है जो शून्य या एक हो सकती है। कुछ क्रियाएं इस अवस्था को यादृच्छिक रूप से रीसेट करती हैं, जबकि अन्य इसे समान रखती हैं। यदि आप किसी भी क्रिया के अनुक्रम के लिए वातावरण के व्यवहार की भविष्यवाणी करने वाला मॉडल बनाने का प्रयास करते हैं, तो मॉडल अनंत आकार का हो जाता है। ऐसा इसलिए है क्योंकि एक एजेंट सैद्धांतिक रूप से अवस्था को अनिश्चित काल तक स्थिर रखने के लिए चुन सकता है, जिससे अनगिनत अद्वितीय विश्वास अवस्थाओं (belief states) का निर्माण होता है। लेकिन जब शोधकर्ताओं ने एक विशिष्ट कंट्रोलर पेश किया जो केवल क्रियाओं के एक सीमित सेट को निष्पादित करता है—जैसे कि अवस्था को कभी-कभार रीसेट करना और फिर रीसेट करने से पहले कुछ निश्चित चरणों के लिए उसे थामे रखना—तो जटिलता गायब हो गई। वातावरण का मॉडल, जो केवल कंट्रोलर द्वारा की जाने वाली वास्तविक क्रियाओं तक सीमित है, परिमित और प्रबंधनीय हो गया। "अनंत" संभावनाएँ वास्तव में वास्तविक अंतःक्रिया में कभी साकार ही नहीं हुईं।
यह अंतर समझना महत्वपूर्ण है कि एक AI वास्तव में क्या सीख रहा है। शोधकर्ताओं ने दिखाया कि एक AI जो निर्णय लेने के लिए आंतरिक अवस्था का उपयोग करता है, वह आवश्यक रूप से पूरी संभावित दुनिया का मानचित्र नहीं है। इसके बजाय, यह अक्सर उन विशिष्ट अंतःक्रियाओं का मानचित्र होता है जिनका उसने अनुभव किया है। वातावरण का मॉडल, जब एजेंट के वास्तविक व्यवहार तक सीमित होता है, तो वह पूर्ण संयुक्त प्रक्रिया का एक सरलीकृत संस्करण होता है। शोधकर्ताओं ने प्रदर्शित किया कि इस सरलीकृत मॉडल की अवस्थाएं सीधे संयुक्त प्रणाली की अवस्थाओं से व्युत्पन्न होती हैं। इसका अर्थ है कि एक एजेंट के विश्व मॉडल की जटिलता केवल वातावरण का अंतर्निहित गुण नहीं है, बल्कि एजेंट और दुनिया के बीच विशिष्ट जुड़ाव (coupling) का परिणाम है। यदि एजेंट करने में सीमित है, तो उसका विश्व मॉडल भी तदनुसार सीमित और सरल होगा।
इस कार्य के निहितार्थ इस बात को समझने में भी विस्तृत हैं कि हम आर्टिफिशियल इंटेलिजेंस की व्याख्या और उस पर भरोसा कैसे करते हैं। यदि हम जानना चाहते हैं कि एक AI अपनी दुनिया के बारे में क्या मानता है, तो हम केवल निर्वात (vacuum) में इसके भविष्यवाणियों को नहीं देख सकते। हमें पूछना होगा: क्या यह सभी संभावित क्रियाओं के तहत वातावरण की भविष्यवाणी कर रहा है, या यह उस विशिष्ट नीति (policy) के आधार पर वातावरण की भविष्यवाणी कर रहा है जिसका यह पालन कर रहा है? शोधकर्ताओं का तर्क है कि ये दो अलग-अलग प्रश्न हैं जिनके लिए दो अलग-अलग मॉडलों की आवश्यकता है। एक AI के पास दुनिया का बहुत सरल आंतरिक प्रतिनिधित्व हो सकता है क्योंकि वह केवल वास्तविकता के एक छोटे से हिस्से का सामना करता है। इसका मतलब यह नहीं है कि AI "मूर्ख" है या दुनिया सरल है; इसका मतलब यह है कि AI का मॉडल सिस्टम में उसकी विशिष्ट भूमिका के लिए अनुकूलित है। वातावरण के मॉडल, एजेंट के मॉडल और संयुक्त प्रक्रिया के मॉडल को अलग करके, शोधकर्ता यह वर्णन करने के लिए एक स्पष्ट भाषा प्रदान करते हैं कि ये सिस्टम वास्तव में क्या कर रहे हैं।
यह दृष्टिकोण योजना (planning) और सीखने (learning) के बीच के अंतर को भी स्पष्ट करता है। जब एक एजेंट डेटा से सीखता है, तो वह अक्सर विशिष्ट अंतःक्रियाओं से सीख रहा होता है, न कि हर संभव अंतःक्रिया से। शोधकर्ताओं का ढांचा हमें यह देखने की अनुमति देता है कि इस डेटा से सीखा गया मॉडल एक "समर्थित-प्रतिबंधित" (support-restricted) मॉडल है। यह उन स्थितियों के लिए वैध और सटीक है जिनका एजेंट वास्तव में सामना करेगा, भले ही यह वातावरण के पूर्ण सैद्धांतिक परिदृश्य का वर्णन करने में विफल रहे। यह समझाने में मदद करता है कि क्यों कुछ AI सिस्टम व्यावहारिक रूप से अच्छी तरह से काम करते हैं, भले ही उनके मॉडल सैद्धांतिक दृष्टिकोण से अधूरे या सरलीकृत प्रतीत होते हों। वे असंभव का मॉडल नहीं बना रहे हैं; वे वास्तविक का मॉडल बना रहे हैं।
अध्ययन निष्कर्ष निकालता है कि एक विश्व मॉडल की संरचना स्थिर नहीं है बल्कि अंतःक्रिया द्वारा आकार लेती है। एजेंट और वातावरण का जुड़ाव यह निर्धारित करता है कि भविष्य की भविष्यवाणी करने के लिए कितने जटिल मॉडल की आवश्यकता है। यह इस विचार को चुनौती देता है कि दुनिया का एक एकल, पूर्ण मॉडल है जिसे एजेंट को सीखने का प्रयास करना चाहिए। इसके बजाय, "सर्वश्रेष्ठ" मॉडल उस प्रश्न पर निर्भर करता है जो पूछा जा रहा है। यदि प्रश्न है "क्या होता है यदि मैं X करता हूँ?", तो उत्तर के लिए एक जटिल मॉडल की आवश्यकता हो सकती है। लेकिन यदि प्रश्न है "अगला क्या होता है यदि मैं Y कर रहा हूँ?", तो उत्तर एक बहुत सरल संरचना में मिल सकता है। इन मॉडलों को सटीक रूप से परिभाषित करके, शोधकर्ताओं ने बुद्धिमत्ता के तंत्र को बेहतर ढंग से समझने के लिए एक उपकरण प्रदान किया है, यह दिखाते हुए कि मशीन के मस्तिष्क की जटिलता अक्सर उसके शरीर और उसकी दुनिया के प्रतिबंधों का प्रतिबिंब होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।