State-Dependent Observation Noise Reintroduces Epistemic Value in Linear-Gaussian Active Inference
यह शोधपत्र यह प्रदर्शित करता है कि लीनियर-गौसियन एक्टिव इन्फरेंस मॉडल्स में स्टेट-डिपेंडेंट ऑब्जर्वेशन नॉइज़ को शामिल करने से एपिस्टेमिक वैल्यू (ज्ञान संबंधी मूल्य) बहाल हो जाती है, क्योंकि इससे पोस्टीरियर कोवेरिएंस और प्रभावी कलमान गेन एक्शन-डिपेंडेंट बन जाते हैं, जिससे मल्टीप्लिकेटिव कंट्रोल डायनेमिक्स की आवश्यकता के बिना सूचना-खोजने वाले व्यवहार के लिए एक प्रेरणा पुनः स्थापित हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
जिज्ञासा का विज्ञान: क्यों खो जाना सीखने का सबसे अच्छा तरीका हो सकता है
कल्पना कीजिए कि आप एक रोबोट को एक अंधेरे, धुंधले भूलभुलैया (maze) में नेविगेट करना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीन को कार्य करने के लिए सिखाने के दो मुख्य तरीके हैं। पहला है "इनाम का शिकारी" (reward hunter): रोबोट को बताया जाता है, "जाओ और सोने का सिक्का ले आओ!" और वह पुरस्कार पाने के लिए कुछ भी करेगा, बाकी सब कुछ अनदेखा कर देगा। दूसरा है "जिज्ञासु खोजकर्ता" (curious explorer): रोबोट को सीखने के लिए, अपनी उलझन को कम करने के लिए, और यह पता लगाने के लिए प्रोग्राम किया गया है कि वह कहाँ है, भले ही वहाँ कोई सोने का सिक्का न दिख रहा हो। इस दूसरे प्रकार के व्यवहार को एक्टिव इन्फरेंस (Active Inference) कहा जाता है। यह एक सिद्धांत है जो बताता है कि बुद्धिमान एजेंट केवल पुरस्कारों का पीछा नहीं करते; वे जानकारी का भी पीछा करते हैं क्योंकि अनिश्चित होना उनके आंतरिक मस्तिष्क के लिए "महंगा" महसूस होता है।
लंबे समय से, वैज्ञानिक सरल, पूर्वानुमेय दुनिया का उपयोग करके इस विचार का परीक्षण कर रहे हैं जिन्हें लीनियर-गौसियन मॉडल (Linear-Gaussian models) कहा जाता है। इन्हें एक बिल्कुल चिकनी, सीधी गलियारे के रूप में सोचें जहाँ रोबोट एक सीधी रेखा में चलता है, और उसके सेंसर उसे दुनिया की एक थोड़ी धुंधली लेकिन सुसंगत तस्वीर देते हैं। इन सरल दुनियाओं में, एक प्रसिद्ध समस्या पाई गई थी: रोबोट का "जिज्ञासा स्विच" 'ऑफ' स्थिति में फंस जाता है। रोबोट चाहे कुछ भी करे, नई जानकारी प्राप्त करने की उसकी अपेक्षा बिल्कुल वही रहती है। यह एक ऐसे छात्र की तरह है जो सोचता है, "इस किताब को पढ़ने से मुझे कुछ भी नया नहीं पता चलेगा, चाहे मैं कोई भी पन्ना पलटूँ," इसलिए वे सीखना बंद कर देते हैं और केवल सही उत्तर पाने पर ध्यान केंद्रित करते हैं। यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: क्या कोई छोटा, वास्तविक बदलाव है जिसे हम रोबोट की दुनिया में कर सकते हैं जो जिज्ञासा के स्विच को वापस चालू कर दे?
खोज: जब सेंसर "रेंज-डिपेंडेंट" हो जाते हैं
इस शोध पत्र के लेखक, डैनियल कोरवा ने इन "बोरिंग" लीनियर रोबोटों में जिज्ञासा वापस लाने का एक आश्चर्यजनक रूप से सरल तरीका खोज निकाला। उन्होंने पाया कि समस्या रोबोट के लक्ष्य या उसकी गति में नहीं थी; बल्कि यह इस बात में थी कि रोबोट की आँखें कैसे काम करती थीं।
पुराने, "टूटे हुए" मॉडलों में, यह माना जाता था कि रोबोट के सेंसर हर जगह समान रूप से धुंधले थे। चाहे रोबोट किसी दीवार के ठीक बगल में खड़ा हो या कोने में दूर हो, कैमरे का धुंधलापन (जिसे नॉइज़/noise कहा जाता है) एक समान था। क्योंकि धुंधलापन कभी बदलता नहीं था, रोबोट को एहसास हुआ कि किसी वस्तु के करीब जाने से उसकी तस्वीर स्पष्ट नहीं होती। उसके पास सीखने के लिए हिलने का कोई कारण नहीं था; वह केवल सोने का सिक्का पाने के लिए हिलता था।
लेखकों ने एक छोटा सा सुधार प्रस्तावित किया: क्या होगा यदि सेंसर का धुंधलापन इस बात पर निर्भर करे कि रोबोट कहाँ है? कल्पना कीजिए कि एक कैमरा जो किसी वस्तु के करीब होने पर बहुत शार्प (स्पष्ट) हो जाता है लेकिन दूर होने पर बहुत दानेदार और धुंधला हो जाता है। इसे स्टेट-डिपेंडेंट ऑब्जर्वेशन नॉइज़ (state-dependent observation noise) कहा जाता है। वास्तविक दुनिया में, हमारे इंद्रियां बिल्कुल इसी तरह काम करती हैं: जब आप किसी साइन बोर्ड के करीब होते हैं तो उसे पढ़ना आसान होता है, लेकिन सड़क के दूसरी ओर से वह नामुमकिन होता है।
"दोहरा प्रभाव": बेहतर देखने के लिए हिलना
जब लेखकों ने अपने रोबोट के मॉडल में इस "रेंज-डिपेंडेंट" धुंधलेपन को जोड़ा, तो कुछ जादुई हुआ। रोबोट को अचानक एहसास हुआ कि उसकी क्रियाएं (actions) यह बदल सकती हैं कि वह भविष्य को कितनी अच्छी तरह देख पाएगा।
यदि रोबrobot एक दीवार के करीब जाता है, तो उसके सेंसर का नॉइज़ गिर जाता है, और उसका दुनिया का आंतरिक मानचित्र बहुत अधिक स्पष्ट हो जाता है। यदि वह दूर रहता है, तो मानचित्र धुंधला रहता है। इसने एक दोहरा प्रभाव (dual effect) पैदा किया: रोबोट की क्रिया (हिलना) ने एक साथ दो काम किए। पहले, इसने रोबोट की स्थिति बदल दी (स्पष्ट हिस्सा)। दूसरा, और यह नया हिस्सा है, इसने यह बदल दिया कि रोबोट अपनी स्थिति के बारे में कितना "निश्चित" था।
चूंकि रोबोट अब ऐसी जगह जाने का विकल्प चुन सकता था जहाँ वह अधिक सीख सके, इसलिए उसके मस्तिष्क में "जिज्ञासा शब्द" (curiosity term) जाग गया। रोबोट फिर से एक जिज्ञासु खोजकर्ता की तरह व्यवहार करने लगा। वह एक दीवार के करीब जाने का विकल्प चुनेगा, न केवल इसलिए कि वह दीवार को छूना चाहता था, बल्कि इसलिए क्योंकि करीब जाने से उसकी दृष्टि स्पष्ट हो जाएगी और इससे उसे भूलभुलैया को बेहतर ढंग से समझने में मदद मिलेगी।
इसका AI के लिए क्या अर्थ है
यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह छोटा सा बदलाव इस "फंसी हुई" व्यवहार को तोड़ने के लिए पर्याप्त है। इससे पहले, वैज्ञानिकों का मानना था कि सरल, सीधी रेखा वाली दुनिया में, जिज्ञासा तब तक असंभव है जब तक कि आप रोबोट की गतिविधियों को अविश्वसनीय रूप से जटिल न बना दें या उसके लक्ष्यों को न बदल दें। यह शोध पत्र दिखाता है कि आपको लक्ष्यों या गति के नियमों को बदलने की आवश्यकता नहीं है। आपको बस यह स्वीकार करने की आवश्यकता है कि दूरी बढ़ने के साथ सेंसर खराब हो जाते हैं।
लेखकों ने केवल समीकरण नहीं लिखे; उन्होंने इसे सिद्ध करने के लिए cpomdp नामक एक सॉफ्टवेयर टूल बनाया। उन्होंने एक आभासी रोबोट बनाया और दिखाया कि जब उन्होंने इसे एक "स्मार्ट" सेंसर (एक जो दूरी के साथ धुंधला हो जाता है) दिया, तो रोबोट ने जानकारी एकत्र करने के लिए विकल्प बनाना शुरू कर दिया। जब उन्होंने इसे एक "डम्ब" सेंसर (जो हमेशा समान रूप से धुंधला रहता है) दिया, तो रोबोट जिज्ञासु होना बंद कर दिया और केवल इनाम के रास्ते का अनुसरण किया।
निष्कर्ष
मुख्य निष्कर्ष यह है कि सरल AI एजेंटों में जिज्ञासा, इस बात के संबंध से आती है कि आप कहाँ हैं और आप कितनी अच्छी तरह देख सकते हैं। यदि आपके सीखने की क्षमता आपके स्थान पर निर्भर करती है, तो आप स्वाभाविक रूप से सीखने के सर्वोत्तम स्थानों पर जाना चाहेंगे। यदि आपकी सीखने की क्षमता हर जगह एक समान है, तो आपके पास अन्वेषण करने का कोई कारण नहीं है।
यह शोध पत्र इस विचार को खारिज करता है कि सरल, लीनियर रोबोट जिज्ञासु न होने के लिए अभिशप्त हैं। यह तर्क देता है कि "लीनियर-गौसियन कोलैप्स" (वह क्षण जब जिज्ञासा मर जाती है) केवल तभी होता है जब हम यह मान लेते हैं कि हमारे सेंसर पूर्ण और अपरिवर्तनीय हैं। एक बार जब हम स्वीकार कर लेते हैं कि दूरी के साथ सेंसर खराब हो जाते हैं, तो सीखने की प्रेरणा वापस आ जाती है। लेखक इस बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने एक गणितीय प्रमाण और एक काम करने वाला कंप्यूटर प्रोग्राम प्रदान किया है जो इसे प्रदर्शित करता है। वे दिखाते हैं कि "एक्टिंग इज अटेंडिंग" (कार्य करना ही ध्यान देना है)—अपने शरीर को हिलाना ताकि ध्यान केंद्रित किया जा सके, किसी भी ऐसे एजेंट का एक प्राकृतिक, अंतर्निहित फीचर है जो जानता है कि उसके सेंसर पूर्ण नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।