Towards Zero-Shot Task Transfer with Neurosymbolic World Models

एक कृत्रिम बुद्धिमत्ता (AI) एजेंट की कल्पना करें जो एक बच्चे के चलने सीखने की तरह एक जटिल दुनिया में नेविगेट करना सीख रहा है। मशीन लर्निंग के क्षेत्र में, ये एजेंट अक्सर "वर्ल्ड मॉडल्स" (world models) पर निर्भर करते हैं, जो उनके आंतरिक मानसिक मानचित्र होते हैं जो उन्हें यह अनुमान लगाने की अनुमति देते हैं कि यदि वे एक विशिष्ट क्रिया करते हैं तो आगे क्या होगा। अपने मन में इन भविष्य की स्थितियों का अनुकरण करके, एजेंट वास्तविक दुनिया में हर संभावना को भौतिक रूप से आज़माने के बिना अपनी चालों की योजना बना सकते हैं। यह दृष्टिकोण अविश्वसनीय रूप से शक्तिशाली बन गया है, जिससे कंप्यूटर वीडियो छवियों जैसे उच्च-आयामी संवेदी डेटा से सीखकर खेलों में महारत हासिल करने और रोबोट को नियंत्रित करने में सक्षम हुए हैं। हालाँकि, एक बड़ी बाधा अभी भी बनी हुई है: ये मानसिक मानचित्र आमतौर पर एक विशिष्ट कार्य के लिए बनाए जाते हैं। यदि लक्ष्य बदल जाता है—जैसे, लाल दरवाजे तक पहुँचने के बजाय नीले दरवाजे तक पहुँचना—तो एजेंट को अक्सर अपनी दुनिया की पूरी समझ को फिर से सीखना पड़ता है, क्योंकि उसका आंतरिक मानचित्र उस विशिष्ट इनाम (reward) के साथ गहराई से जुड़ा होता है जिसका वह प्रशिक्षण के दौरान पीछा कर रहा था।

बेल्जियम में KU Leuven के शोधकर्ताओं ने इस कठोरता को हल करने के लिए एक नया दृष्टिकोण विकसित किया है, जिससे एक ऐसा सिस्टम बनाया गया है जो बिना पर्यावरण के साथ दोबारा संपर्क किए, तुरंत नए लक्ष्यों के अनुकूल हो सकता है। उनका काम एक प्रकार के "न्यूरोसिम्बोलिक" (neurosymbolic) वर्ल्ड मॉडल को पेश करता है, जो एक हाइब्रिड सिस्टम है जो न्यूरल नेटवर्क की पैटर्न-पहचान की शक्ति को सिम्बोलिक रीजनिंग (प्रतीकात्मक तर्क) की स्पष्ट, तार्किक संरचना के साथ जोड़ता है। दुनिया का एक एकल, उलझा हुआ प्रतिनिधित्व सीखने के बजाय, ये मॉडल पर्यावरण के कच्चे संवेदी विवरणों को सफलता निर्धारित करने वाले विशिष्ट, उच्च-स्तरीय तथ्यों से अलग करना सीखते हैं। यह अलगाव एजेंट को यह समझने की क्षमता बनाए रखने देता है कि दुनिया कैसे चलती और बदलती है, जबकि वह केवल उस नियम को बदल सकता है जो यह तय करता है कि क्या "जीत" है। इसका परिणाम एक ऐसा एजेंट है जो एक बार एक जटिल वातावरण को सीख सकता है और फिर उसी अंतर्नि층 तथ्यों के आधार पर लक्ष्य को पुनरपरिभाषित करके, उसे पूरी तरह से नए कार्यों में लागू कर सकता है, जिसे 'जीरो-शॉट ट्रांसफर' (zero-shot transfer) कहा जाता है।

मुख्य नवाचार यह है कि मॉडल सूचना को कैसे संसाधित करता है। पारंपरिक वर्ल्ड मॉडल दुनिया का एक संकुचित, अमूर्त संस्करण सीखते हैं जो मनुष्यों के लिए व्याख्या करना कठिन और पुन: उपयोग करना मुश्किल होता है। इसके विपरीत, नए न्यूरोसिम्बोलिक मॉडल सिस्टम को अवस्था (state) के विशिष्ट, संरचित गुणों की पहचान करने और भविष्यवाणी करने के लिए मजबूर करते हैं, जैसे कि एजेंट के निर्देशांक या किसी वस्तु का स्थान। ये गुण एक सेतु के रूप में कार्य करते हैं। मॉडल दुनिया को समझने और उसे इन स्पष्ट, प्रतीकात्मक तथ्यों में अनुवादित करने के लिए अपने न्यूरल नेटवर्क का उपयोग करता है। एक बार जब मॉडल के पास ये तथ्य आ जाते हैं, तो वह इनाम (reward) की भविष्यवाणी करने के लिए एक अलग, तार्किक घटक का उपयोग करता है। चूंकि इनाम की भविष्यवाणी केवल इन स्पष्ट तथ्यों पर निर्भर करती है, इसलिए शोधकर्ता आसानी से इनाम फंक्शन को एक नए फंक्शन से बदल सकते हैं जो एक अलग लक्ष्य को लक्षित करता है, और मॉडल तुरंत उसके लिए योजना बनाना समझ जाता है। एजेंट को नए लक्ष्य को देखने या उसे आज़माने की आवश्यकता नहीं होती है; वह बस अपने नए नियम के साथ अपने आंतरिक सिमुलेशन में अपनी मानसिक गणनाओं को फिर से चलाता है, जिसमें दुनिया के कैसे काम करने का वही आंतरिक मानचित्र उपयोग होता है।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने अपने मॉडलों को कई अलग-अलग वातावरणों पर प्रशिक्षित किया, जिसमें एक ग्रिड-आधारित नेविगेशन कार्य शामिल है जहाँ एक एजेंट को लक्ष्य खोजना होता है, निरंतर गति के साथ उसी कार्य का 3D संस्करण, और सोकोबान (Sokoban) नामक एक पहेली खेल जहाँ बक्सों को विशिष्ट स्थानों पर धकेलना होता है। इन प्रशिक्षण चरणों में, एजेंटों ने नेविगेट करना और एक विशिष्ट उद्देश्य प्राप्त करना सीखा, जैसे कि एक निश्चित लक्ष्य स्थान तक पहुँचना। शोधकर्ताओं ने मॉडलों को उन नई चुनौतियों के साथ चुनौती दी जहाँ पर्यावरण के गति के नियम बिल्कुल समान रहे, लेकिन लक्ष्य बदल गए। एक परिदृश्य में, लक्ष्य एक दूसरे कमरे में जा सकता है, दूसरे में, एजेंट को एक एकल बिंदु के बजाय वस्तुओं के एक विशिष्ट विन्यास (configuration) तक पहुँचना पड़ सकता है। मॉडल बिना किसी अतिरिक्त वास्तविक वातावरण के संपर्क के इन नए उद्देश्यों के अनुकूल होने में सक्षम रहे। उन्होंने इसे दो विधियों के माध्यम से प्राप्त किया: या तो अपने मन में संभावनाओं को खोजने वाले एक सर्च एल्गोरिदम का उपयोग करके नए पथों की योजना बनाना, या अपने आंतरिक सिमुलेशन के भीतर पूरी निर्णय लेने वाली नीति को परिष्कृत करना।

परिणामों ने दिखाया कि यह दृष्टिकोण न केवल काम करता है बल्कि मानक तरीकों की तुलना में अधिक कुशलता से भी करता है। न्यूरोसिंबोलिक मॉडलों ने प्रशिक्षण कार्यों को कम उदाहरणों के साथ सीखा, जो बताता है कि सूचना को संसाधित करने का उनका संरचित तरीका उन्हें वातावरण को तेज़ी से समझने में मदद करता है। अधिक महत्वपूर्ण बात यह है कि, नई चुनौतियों का सामना करते समय, वे तुरंत अनुकूल हो गए। जहाँ पारंपरिक मॉडलों को नए लक्ष्य को समझने के लिए पुन: प्रशिक्षण या भारी मात्रा में नए डेटा की आवश्यकता होगी, वहीं न्यूरोसिंबोलिक एजेंटों ने बस अपने मौजूदा विश्व ज्ञान को नए उद्देश्य पर लागू किया। यह तब भी सच था जब शोधकर्ताओं ने प्रशिक्षण के दौरान इन प्रतीकात्मक तथ्यों के बारे में केवल आंशिक जानकारी प्रदान की, या जब उन्होंने उन तथ्यों के लिए कोई प्रत्यक्ष पर्यवेक्षण (supervision) प्रदान नहीं किया, और मॉडल की संरचना को ही सीखने के लिए निर्देशित होने दिया।

यह कार्य अधिक लचीले और पुन: प्रयोज्य कृत्रिम बुद्धिमत्ता की ओर एक महत्वपूर्ण कदम प्रदर्शित करता है। एजेंट द्वारा दुनिया के कैसे काम करने की समझ को उसके विशिष्ट लक्ष्यों से अलग करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो एक विशेष उपकरण के बजाय एक सामान्य शिक्षक की तरह व्यवहार करता है। एजेंट केवल एक गंतव्य तक पहुँचने का मार्ग याद नहीं करता है; वह इलाके और गति के नियमों को सीखता है, जिससे वह उसी इलाके के भीतर परिभाषित किसी भी गंतव्य तक नेविगेट कर सकता है। हालाँकि सिस्टम को अभी भी इस आवश्यकता की आवश्यकता है कि नए लक्ष्य उन्हीं उच्च-स्तरीय तथ्यों का उपयोग करके वर्णित किए जा सकें जो प्रशिक्षण के दौरान सीखे गए थे, लेकिन यह प्रत्येक कार्य परिवर्तन के साथ महंगे पुन: प्रशिक्षण की आवश्यकता को समाप्त कर देता है। यह एक ऐसे भविष्य का सुझाव देता है जहाँ बुद्धिमान प्रणालियों को गतिशील वातावरण में तैनात किया जा सकता है, जो नई चुनौतियों का सामना करने के लिए तैयार हैं, केवल यह जानकर कि उन्हें क्या देखना है, बजाय इसके कि उन्हें सब कुछ फिर से सीखने के लिए मजबूर किया जाए।