EnvHarness: Awakening Static Worlds for Agent Learning
यह शोध पत्र EnvHarness को प्रस्तुत करता है, जो एक प्रोग्रामेबल लेयर है जो अंतर्निहित तर्क (logic) को बदले बिना एजेंट की कमजोरियों को लक्षित करने के लिए स्थिर वातावरण को गतिशील रूप से नया आकार देती है, और EnvRigger को, जो इन घटकों को संश्लेषित करने के लिए एक स्वचालित प्रणाली है ताकि एजेंट के प्रदर्शन में उल्लेखनीय सुधार किया जा सके और विविध डोमेन में निरंतर सह-विकास (co-evolution) को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया लंबे समय से सोचने और बोलने का तरीका सीखने के लिए टेक्स्ट के विशाल पुस्तकालयों को पढ़ने पर निर्भर रही है। लेकिन जैसे-जैसे इन सिस्टम्स को स्वतंत्र एजेंटों के रूप में तैनात किया जा रहा है—वेबसाइटों को नेविगेट करना, सॉफ्टवेयर बग्स को ठीक करना, या ऑफिस के कार्यों को प्रबंधित करना—उन्हें 'करके सीखने' की आवश्यकता होती है, यानी उन डिजिटल परिवेशों के साथ अंतःक्रिया (interact) करना जो उनके कार्यों के प्रति प्रतिक्रिया देते हैं। एक एजेंट को सुधार करने के लिए, उसे इन अंतःक्रियाओं से फीडबैक की आवश्यकता होती है, ठीक वैसे ही जैसे एक छात्र को गलतियों की ओर इशारा करने के लिए एक शिक्षक की आवश्यकता होती है। समस्या यह है कि जो डिजिटल दुनिया हम उनके लिए बनाते हैं, वह अक्सर कठोर और अपरिवर्तनीय होती है। वे स्थिर मंच हैं जहाँ परिदृश्य कभी नहीं बदलता, चाहे प्रदर्शन करने वाला कितना भी अनाड़ी या कुशल क्यों न हो जाए। यदि कोई एजेंट इसलिए विफल होता है क्योंकि वह किसी छिपी हुई वस्तु को नहीं ढूंढ पाता, तो वातावरण उसे सीखने में मदद करने के लिए नहीं बदलता; वह बस वही असंभव पहेली फिर से प्रस्तुत कर देता है। यह ठहराव एजेंट के विकास को सीमित करता है, जिससे वह बिना किसी चुनौती के सामना किए, बार-बार एक ही गलती दोहराने के लूप में फंसा रह जाता है।
गूगल क्लाउड एआई रिसर्च और वाशिंगटन यूनिवर्सिटी इन सेंट लुइस के शोधकर्ताओं ने इस चक्र को तोड़ने का एक नया तरीका प्रस्तावित किया है, जिसे 'EnvHarness' नामक एक सिस्टम पेश किया गया है। शून्य से पूरी तरह से नई दुनिया बनाने की कोशिश करने के बजाय—जो एक महंगी और अक्सर अविश्वसनीय प्रक्रिया है—उन्होंने मौजूदा दुनियाओं को संशोधित करने का निर्णय लिया। कल्पना कीजिए कि एक जमा हुआ परिदृश्य है जिसे बदला नहीं जा सकता; EnvHarness एक प्रोग्रामेबल लेयर के रूप में कार्य करता है जो इस परिदृश्य के ऊपर स्थित होता है, जो मूल जमीन को बदले बिना अनुभव को नया आकार देता है। यह इस काम को एक सेट प्लग-इन घटकों के माध्यम से करता है जो शुरुआती स्थितियों को समायोजित कर सकते हैं, एजेंट द्वारा देखी जाने वाली चीजों को फ़िल्टर कर सकते हैं, या विभिन्न कार्यों को एक साथ जोड़ सकते हैं। यह एक ही, अपरिवर्तित वातावरण को संघर्ष कर रहे एजेंट के सामने कोई छिपी हुई वस्तु प्रस्तुत करने, या बहुत आसानी से सीख रहे एजेंट के लिए कोई शॉर्टकट हटाने की अनुमति देता है, जबकि मूल नियमों और स्कोरिंग सिस्टम को बरकरार रखता है।
इस प्रक्रिया को स्वचालित बनाने के लिए, टीम ने 'EnvRigger' नामक एक साथी सिस्टम बनाया। यह सिस्टम एजेंट को एक 'ब्लैक बॉक्स' की तरह मानता है, यह देखता है कि वह कार्यों को कैसे करता है और पहचानता है कि वह ठीक कहाँ विफल होता है। यदि कोई एजेंट बार-बार एक ही गलती करता है, तो EnvRigger उस कमजोरी का निदान करता है और नए नियमों का एक सेट लिखता है ताकि एजेंट को उस विशिष्ट समस्या का सामना करने के लिए मजबूर किया जा सके। फिर यह एजेंट को नए प्रयासों के माध्यम से चलाकर इन नए नियमों का परीक्षण करता है। यदि एजेंट सीख जाता है और सफल होता है, तो नए नियमों को रखा जाता है; यदि नहीं, तो उन्हें संशोधित किया जाता है। यह एक निरंतर लूप बनाता है जहाँ वातावरण एजेंट की जरूरतों के जवाब में विकसित होता है, यह सुनिश्चित करता है कि प्रत्येक प्रशिक्षण सत्र केवल वही दोहराने के बजाय जो एजेंट पहले से जानता है, वास्तविक कमजोरी को लक्षित करे।
शोधकर्ताओं ने सॉफ्टवेयर इंजीनियरिंग और ऑफिस ऑटोमेशन से लेकर वेब ब्राउजिंग और भौतिक रोबोट सिमुलेशन तक, पांच अलग-अलग बेंचमार्क में इस दृष्टिकोण का परीक्षण किया। हर मामले में, इन अनुकूलित वातावरणों में प्रशिक्षित एजेंट, मूल स्थिर संस्करणों पर प्रशिक्षित एजेंटों की तुलना में बेहतर प्रदर्शन करते हैं। एक चुनौतीपूर्ण सॉफ्टवेयर इंजीनियरिंग टेस्ट पर, एजेंटों ने कार्यों को पूरा करने के लिए कम चरणों का उपयोग करते हुए अपनी सफलता दर में लगभग नौ अंकों का सुधार किया। यह प्रणाली विभिन्न प्रकार के आर्टिफिशियल इंटेलिजेंस मॉडल, छोटे और तेज़ मॉडल से लेकर बड़े और अधिक शक्तिशाली मॉडल तक, प्रभावी साबित हुई, जो यह सुझाव देती है कि यह विधि सुदृढ़ और व्यापक रूप से लागू करने योग्य है। इससे भी अधिक आश्चर्यजनक इसकी स्केलेबिलिटी थी; जैसे-जैसे शोधकर्ताओं ने अधिक अनुकूलित वातावरण जोड़े, एजेंटों में सुधार होता रहा, जबकि मानक या स्वचालित रूप से उत्पन्न वातावरणों पर प्रशिक्षित एजेंट अंततः एक प्रदर्शन सीमा (performance ceiling) पर पहुँच गए।
एक प्रमुख निष्कर्ष यह था कि यह प्रणाली न केवल विशिष्ट त्रुटियों को ठीक कर सकती है, बल्कि कार्यों की जटिलता को भी बढ़ा सकती है। विभिन्न वातावरणों को एक साथ जोड़कर, शोधकर्ताओं ने लंबे, अधिक मांग वाले परिदृश्य बनाए जिन्हें लंबे समय तक लक्ष्यों को याद रखने की आवश्यकता थी। इस क्षमता ने एजेंटों को ऐसे कौशल विकसित करने की अनुमति दी जो न केवल एक समस्या को हल करने के बारे में थे, बल्कि चुनौतियों के एक क्रम को प्रबंधित करने के बारे में भी थे। परिणामों ने दिखाया कि यह लक्षित दृष्टिकोण केवल अधिक रैंडम कार्य उत्पन्न करने की तुलना में कहीं अधिक कुशल था। अन्य विधियाँ जो नए वातावरण बनाती हैं, अक्सर ऐसे रूपांतर (variations) पैदा करती हैं जो या तो बहुत आसान होते हैं या बहुत दोहराव वाले होते हैं, जबकि EnvHarness लगातार प्रशिक्षण परिदृश्य उत्पन्न करता है जो एजेंट के वर्तमान क्षमता स्तर के लिए पूरी तरह से कैलिब्रेटेड होते हैं।
अध्ययन ने यह भी प्रदर्शित किया कि यह विधि 'रीइन्फोर्समेंट लर्निंग' के साथ अच्छी तरह काम करती है, जो एक ऐसी तकनीक है जहाँ एजेंट रिवॉर्ड्स को अधिकतम करने के लिए प्रयास और त्रुटि (trial and error) के माध्यम से सीखते हैं। इन परीक्षणों में, अनुकूलित वातावरणों ने मूल वातावरणों की तुलना में सुधार के लिए एक मजबूत संकेत प्रदान किया, जिससे काफी अधिक सक्षम नीतियां (policies) प्राप्त हुईं। शोधकर्ताओं ने नोट किया कि सिस्टम की सफलता इस बात पर निर्भर नहीं थी कि किस प्रकार का आर्टिफिशियल इंटेलिजेंस मॉडल उपयोग किया जा रहा है, और न ही इसके लिए वातावरण के अंतर्निहित कोड को फिर से लिखने की आवश्यकता थी। विशुद्ध रूप से इंटरफ़ेस स्तर पर काम करके, इस सिस्टम को किसी भी डोमेन में लागू किया जा सकता था, जैसे कि वर्चुअल घर में नेविगेट करना या कोड को डीबग करना, बिना किसी कस्टम समाधान की आवश्यकता के।
अंततः, यह कार्य आर्टिफिशियल इंटेलिजेंस के लिए प्रशिक्षण मैदान बनाने के बारे में हमारी सोच को पुनर्गठित करता है। वातावरण को एक निश्चित पृष्ठभूमि के रूप में देखने के बजाय जिसे एक नया सबक सिखाने के लिए शून्य से फिर से बनाया जाना चाहिए, शोधकर्ताओं ने दिखाया है कि शिक्षार्थी के अनुरूप मौजूदा दुनिया को अनुकूलित करना संभव है। यह दृष्टिकोण नए वातावरण बनाने के इंजीनियरिंग बोझ को कम करता है और यह सुनिश्चित करता है कि प्रशिक्षण डेटा विश्वसनीय बना रहे, क्योंकि मूल सत्यापन प्रणालियों से समझौता नहीं किया जाता है। निष्कर्ष एजेंट लर्निंग को स्केल करने के लिए एक व्यावहारिक मार्ग का सुझाव देते हैं, जहाँ वातावरण एजेंटों के साथ विकसित हो सकते हैं, जो वास्तविक सुधार लाने के लिए सही स्तर की चुनौती लगातार प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।