SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL
SPO++ एक्शन-टोकन-मेजर नॉर्मलाइजेशन और इवेंट-अलाइन्ड एविडेंस ऑर्गनाइजेशन के माध्यम से ट्राजेक्टरी-लेवल एडवांटेज सेंटरिंग और टोकन-वेटेड एक्टर ऑप्टिमाइजेशन के बीच के मिसमैच को सुधारकर एसिंक्रोनस एजेंटिक रिइन्फोर्समेंट लर्निंग की ऑनलाइन लर्निंग एफिशिएंसी को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, शोधकर्ता कंप्यूटर प्रोग्राम को जटिल समस्याओं को हल करने के लिए सिखा रहे हैं, जिसमें उन्हें प्रयास करने, विफल होने और परिणामों से सीखने की अनुमति दी जाती है। यह प्रक्रिया, जिसे सुदृढीकरण सीखना (reinforcement learning) कहा जाता है, बड़े भाषा मॉडलों को ऐसे एजेंट के रूप में प्रशिक्षित करने के लिए विशेष रूप से उपयोगी है जो उपकरणों का उपयोग कर सकें, आभासी वातावरण में नेविगेट कर सकें, या गणित की समस्याओं को हल कर सकें। इस कार्य में एक केंद्रीय चुनौती यह है कि सफलता को कैसे मापा जाए जब उत्तर तक पहुँचने का मार्ग लंबा और अप्रत्याशित हो। पारंपरिक तरीकों के लिए अक्सर आवश्यकता होती है कि सिस्टम एक ही समस्या के कई अलग-अलग प्रयासों को एक साथ उत्पन्न करे, और सीखने के लिए हर एक के पूरा होने का इंतजार करे। यह एक बाधा उत्पन्न करता है: यदि कोई प्रयास बहुत लंबा समय लेता है क्योंकि वह कहीं फंस जाता है या कई उपकरणों का उपयोग करता है, तो पूरी सीखने की प्रक्रिया उस सबसे धीमी कोशिश के पीछे आने तक रुक जाती है।
इस अक्षमता को हल करने के लिए, 'सिंगल-स्ट्रीम पॉलिसी ऑप्टिमाइजेशन' नामक एक नया दृष्टिकोण विकसित किया गया। प्रयासों के एक समूह का इंतजार करने के बजाय, यह विधि सिस्टम को एक बार में एक प्रयास से सीखने की अनुमति देती है, जो भविष्य के निर्णयों को निर्देशित करने के लिए पिछले सफलताओं और विफलताओं की एक निरंतर स्मृति (persistent memory) का उपयोग करती है। हालाँकि, कै रुआन और जिंगहाओ लिन के नेतृत्व वाली शोधकर्ताओं की एक टीम ने पाया कि जबकि इस विधि ने प्रतीक्षा समय को हटा दिया, इसने इस बात में एक सूक्ष्म लेकिन महत्वपूर्ण विसंगति पैदा कर दी कि कंप्यूटर अपनी प्रगति की गणना कैसे करता है। उन्होंने पाया कि जिस तरह से सिस्टम अपने पुरस्कारों (rewards) का औसत निकालता था, वह इस बात के अनुरूप नहीं था कि वह वास्तव में समाधान के चरणों को कैसे संसाधित करता है। इस संरेखण (alignment) को ठीक करके, उन्होंने इस विधि का एक बेहतर संस्करण बनाया, जिसे उन्होंने SPO++ नाम दिया, जो आर्टिफिशियल इंटेलिजेंस को काफी तेजी से और अधिक कुशलता से सीखने की अनुमति देता है।
समस्या का मूल कारण यह था कि कंप्यूटर अपने उत्तरों की लंबाई को कैसे संभालता था। मूल विधि में, सिस्टम पूरे प्रयास के लिए एक एकल स्कोर की गणना करता था, जैसे कि क्या एक रोबोट ने सफलतापूर्वक कमरा साफ किया या एक गणित समाधान ने सही उत्तर खोजा। इसके बाद यह एक एकल स्कोर को उस प्रत्येक शब्द या "टोकन" पर फैला देता था जो मॉडल ने उस प्रयास के दौरान उत्पन्न किए थे। यह तार्किक लग रहा था, लेकिन इसने एक विकृति पैदा कर दी। यदि एक प्रयास बहुत लंबा था और दूसरा छोटा था, तो लंबे प्रयास ने अपने स्कोर को कई शब्दों पर कम (dilute) कर दिया, जबकि छोटे प्रयास ने अपना स्कोर कुछ ही शब्दों पर केंद्रित कर दिया। जब सिस्टम इन स्कोरों से सीखने की कोशिश करता था, तो प्रतिक्रिया की लंबाई ने चुपचाप सीखने के केंद्र बिंदु को बदल दिया, जिससे मॉडल गलत चीजों के लिए अनुकूलन (optimize) करने लगा। यह ऐसा था जैसे सिस्टम एक तराजू को संतुलित करने की कोशिश कर रहा हो, लेकिन तराजू पर रखे गए वजन वस्तुओं के वास्तविक मूल्य के बजाय इस पर निर्भर करते थे कि उन पर कितनी वस्तुएं रखी गई हैं।
शोधकर्ताओं ने दो विशिष्ट क्षेत्रों की पहचान की जहाँ यह विसंगति हुई थी। पहला, सिस्टम यह ट्रैक कर रहा था कि उसे प्रयास का परिणाम कब प्राप्त हुआ, न कि यह कि प्रयास वास्तव में कब उत्पन्न किया गया था। एक एसिंक्रोनस (asynchronous) सिस्टम में जहाँ कार्यों को भेजा जाता है और वे अलग-अलग गति से पूरे होते हैं, परिणामों के आने का क्रम अक्सर नेटवर्क की गति या कंप्यूटर के भार पर निर्भर करता है और यादृच्छिक होता है। मूल विधि ने अपनी स्मृति को अपडेट करने के लिए इस आगमन क्रम का उपयोग किया, जिसका अर्थ था कि सीखने का संकेत कार्य के तर्क के बजाय कंप्यूटर सिस्टम के समय से प्रभावित था। दूसरा, और अधिक महत्वपूर्ण रूप से, स्कोर के औसत निकालने की विधि इस तथ्य को ध्यान में नहीं रखती थी कि मॉडल हर उस शब्द से सीखता है जो वह उत्पन्न करता है, न कि केवल अंतिम परिणाम से। शोधकर्ताओं ने महसूस किया कि सीखने की प्रक्रिया को ठीक करने के लिए, उन्हें क्रियात्मक शब्दों (action words) की संख्या के आधार पर स्कोर को मानकीकृत करने की आवश्यकता है, यह सुनिश्चित करते हुए कि पुरस्कार संकेत (reward signal) मॉडल द्वारा किए जा रहे वास्तविक कार्य के आयतन से मेल खाता हो।
इन मुद्दों को संबोधित करने के लिए, टीम ने SPO++ पेश किया, जो सीखने की प्रक्रिया में दो प्रमुख परिवर्तन करता है। सबसे पहले, उन्होंने स्मृति प्रणाली को पुनर्गठित किया ताकि "पॉलिसी इवेंट" को ट्रैक किया जा सके, जो कि वह विशिष्ट क्षण है जब एक अनुरोध भेजा गया था, न कि वह समय जब परिणाम वापस आया। यह सुनिश्चित करता है कि सिस्टम की पिछली सफलताओं की स्मृति मॉडल की उस स्थिति से जुड़ी है जब कार्य बनाया गया था, जिससे सीखने का संकेत कार्य के पूरा होने में लगने वाले समय के बावजूद सुसंगत रहता है। दूसरा, उन्होंने स्कोर के औसत निकालने के तरीके को बदला। प्रत्येक प्रयास को एक एकल इकाई के रूप में मानने के बजाय, नई विधि सभी प्रयासों में उत्पन्न कुल क्रियात्मक शब्दों के आधार पर औसत स्कोर की गणना करती है। यह सुनिश्चित करता है कि लर्निंग सिग्नल पूरी तरह से उस तरीके के अनुरूप है जिससे मॉडल वास्तव में शब्द-दर-शब्द अपने ज्ञान को अपडेट करता है।
इन परिवर्तनों के परिणामों का परीक्षण दो अलग-अलग प्रकार के कार्यों पर किया गया: 128 सिम्युलेटेड घरेलू कार्यों का एक सेट जहाँ एक एजेंट को वस्तुओं को विशिष्ट स्थानों पर ले जाना होता है, और 1,500 गणित की समस्याओं का एक डेटासेट जिसमें पायथन कैलकुलेटर का उपयोग करना आवश्यक है। शोधकर्ताओं ने दो अलग-अलग आकार के भाषा मॉडलों का उपयोग करके प्रयोग चलाए, एक 0.8 बिलियन पैरामीटर्स वाला और दूसरा 2 बिलियन पैरामीटर्स वाला। हर एक परीक्षण में, नई विधि (SPO++) ने मूल दृष्टिकोण की तुलना में तेजी से सीखा। घरेलू कार्यों के कार्य पर, सुधार काफी बड़ा था, जिसमें नए तरीके ने प्रशिक्षण के दौरान काफी अधिक कुल पुरस्कार प्राप्त किया। गणित की समस्याओं पर, लाभ छोटे थे लेकिन फिर भी निरंतर थे, जो यह दर्शाता है कि मॉडल अधिक तेज़ी से उच्च स्तर के प्रदर्शन तक पहुँच गया। शोधकर्ताओं ने पाया कि उनकी नई विधि का सबसे शक्तिशाली हिस्सा स्कोर के औसत निकालने का तरीका था, जो अकेले ही अधिकांश सुधार के लिए जिम्मेदार था।
ये निष्कर्ष सुझाव देते हैं कि आर्टिफिशियल इंटेलिजेंस एजेंटों को प्रशिक्षित करने की जटिल दुनिया में, डेटा को संसाधित करने का तरीका उतना ही महत्वपूर्ण हो सकता है जितना कि स्वयं डेटा। यह सुनिश्चित करके कि जिस तरह से सिस्टम अपनी प्रगति को मापता है वह उस तरीके के अनुरूप है जिससे वह वास्तव में सीखता है, शोधकर्ता अधिक कंप्यूटिंग पावर या बड़े मॉडलों की आवश्यकता के बिना दक्षता में महत्वपूर्ण लाभ प्राप्त कर सकते हैं। यह कार्य प्रदर्शित करता है कि सीखने की प्रक्रिया में छोटे से छोटा मिसअलाइनमेंट भी प्रगति को धीमा कर सकता है, और इन विसंगतियों को ठीक करना सिस्टम को समस्या को हल करने पर ध्यान केंद्रित करने की अनुमति देता है, न कि त्रुटिपूर्ण माप की भरपाई करने पर। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस अधिक कठिन और विविध कार्यों को संभालना जारी रखता है, SPO++ जैसे तरीके एक स्पष्ट मार्ग प्रदान करते हैं, यह सुनिश्चित करते हुए कि मॉडल द्वारा उठाया गया प्रत्येक कदम सटीक रूप से मापा जाए और उसके विकास में प्रभावी रूप से योगदान दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।