RTPO: Reverse-Turn Policy Optimization for Stabilizing Agentic RL Training
यह शोध पत्र रिवर्स-टर्न पॉलिसी ऑप्टिमाइज़ेशन (RTPO) प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो रोलआउट्स को स्पार्स रिवर्स ट्री के रूप में पुनर्गठित करके मल्टी-टर्न एजेंटिक आरएल (RL) प्रशिक्षण को स्थिर करता है ताकि कॉन्टेक्स्ट मिसमैच को समाप्त किया जा सके, कॉज़ली कंसिस्टेंट क्रेडिट असाइनमेंट को सक्षम बनाया जा सके, और एसिंक्रोनस पॉलिसी ड्रिफ्ट को नियंत्रित किया जा सके, जिससे यह मौजूदा बेसलाइनों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) को स्वायत्त एजेंटों के रूप में कार्य करना सिखा रहे हैं। ये केवल सवाल पूछने वाले चैटबॉट्स नहीं हैं; ये ऐसी प्रणालियाँ हैं जिन्हें जटिल समस्याओं को हल करने के लिए योजना बनाने, तर्क करने और कैलकुलेटर या वेब सर्च इंजन जैसे बाहरी उपकरणों का उपयोग करने के लिए डिज़ाइन किया गया है। इन एजेंटों को अधिक स्मार्ट बनाने के लिए, वैज्ञानिक अक्सर 'रिनफोर्समेंट लर्निंग' नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि एक छात्र एक नया खेल खेलना सीख रहा है: वह अलग-अलग चालें चलता है, और यदि वह जीत जाता है, तो उसे एक इनाम मिलता है। समय के साथ, वह सीख जाता है कि कौन सी चालें सफलता की ओर ले जाती हैं। डिजिटल क्षेत्र में, "चालें" वे शब्द हैं जो मॉडल द्वारा उत्पन्न किए जाते हैं, और "इनाम" कार्य के अंत में दिया गया एक स्कोर है। यह दृष्टिकोण एकल-चरण वाले कार्यों के लिए अत्यधिक सफल रहा है, जैसे कि एक ही बार में गणित की समस्या को हल करना। हालाँकि, जब इन एजेंटों को लंबे, बहु-चरणीय वर्कफ़्लो (जैसे कि किसी विषय पर शोध करना, डेटा एकत्र करना और बातचीत के कई दौर में एक रिपोर्ट लिखना) करने के लिए कहा जाता है, तो प्रशिक्षण प्रक्रिया कुख्यात रूप से अस्थिर हो जाती है। मॉडल अक्सर छोटे कार्यों को हल करना सीख लेते हैं लेकिन जब कार्य लंबा होता है तो बुरी तरह विफल हो जाते हैं, और चरणों की संख्या बढ़ने के साथ उनका प्रदर्शन ढह जाता है।
ऑस्ट्रेलिया और संयुक्त राज्य अमेरिका के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इस बात की पहचान की है कि यह गिरावट क्यों होती है और इसे ठीक करने का एक नया तरीका प्रस्तावित किया है। उन्होंने पाया कि यह अस्थिरता उन तीन गहराई से जुड़े कारणों से उत्पन्न होती है जो इन एजेंटों को कई दौरों में प्रशिक्षित करते समय घटित होते हैं। पहला, उस चीज़ के बीच एक विसंगति है जो मॉडल अभ्यास के दौरान देखता है और वह जो वह सिखाते समय देखता है। अभ्यास के दौरान, मॉडल स्थान बचाने के लिए केवल बातचीत का सारांश देख सकता है, लेकिन प्रशिक्षण के दौरान, कंप्यूटर उसे चैट के पूरे इतिहास को देखने के लिए मजबूर करता है। यह अंतर मॉडल को भ्रमित कर देता है, जिससे वह अनिश्चित हो जाता है कि किस संदर्भ पर भरोसा किया जाए। दूसरा, प्रणाली इस बात को समझने में संघर्ष करती है कि तर्क की एक लंबी श्रृंखला में वास्तव में किस विशिष्ट चरण ने अंतिम सफलता या विफलता की ओर ले जाने का काम किया। जब एक मॉडल को दस-चरणीय प्रक्रिया के अंत में इनाम मिलता है, तो प्रशिक्षण एल्गोरिदम अक्सर उस श्रेय (या दोष) को सभी दस चरणों में समान रूप से बांट देता है, भले ही पांचवां चरण ही महत्वपूर्ण गलती रहा हो। यह एजेंट के लिए सही व्यवहार सीखना कठिन बना देता है। तीसरा, जैसे-जैसे प्रशिक्षण आगे बढ़ता है, मॉडल बदलता है। यदि सिस्टम उस लंबी बातचीत से सीखने की कोशिश करता है जो तब शुरू हुई थी जब मॉडल "छोटा" और कम कुशल था, लेकिन प्रशिक्षण तब समाप्त होता है जब मॉडल "बड़ा" और अधिक कुशल हो चुका होता है, तो डेटा असंगत हो जाता है। मॉडल अनिवार्य रूप से अपने स्वयं के अतीत से सीखने की कोशिश कर रहा है, जिससे एक ऐसा 'ड्रिफ्ट' पैदा होता है जो सीखने की प्रक्रिया को अस्थिर कर देता है।
इन समस्याओं को हल करने के लिए, शोधकर्ताओं ने 'रिवर्स-टर्न पॉलिसी ऑप्टिमाइज़ेशन' (RTPO) नामक एक नया ढांचा विकसित किया। एक लंबी बातचीत को टेक्स्ट के एक विशाल, सपाट ब्लॉक के रूप में मानने के बजाय, उन्होंने प्रशिक्षण प्रक्रिया को अलग-अलग, जुड़े हुए क्षणों की एक श्रृंखला के रूप में पुनर्कल्पित किया। मुख्य विचार मॉडल को पीछे की ओर काम करके प्रशिक्षित करना है, जो कार्य के बिल्कुल अंतिम चरण से शुरू होकर शुरुआत की ओर बढ़ता है। जब सिस्टम बातचीत के एक विशिष्ट मोड़ पर पहुँचता है, तो वह रुक जाता है और भविष्य के कई "सिबलिंग" (सहोदर) संस्करण बनाता है। यह मॉडल से पूछता है: "यदि मैं अभी यह विशिष्ट निर्णय लेता हूँ, तो आगे क्या होगा?" फिर यह भविष्य के इन परिदृश्यों को आगे चलाकर देखता है कि क्या वे एक अच्छे परिणाम की ओर ले जाते हैं। इन सिबलिंग भविष्यों की तुलना करके, सिस्टम सटीक रूप से यह निर्धारित कर सकता है कि वर्तमान मोड़ पर कौन सा निर्णय सबसे अच्छा था, बिना पिछले शोर या बाद में होने वाली अनिश्चितता के। यह विधि सुनिश्चित करती है कि मॉडल हमेशा एक सुसंगत संदर्भ से सीख रहा है और सफलता के लिए श्रेय सटीक रूप से उस निर्णय को दिया जाता है जिसने उसे उत्पन्न किया।
इस नए दृष्टिकोण के परिणाम आश्चर्यजनक थे। कठिन गणितीय तर्क कार्यों और जटिल वेब-सर्च चुनौतियों पर परीक्षण किए जाने पर, इस नई विधि ने मौजूदा तकनीकों से काफी बेहतर प्रदर्शन किया। कठिन गणित की समस्याओं के एक सेट पर, इस नई विधि ने एजेंटों की सटीकता को पिछले मानक तरीकों की तुलना में इक्कीस प्रतिशत से अधिक सुधार दिया। ज्ञान-आधारित कार्यों पर, इसने प्रदर्शन में लगभग ग्यारह प्रतिशत का सुधार किया। शायद इससे भी महत्वपूर्ण बात यह है कि प्रशिक्षण प्रक्रिया स्वयं बहुत अधिक स्थिर हो गई। पिछले तरीकों में, जैसे-जैसे कार्य लंबे होते गए, मॉडल अक्सर खराब होते गए, लेकिन इस नए दृष्टिकोण के साथ, मॉडल बढ़ते चरणों के बावजूद भी सुधार करते रहे। शोधकर्ताओं ने यह भी पाया कि एजेंट उपकरणों का अधिक कुशलता से उपयोग करना सीख गए। गणित की समस्याओं पर, एजेंटों ने टूल कॉल कम किए लेकिन अधिक उत्तर सही दिए, जो यह दर्शाता है कि उन्होंने अपने स्वयं के तर्क पर भरोसा करना और केवल आवश्यकता होने पर ही उपकरणों का उपयोग करना सीख लिया है। अनुसंधान कार्यों पर, उन्होंने अधिक कॉल किए, लेकिन ये कॉल अधिक रणनीतिक थे, जिससे बेहतर सूचना संग्रह हुआ।
शोधकर्ताओं ने यह सत्यापित किया कि उनका समाधान काम करता है, इसके लिए उन्होंने प्रत्येक से जुड़ी तीन समस्याओं को अलग किया। उन्होंने दिखाया कि संदर्भ की विसंगति (कंटेक्स्ट मिसमैच) को ठीक करके, मॉडल इस बात को लेकर भ्रमित होना बंद कर गया कि उसे क्या देखना चाहिए। क्रेडिट असाइनमेंट को ठीक करके, मॉडल ने प्रत्येक विशिष्ट चरण पर बेहतर निर्णय लेना सीखा, न कि केवल अंतिम परिणाम के आधार पर अनुमान लगाना। और प्रशिक्षण डेटा को मॉडल के वर्तमान संस्करण के साथ सुसंगत रखकर, उन्होंने उस 'ड्रिफ्ट' को समाप्त कर दिया जो आमतौर पर लंबे प्रशिक्षण सत्रों को विफल कर देता है। यह अध्ययन जटिल, बहु-चरणीय कार्यों को बिना रास्ता भटके संभालने के लिए अधिक विश्वसनीय AI एजेंट बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है। यह सुझाव देता है कि दीर्घकालिक तर्क (लॉन्ग-होरिज़न रीजनिंग) में महारत हासिल करने की कुंजी केवल मॉडल को अधिक डेटा देना नहीं है, बल्कि यह पुनर्गठित करना है कि वह उस डेटा से कैसे सीखता है, यह सुनिश्चित करना कि हर निर्णय को सही भविष्य की संभावनाओं के विरुद्ध निष्पक्ष और सटीक रूप से आंका जाए। यह कार्य वास्तविक दुनिया की जटिलताओं को, एक समय में एक विचारशील कदम के साथ, वास्तव में नेविगेट करने में सक्षम AI सहायकों के निर्माण की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।